เป็นเวลาหลายปีที่ฉันคิดว่างาน AI จริงจังหมายถึงการเช่า GPU บนคลาวด์ จ่ายค่า API หรือรอคิวเพื่อเข้าถึงเซิร์ฟเวอร์ราคาแพง จนกระทั่ง NVIDIA เปิดตัว DGX Spark กล่อง AI บนโต๊ะที่เปลี่ยนสมการทั้งหมด มันมีขนาดประมาณ 5.9 x 5.9 x 2 นิ้ว หนัก 1.2 กิโลกรัม และเปลี่ยนส่วนหนึ่งของโครงสร้างพื้นฐาน AI ให้กลายเป็นสิ่งที่วางบนโต๊ะทำงานของคุณได้ แทนที่จะต้องอยู่ในศูนย์ข้อมูล
ครั้งแรกที่ฉันดูตัวเลข ความคิดนี้ดูผิดพลาด DGX Spark มีราคา 4,699 ดอลลาร์สหรัฐฯ จ่ายครั้งเดียว นั่นคือเงินจริงๆ แต่ GPU ระดับสูงบนคลาวด์อาจมีค่าใช้จ่ายประมาณ 3 ถึง 4+ ดอลลาร์สหรัฐฯ ต่อชั่วโมง ปล่อยให้มันทำงานนานเกินไป ทดสอบเอเจนต์ทุกวัน หรือรันการทดลองโมเดลในเครื่องให้ลูกค้า ค่าใช้จ่ายรายเดือนก็สามารถเปลี่ยนจากน่ารำคาญเป็นเจ็บปวดได้อย่างง่ายดาย
ที่ค่าใช้จ่าย 500 ดอลลาร์สหรัฐฯ ต่อเดือน กล่องนี้จะคืนทุนในเวลาไม่ถึงปี ที่ 1,000 ดอลลาร์สหรัฐฯ ต่อเดือน ระยะเวลาคืนทุนก็เร็วพอที่จะทำให้การเช่าคอมพิวเตอร์ดูล้าสมัย
นั่นคือเคล็ดลับทั้งหมด กล่องนี้ไม่ใช่อุปกรณ์ราคาถูก มันเป็นวิธีในการเปลี่ยนค่าใช้จ่าย AI ที่เกิดขึ้นประจำให้เป็นโครงสร้างพื้นฐานที่เป็นเจ้าของ เมื่อกระจายไปในระยะเวลาห้าปี DGX Spark มีค่าใช้จ่ายต่ำกว่า 1,000 ดอลลาร์สหรัฐฯ ต่อปี
สำหรับผู้ก่อตั้ง ฟรีแลนซ์ สตูดิโอ AI ขนาดเล็ก หรือทีมเครื่องมือภายใน การเปลี่ยนแปลงนี้เปลี่ยนการตัดสินใจจาก "เรามีเงินพอที่จะรันสิ่งนี้ไหม?" เป็น "เราควรสร้างอะไรต่อไป?"
นี่คือเรื่องราว สมมติว่าฉันกำลังสร้างเอเจนต์ AI ส่วนตัวให้กับบริษัทขนาดเล็ก ลูกค้ารายหนึ่งต้องการแชทบอทเกี่ยวกับสัญญา ใบแจ้งหนี้ PDF และตั๋วสนับสนุน อีกรายต้องการผู้ช่วยเขียนโค้ดที่สามารถอ่าน repo ส่วนตัวได้ รายที่สามต้องการเอเจนต์วิจัยที่ประมวลผลไฟล์บริษัทที่ละเอียดอ่อนโดยไม่ต้องส่งไปยัง API ของบุคคลที่สาม
ถ้าฉันสร้างทั้งหมดนั้นบนคลาวด์ ทุกการสาธิตมีค่าใช้จ่าย ทุกการทดสอบมีค่าใช้จ่าย ทุก prompt ที่พังมีค่าใช้จ่าย แม้แต่การลืมปิด instance ก็มีค่าใช้จ่าย
ด้วยกล่อง AI ในเครื่อง เวิร์กโฟลว์เปลี่ยนไป ฉันสามารถเก็บเอกสารไว้ในเครื่อง รัน embeddings ในเครื่อง ทดสอบโมเดลโอเพนซอร์ส สร้างลูปของเอเจนต์ ประเมินคำตอบ และใช้ GPU บนคลาวด์เฉพาะเมื่อโปรเจกต์ต้องการสเกลจริงๆ เท่านั้น นั่นไม่ได้กำจัดคลาวด์ มันทำให้คลาวด์กลับมาอยู่ในตำแหน่งที่เหมาะสม: เป็นเครื่องมือสำหรับสเกลขนาดใหญ่ ไม่ใช่ภาษีเริ่มต้นสำหรับทุกการทดลอง
ภายใน DGX Spark มี NVIDIA GB10 Grace Blackwell Superchip, CPU Arm 20 คอร์, GPU Blackwell, หน่วยความจำแบบรวม 128 GB, พื้นที่จัดเก็บ NVMe เข้ารหัสตัวเอง 4 TB และประสิทธิภาพ AI FP4 สูงถึง 1 PFLOP
NVIDIA กล่าวว่ามันสามารถรัน inference บนโมเดลที่มีพารามิเตอร์สูงถึง 200,000 ล้านตัว และ fine-tune โมเดลที่มีพารามิเตอร์สูงถึง 70,000 ล้านตัวในเครื่องได้ นั่นคือเหตุผลที่ NVIDIA เรียกมันว่าซูเปอร์คอมพิวเตอร์ AI ส่วนตัว
ไม่ มันไม่ได้แทนที่คลัสเตอร์ GPU ขนาดยักษ์ คุณไม่ได้ฝึกโมเดลระดับแนวหน้าตัวต่อไปจากศูนย์บนกล่องเล็กๆ บนโต๊ะ แต่นักพัฒนา AI ส่วนใหญ่ไม่ได้ทำแบบนั้น พวกเขากำลังสร้างระบบที่มีประโยชน์รอบๆ โมเดลที่มีอยู่: เอเจนต์, แอป RAG, ผู้ช่วยเขียนโค้ด, การค้นหาเอกสารส่วนตัว, เวิร์กโฟลว์วิจัยในเครื่อง, ระบบอัตโนมัติฝ่ายสนับสนุนลูกค้า, ผู้ช่วยด้านการปฏิบัติตามข้อกำหนด และการทดลองโมเดล สำหรับงานนั้น การเป็นเจ้าของคอมพิวเตอร์ในเครื่องมีค่ามากกว่าการเช่าพลังงานเป็นรายชั่วโมง
เรื่องเงินยิ่งดีขึ้นถ้าคุณขายงาน AI โปรเจกต์ระบบอัตโนมัติ AI ส่วนตัวธรรมดาๆ สามารถตั้งราคาได้ตั้งแต่ 3,000 ถึง 10,000 ดอลลาร์สหรัฐฯ ขึ้นอยู่กับลูกค้า ข้อมูล ความเสี่ยง และงานผสานรวม โปรเจกต์ดีๆ โปรเจกต์เดียวสามารถครอบคลุมค่าใช้จ่ายส่วนใหญ่หรือทั้งหมดของเครื่องได้ หลังจากนั้น กล่องนี้จะกลายเป็นตัวคูณกำลัง มันช่วยให้คุณสร้างต้นแบบได้เร็วขึ้น สาธิตได้โดยไม่ต้องกลัว และรันการทดลองได้มากขึ้นโดยไม่ต้องคอยดูมิเตอร์หมุน
สำหรับบริษัท การประหยัดไม่ได้มีแค่ค่าใช้จ่าย GPU เท่านั้น ยังมีความเป็นส่วนตัวอีกด้วย เอกสารทางกฎหมาย บันทึกทางการแพทย์ ข้อมูลลูกค้า ซอร์สโค้ด แผนงานผลิตภัณฑ์ รายงานทางการเงิน และข้อมูล Slack ภายใน ไม่ใช่ข้อมูลทั่วไป
หลายทีมต้องการ AI แต่พวกเขาไม่ต้องการให้ข้อมูลเหล่านั้นออกจากสภาพแวดล้อมของตนเอง ระบบในเครื่องช่วยให้พวกเขามีข้อเสนอที่ชัดเจนขึ้น: เก็บข้อมูลไว้ใกล้บริษัท เก็บโมเดลไว้ใกล้ข้อมูล และส่งข้อมูลไปยัง API ภายนอกน้อยลง
นี่คือแผนการปฏิบัติ เริ่มต้นด้วยเวิร์กโฟลว์เดียวที่สร้างต้นทุนหรือความเสี่ยงอยู่แล้ว เลือกแชทบอทภายใน ผู้ช่วยเขียนโค้ด เครื่องมือค้นหาเอกสาร หรือเอเจนต์วิจัย วางไฟล์ ฐานข้อมูลเวกเตอร์ เซิร์ฟเวอร์โมเดล และลูปการประเมินไว้บนเครื่องในเครื่อง
วัดว่ามันแทนที่อะไร: การเรียก API, ชั่วโมง GPU ที่เช่า, เวลาของวิศวกร, การวิจัยด้วยตนเอง หรือค่าใช้จ่ายในการสาธิตให้ลูกค้า จากนั้นใช้คลาวด์เฉพาะงานที่เกินความสามารถของกล่องจริงๆ เท่านั้น
นั่นคือการเปลี่ยนแปลงที่แท้จริง โครงสร้างพื้นฐาน AI กำลังกลายเป็นเรื่องส่วนตัว เมื่อสิบปีที่แล้ว คอมพิวเตอร์ทรงพลังย้ายจากห้องเซิร์ฟเวอร์มาสู่แล็ปท็อป ตอนนี้คอมพิวเตอร์ AI กำลังเริ่มย้ายจากคลัสเตอร์ GPU ที่เช่ามาสู่กล่องเล็กๆ บนโต๊ะ
เมื่อคุณคุ้นเคยกับการเป็นเจ้าของโครงสร้างพื้นฐาน AI ของตัวเองแล้ว คำถามเก่าๆ ก็เริ่มฟังดูเชย
ขอบคุณที่อ่าน ติดตามฉันเพื่อรับข้อมูลใหม่ๆ เกี่ยวกับ AI ก่อนใคร
