การแปลเสียงที่ลื่นไหลและเป็นธรรมชาติด้วย Gemini 3.5 Live Translate

@GoogleAIStudio
อังกฤษ1 เดือนที่ผ่านมา · 09 มิ.ย. 2569
297K
1.1K
118
28
264

TL;DR

Google ได้เปิดตัว Gemini 3.5 Live Translate โมเดลเสียงสุดล้ำที่ช่วยให้การแปลภาษาด้วยเสียงมีความต่อเนื่องและเป็นธรรมชาติในกว่า 70 ภาษา สำหรับนักพัฒนา องค์กร และผู้ใช้งานบนมือถือ

ยี่สิบปีที่แล้ว การแปลภาษาของ Google เริ่มต้นขึ้นจากการทดลอง机器学习 ที่บุกเบิกของเรา เพื่อเปลี่ยนศาสตร์แห่งภาษาให้เป็นเวทมนตร์แห่งการเชื่อมโยงระหว่างมนุษย์ การทดลองนั้นก้าวหน้ามาไกลมาก โดยมีคำนับล้านล้านคำที่ถูกแปลให้ผู้ใช้หลายพันล้านคนในผลิตภัณฑ์ต่างๆ ของเราทุกเดือน

วันนี้ เรากำลังก้าวไปอีกขั้นด้วยการเปิดตัว Gemini 3.5 Live Translate โมเดลเสียงรุ่นล่าสุดของเราสำหรับการแปลแบบเรียลไทม์จากคำพูดเป็นคำพูด

โมเดลนี้สามารถตรวจจับภาษาได้มากกว่า 70 ภาษาโดยอัตโนมัติ และสร้างคำพูดที่แปลแล้วซึ่งฟังดูเป็นธรรมชาติและราบรื่น โดยคงไว้ซึ่งน้ำเสียง จังหวะ และระดับเสียงสูงต่ำของผู้พูด ซึ่งแตกต่างจากระบบแบบผลัดกันพูดที่รอให้ผู้พูดพูดจบก่อนจึงจะตอบสนอง 3.5 Live Translate จะสร้างคำพูดอย่างต่อเนื่อง โดยสร้างสมดุลระหว่างการรอรับบริบทเพื่อปรับปรุงคุณภาพ กับการแปลทันทีเพื่อให้สอดคล้องกับผู้พูด มันให้เสียงที่ลื่นไหลโดยไม่มีการหยุดอึดอัด และตามหลังผู้พูดเพียงไม่กี่วินาทีตลอดทั้งเซสชั่น

Gemini 3.5 Live Translate เริ่มเปิดให้บริการตั้งแต่วันนี้ในผลิตภัณฑ์ต่างๆ ของ Google:

  • สำหรับนักพัฒนา ในระบบพรีวิวสาธารณะ ผ่าน Gemini Live API และ Google AI Studio
  • สำหรับองค์กร ในระบบพรีวิวส่วนตัว เริ่มในเดือนนี้ใน Google Meet
  • สำหรับทุกคน ผ่าน Google Translate บน Android และ iOS

สร้างด้วย 3.5 Live Translate

Gemini 3.5 Live Translate ประมวลผลคำพูดในขณะที่สตรีมเข้ามา ทำให้เกิดการเชื่อมต่อระหว่างภาษาที่ราบรื่นยิ่งขึ้น โมเดลนี้จัดการกับข้อมูลนำเข้าหลายภาษาได้โดยไม่ต้องตั้งค่าคอนฟิกด้วยตนเอง ในขณะเดียวกัน ความทนทานต่อสัญญาณรบกวนช่วยให้แอปพลิเคชันต่างๆ สามารถจัดการกับสภาพแวดล้อมที่มีเสียงดังและคาดเดาไม่ได้ คุณสามารถใช้ความสามารถนี้เพื่อช่วยอำนวยความสะดวกในการแปลสดสำหรับการโทร multi-language, การประชุม, บทเรียน, การออกอากาศ และอื่นๆ อีกมากมาย

Google AI Studio - inline image

ชมการทำงานของ Gemini Live API ที่เปิดใช้งานการพากย์เสียงและการแปลภาษาแบบ multi-language พร้อมกัน ลงลึกใน demo หรือ ตัวอย่างโค้ดเพิ่มเติม ใน Gemini Cookbook

ด้วยการใช้ Gemini Live API แพลตฟอร์มสำหรับนักพัฒนาอย่าง Agora, Fishjam, LiveKit, Pipecat, และ Vision Agents ช่วยให้นักพัฒนาสามารถสร้างและปรับใช้แอปพลิเคชันแปลเสียงพูดได้อย่างง่ายดาย การผสานรวมเหล่านี้จัดการกับโครงสร้างพื้นฐานการสตรีมสื่อแบบเรียลไทม์ที่ซับซ้อน ดังนั้นนักพัฒนาจึงสามารถมุ่งเน้นไปที่ประสบการณ์ผู้ใช้ได้

Grab พันธมิตรของเรากำลังทดสอบโมเดลนี้เพื่อเปิดใช้งานการสื่อสาร multi-language แบบใกล้เคียงเรียลไทม์ระหว่างคนขับและผู้เดินทาง ณ จุดรับส่ง ผู้ใช้เหล่านี้โทรด้วยเสียงมากกว่า 10 ล้านครั้งต่อเดือนผ่าน Grab

Google AI Studio - inline image

พบกับประสบการณ์ 3.5 Live Translate ในการประชุมทางวิดีโอของคุณ

การแปลคำพูด ใน Google Meet จะใช้ 3.5 Live Translate ในเร็วๆ นี้ ซึ่งจะช่วยปรับปรุงประสบการณ์โดย:

  • รองรับมากกว่า 70 ภาษา ซึ่งเพิ่มขึ้นจากขีดจำกัดเดิมที่เพียงห้าภาษา
  • เปิดใช้งานการสนทนาข้ามชุดภาษาได้มากกว่า 2,000+ ชุด ในการประชุมครั้งเดียว ขยายจากสถานะเดิมที่แปลได้เฉพาะจากและเป็นภาษาอังกฤษเท่านั้น
  • อัปเดตอินเทอร์เฟซเพื่อให้เข้าถึงการแปลคำพูดได้ทันที

เรากำลังเปิดตัวอัปเดตนี้ในรูปแบบพรีวิวส่วนตัวสำหรับลูกค้า Google Workspace ทางธุรกิจที่คัดเลือกแล้ว เริ่มในเดือนนี้ ตามด้วยการเปิดตัวในวงกว้างขึ้นในปลายปีนี้

Google AI Studio - inline image

รับ 3.5 Live Translate ในแอป Google Translate บน Android หรือ iOS

โมเดลนี้กำลังทยอยเปิดตัวในแอป Google Translate ทั่วโลก ทั้งบน Android และ iOS เมื่อใช้ฟีเจอร์ Live Translate เพียงเชื่อมต่อหูฟังคู่ใดก็ได้เพื่อสัมผัสประสบการณ์การแปลที่ราบรื่นยิ่งขึ้น ซึ่งสะท้อนน้ำเสียงของผู้พูดได้มากกว่า 70 ภาษา

สำหรับผู้ใช้ Android เรากำลังเริ่มเปิดตัว 'โหมดการฟัง' ใหม่ด้วย 3.5 Live Translate ที่ให้คุณได้ยินคำแปลโดยตรงผ่านลำโพงสนทนาของโทรศัพท์ เพียงยกโทรศัพท์แนบหูเหมือนการโทรปกติ เสียงที่แปลแล้วก็จะสตรีมตรงถึงคุณ ประสบการณ์ใหม่นี้มีประโยชน์ในสถานการณ์ที่คุณต้องการฟังคำแปลอย่างรวดเร็วโดยไม่ให้คนอื่นได้ยิน และคุณไม่มีหูฟังติดตัว

Google AI Studio - inline image

ติดลายน้ำด้วย SynthID

เสียงทั้งหมดที่สร้างโดยโมเดลของเราจะถูกติดลายน้ำด้วย SynthID ลายน้ำที่มองไม่เห็นนี้ถูกถักทอลงในเอาต์พุตเสียงโดยตรง ทำให้มั่นใจได้ว่าเนื้อหาที่สร้างโดย AI ยังคงตรวจสอบได้เพื่อช่วยป้องกันข้อมูลที่ผิด สำหรับรายละเอียดเกี่ยวกับแนวทางด้านความปลอดภัยและความรับผิดชอบของเรา โปรดอ่าน model card

บันทึกในคลิกเดียว

อ่านบทความไวรัลเชิงลึกด้วย AI ใน YouMind

บันทึกแหล่งที่มา ถามคำถามที่ตรงประเด็น สรุปข้อโต้แย้ง และเปลี่ยนบทความไวรัลให้เป็นโน้ตที่นำกลับมาใช้ได้ใน AI เวิร์กสเปซเดียว

สำรวจ YouMind
สำหรับครีเอเตอร์

เปลี่ยน Markdown ของคุณให้เป็นบทความ 𝕏 ที่สะอาดตา

เวลาคุณเผยแพร่งานเขียนยาวของตัวเอง การจัดรูปแบบรูปภาพ ตาราง และบล็อกโค้ดให้เข้ากับ 𝕏 นั้นน่าปวดหัว YouMind เปลี่ยนร่าง Markdown ทั้งฉบับให้เป็นบทความ 𝕏 ที่สะอาดตาและพร้อมโพสต์ทันที

ลอง Markdown เป็น 𝕏

แพตเทิร์นให้ถอดรหัสเพิ่มเติม

บทความไวรัลล่าสุด

สำรวจบทความไวรัลเพิ่มเติม