ลองนึกภาพว่ากำลังดูไลฟ์สุนทรพจน์ แล้วคนที่นั่งดูอยู่ข้างๆ ได้ยินคนบนเวทีพูดไม่เหมือนกับที่เราได้ยิน และปากของผู้พูดก็ขยับตรงกับคำในเวอร์ชันของแต่ละคนพอดี นี่คือสิ่งที่คำขอสิทธิบัตรฉบับใหม่ของ Microsoft บรรยายไว้
เอกสารชื่อ Near Real-Time Artificial Intelligence (AI) Enhancement of Video or Augmented Reality (AR) Presentations of Live Events ยื่นโดย Microsoft Technology Licensing ตั้งแต่วันที่ 29 เมษายน 2025 และเพิ่งถูกเผยแพร่เมื่อ 29 ตุลาคม 2026 Patentlyze เป็นคนแรกที่ไปเจอ ก่อนที่สื่อหลายสำนักจะหยิบมาเล่าต่อ
ระบบทำงานอย่างไร
ตามเอกสาร กล้องและไมโครโฟนเก็บภาพและเสียงสดเข้ามา AI agent จะไล่ฟังคำพูดแบบต่อเนื่อง แล้วเลือกคำที่ต้องตัดหรือเปลี่ยนตามชุดพารามิเตอร์หรือโปรไฟล์ของผู้ชม จากนั้นระบบ generative AI จะแทนคำเหล่านั้นทั้งในเสียงและในภาพ สร้างเฟรมใหม่ให้ริมฝีปากและใบหน้าของผู้พูดขยับตรงกับคำใหม่ แล้วเกลี่ยภาพและเสียงช่วงก่อนและหลังคำที่ถูกแก้ให้ต่อกันเนียน คนดูจึงไม่เห็นรอยตัด
Microsoft นิยามคำว่า near real-time ไว้ราว 1 ถึง 10 วินาที ใกล้เคียงกับดีเลย์ที่สถานีโทรทัศน์บางแห่งใช้ตอนออกอากาศสดอยู่แล้ว อุปกรณ์ที่เอกสารยกตัวอย่างมีทั้งแว่น AR มือถือ แท็บเล็ต และกล้องที่ประมวลผลบนชิปในเครื่อง ส่วนงานที่ระบุว่าใช้ได้มีทั้งรายการทีวี การบรรยาย การนำเสนอ การถ่ายทอดกีฬา และประสบการณ์ AR
ตั้งแต่ตัดคำว่าเอ่อ ไปจนถึงแปลภาษาทั้งปาก
การใช้งานระดับเบาที่สุดคือการเก็บกวาดคำพูด เช่น ตัดคำเติมอย่าง “um” หรือ “you know” แก้คำที่ออกเสียงผิด และลดอาการพูดติดอ่างที่ได้ยินหรือมองเห็นได้ ขยับขึ้นมาอีกขั้นคือเปลี่ยนคำแสลง ภาษาถิ่น คำหยาบ หรือคำที่ไม่เหมาะกับกลุ่มผู้ชมบางกลุ่ม
ส่วนที่น่าทึ่งที่สุดคือการแปลภาษา ถ้าผู้พูดใช้ภาษาที่ไม่อยู่ในโปรไฟล์ของผู้ชม ระบบจะแทนเสียงด้วยคำแปลแล้วขยับปากให้ตรงกับภาษาใหม่ ผู้ชมจะเห็นและได้ยินคนบนจอพูดภาษาของตัวเองไปเลย เอกสารยังพูดถึงการหาคำมาแทนผ่านการค้นอินเทอร์เน็ตหรือฐานข้อมูลเกี่ยวกับเรื่องที่พูดอยู่ เพื่อแก้ข้อมูลผิดหรืออัปเดตข้อเท็จจริงให้ใหม่ขึ้นด้วย
โปรไฟล์คนดูกำหนดว่าจะได้ยินอะไร
ประเด็นที่ทำให้สิทธิบัตรนี้ถูกพูดถึงมากคือการปรับเนื้อหาเฉพาะคน Microsoft บรรยายว่าโปรไฟล์ผู้ใช้อาจเก็บข้อมูลอย่างภาษาที่ใช้ อายุ การศึกษา และภูมิลำเนา ระบบจะใช้ข้อมูลพวกนี้ตัดสินว่าจะเปลี่ยนคำไหน คนสองคนที่ดูงานถ่ายทอดสดเดียวกันจึงอาจได้รับคำพูดคนละเวอร์ชัน และเห็นปากผู้พูดขยับคนละแบบ
Tech Times ชี้ว่าคำบรรยายใต้ภาพหรือเสียงพากย์ที่ต่างกันตามผู้ชมมีมานานแล้ว แต่การแก้ปากของผู้พูดให้ตรงกับคำที่เขาไม่ได้พูดจริงพาไปอีกระดับ โดยเฉพาะในบทสัมภาษณ์การเมือง ประกาศของรัฐ หรือข่าวด่วนที่ทุกคำมีน้ำหนัก ตัวเอกสารเองมีข้อถือสิทธิ์หนึ่งที่ให้เก็บภาพและเสียงต้นฉบับไว้เป็น ground truth สำหรับอ้างอิงภายหลัง แต่ไม่ได้ระบุว่าผู้ชมจะได้รับแจ้งเมื่อเนื้อหาถูกแก้
Microsoft เคยทำงานวิจัยใกล้เคียงกันมาแล้วคือ VASA-1 ในเดือนเมษายน 2024 ที่สร้างวิดีโอใบหน้าพูดได้จากภาพนิ่งภาพเดียวกับไฟล์เสียง ส่วนสิทธิบัตรใหม่นี้ Microsoft ยังไม่ได้ประกาศว่าจะทำเป็นผลิตภัณฑ์
แหล่งอ้างอิง
- Justia Patents: US Patent Application 20260341309
- Tech Times: Microsoft’s New AI Could Change What People Say on Live TV, Then Make Their Lips Match
- Futurism: Microsoft Patents an AI That Can Literally Put Words in People’s Mouths in Real Time
- India Today: Microsoft patents AI that can change people’s words and faces in live videos
