09 · ​เท่า​มนุษย์​แล้ว

​เดือน​มีนาคม 2018 Microsoft Research ​ประกาศ​ว่า​เครื่อง​แปล​ข่าว​จีน​เป็น​อังกฤษ​ได้​เท่า​มนุษย์​แล้ว ​และ​ภายใน​ปี​เดียวกัน​นั้น ​สอง​ทีม​ที่ทำงาน​แยกกัน​แสดงให้เห็น​ว่า​คำ​ว่า​เท่า​เป็นผล​ของ​วิธี​ประเมิน ​ไม่​ใช่​คุณสมบัติ​ของ​คำแปล

​ข้อ​ประกาศ​นั้น​ไม่​ได้​อ่อน ​และ​ควร​อ่าน​มัน​ด้วย​ความแรง​เต็มที่​ก่อน​จะ​หัก​มัน Hany Hassan ​และ​คณะ ​เผยแพร่ arXiv:1803.05567 ​ชื่อ "Achieving Human Parity on Automatic Chinese to English News Translation" ​ระบุ​ว่า​ผลงาน​ของ​ระบบ​แปล​ด้วย​โครงข่าย​ประสาท​ของ​ตน ​บน​ชุด​ทดสอบ​ข่าว​จีน-​อังกฤษ​ของ WMT 2017 ​แยก​ไม่​ออก​ทาง​สถิติ​จาก​งาน​ของ​นักแปล​อาชีพ ​หลักฐาน​วาง​ไว้​สองชั้น ​ชั้นแรก​คือ automatic metrics ​ชั้น​ที่สอง​คือ​โปรโตคอล​ให้​ผู้ตัดสิน​สอง​ภาษา​ให้คะแนน​อย่าง​เป็นทางการ ​ไม่​ใช่​การอ้าง​ลอยๆ ​และ​ทั้งสอง​ชั้น​บอก​ตรงกัน

Samuel Läubli, Rico Sennrich ​และ Martin Volk ​เอา​คำแปล​ชุด​เดิม​นั้น​กลับมา​ให้​คน​ตัดสิน​ใหม่ ​โดย​เปลี่ยนตัว​แปร​เดียว — ​ให้​ผู้ตัดสิน​อ่าน​ทั้ง​เอกสาร ​แทน​ประโยค​เดี่ยว​ที่​สับ​ลำดับ​มา​แล้ว ​งาน​ชื่อ "Has Machine Translation Achieved Human Parity? A Case for Document-level Evaluation" ​ตีพิมพ์​ที่ EMNLP 2018 ​และ​ประโยค​ผลลัพธ์​คือ "human raters assessing adequacy and fluency show a stronger preference for human over machine translation when evaluating documents as compared to isolated sentences" ​ระบบ​เดิม ​คำแปล​ชุด​เดิม ​ผู้ตัดสิน​เป็น​คน​ทั้งสอง​แบบ ​สิ่ง​เดียว​ที่​เปลี่ยน​คือ​ความยาว​ของ​สิ่ง​ที่​วาง​อยู่​ตรงหน้า​เขา

​ข้อผิดพลาด​ที่​โผล่​ตอน​อ่าน​ยาว​มีชื่อ​ของ​มัน​เอง ​สรรพนาม​ที่​หาย​ไป ​ความต่อเนื่อง​ที่​ขาด​ระหว่าง​ประโยค ​และ​ศัพท์​คำ​เดียวกัน​ที่​ถูก​เรียก​สอง​อย่าง​ใน​เรื่อง​เดียวกัน ​ทั้ง​สาม​อย่าง​มองไม่เห็น​ใน​ประโยค​เดี่ยว ​เพราะ​ประโยค​เดี่ยว​ไม่​มี​ที่​ให้​มัน​ปรากฏ ​ประโยค​ที่​ถูก​ตัดออก​มาจาก​ย่อหน้า​ไม่​มี​อะไร​ให้​สรรพนาม​ชี้​กลับ​ไปหา ​และ​ไม่​มี​ครั้ง​ที่สอง​ให้​ศัพท์​ขัด​กับ​ครั้งแรก

Antonio Toral, Sheila Castilho, Ke Hu ​และ Andy Way ​ตรวจ​ข้อ​ประกาศ​เดียวกัน​ด้วย​อีก​วิธี​หนึ่ง ​งาน​ชื่อ "Attaining the Unattainable? Reassessing Claims of Human Parity in Neural Machine Translation" ​ที่ WMT 2018 ​พบ​ว่า​ผล parity ​ขึ้นอยู่กับ​ว่า​ออกแบบ​การประเมิน​อย่างไร ​และ​ระบุ​ตัวเลือก​สอง​ข้อ​ที่​เข้าข้าง​เครื่อง​โดยตรง — ​ต้นฉบับ​ที่​ใช้​ทดสอบ​เป็น​ข้อความ​ที่​แปล​มา​อีก​ทอด ​ไม่​ใช่​ข้อความ​ที่​เขียน​ขึ้น​ใน​ภาษา​นั้น​แต่แรก ​และ​ผู้ตัดสิน​ไม่​ได้​เห็น​บริบท​ระหว่าง​ประโยค

​หน้าต่าง​ขนาด​ประโยค​เก่า​กว่า​เรื่อง​นี้​สิบ​หก​ปี Kishore Papineni, Salim Roukos, Todd Ward ​และ Wei-Jing Zhu ​เสนอ BLEU ​ที่ ACL 2002 ​เป็น​คะแนน n-gram precision ​เทียบ​กับ​คำแปล​อ้างอิง ​มี brevity penalty ​กัน​การทำคะแนน​ด้วย​การเขียน​สั้น ​และ​ผู้เสนอ​เรียก​มัน​เอง​ว่า "understudy to skilled human judges" ​ตัวสำรอง ​ไม่​ใช่​ตัวจริง ​คำ​นั้น​อยู่​ใน​เอกสาร​ตั้งต้น​มา​ตั้งแต่ 2002 ​แล้ว​ตัวสำรอง​ก็​ยืน​อยู่​บน​เวที​ต่อ​อีก​ราว​ยี่สิบ​ปี

BLEU ​รายงาน​สิ่ง​ที่​พัง​ข้าม​ประโยค​ไม่​ได้ ​เพราะ​มัน​ไม่​เคย​มอง​อะไร​ที่​ยาว​กว่า​ประโยค ​นี่​ไม่​ใช่​ข้อบกพร่อง​ของ​สูตร ​มัน​คือ​ขนาด​ของ​หน้าต่าง Chris Callison-Burch, Miles Osborne ​และ Philipp Koehn ​เขียน​ไว้​ที่ EACL 2006 ​ว่า​คะแนน BLEU ​ที่สูง​ขึ้น​นั้น "neither necessary nor sufficient" ​ต่อ​คุณภาพ​ที่​ดีขึ้น​จริง ​พร้อม​ตัวอย่าง​ทั้งสอง​ทาง ​ระบบ​ที่ BLEU ​บอก​ว่า​ดีกว่า​แต่​คน​บอก​ว่า​แย่​กว่า ​และ​ระบบ​ที่​กลับกัน ​สิบสอง​ปีก่อน​ข้อ​ประกาศ​ปี 2018 ​คำเตือน​นี้​อยู่​ใน​เอกสาร​ประชุม​ของ​สาขา​เอง​แล้ว

​คน​ตัดสิน​ก็​พลาด​แบบ​เดียวกัน​ได้ ​ถ้า​ให้หน้า​ต่าง​เท่ากัน Markus Freitag, George Foster, David Grangier, Viresh Ratnakar, Qijun Tan ​และ Wolfgang Macherey ​ตีพิมพ์​ใน TACL 9 ​ปี 2021 ​การศึกษา MQM ​ขนาดใหญ่​ที่สุด​เท่าที่​ทำ​กัน​มา ​ให้​นักแปล​อาชีพ​อ่าน​พร้อม​บริบท​เต็ม​เอกสาร ​แล้ว​ให้คะแนน​ระบบ​จาก WMT2020 ​ใหม่​ใน​สอง​คู่​ภาษา ​ผล​ออกมา​เป็น "a substantially different ranking of evaluated systems from the one established by the WMT crowd workers" ​ความผิด​จึง​ไม่​ได้​อยู่​ที่​ผู้ตัดสิน​เป็น​เครื่อง​หรือ​เป็น​คน ​มัน​อยู่​ที่​ผู้ตัดสิน​ได้​เห็น​อะไร

​เส้น​นี้​ลาก​กลับ​ไป​ถึง​ปี 1966 ​ได้ ALPAC ​ตั้งขึ้น​เมื่อ​เมษายน 1964 ​มี John R. Pierce ​จาก Bell Telephone Laboratories ​เป็น​ประธาน ​และ​กรรมการ​อีก​หก​คน ​รายงาน​ชื่อ Language and Machines — Computers in Translation and Linguistics ​ออกเดือน​พฤศจิกายน 1966 ​นิยาม machine translation ​ไว้​แคบ​มาก ​คือ​การแปล "by algorithm from machine-readable source text to useful target text, without recourse to human translation or editing" ​แล้ว​สรุป​ภายใต้​นิยาม​นั้น​ว่า "there has been no machine translation of general scientific text, and none is in immediate prospect" ​งบ​วิจัย​ถูก​ตัด ​และ​งานวิจัย MT ​ใน​อเมริกา​หยุด​ไป​ราว​ยี่สิบ​ปี

​สอง​กรณี​นี้​เป็น​กลไก​เดียวกัน ​ต่างกัน​แค่​เครื่องหมาย ​ปี 1966 ​นิยาม​ที่​แคบ​ทำให้​ผลงาน​ทั้ง​สาขา​เหลือ​ศูนย์ ​ปี 2018 ​โปรโตคอล​ที่​แคบ​ทำให้​คำแปล​ชุด​หนึ่ง​ขึ้นไป​เท่า​มนุษย์ ​ระบอบ​การวัด​ของ​แต่ละ​ยุค​วัด​สิ่ง​ที่​มัน​วัด​ได้ ​แล้ว​สิ่ง​ที่​มัน​วัด​ได้​ก็​กลายเป็น​ความหมาย​ของ​คำ​ว่า​ดี ​มี​ข้อ​หนึ่ง​จาก​รายงาน ALPAC ​เอง​ที่​ควร​สังเกต ​หนึ่ง​ใน​สาม​เรื่อง​ที่​มัน​แนะนำ​ให้​เอา​งบ​ไป​ลง​คือ​วิธี​ประเมิน​คุณภาพ​การแปล

​สาขา​แก้​เรื่อง​นี้​แล้ว ​และ​แก้​ด้วย​การขยาย​หน้าต่าง ​ไม่​ใช่​ด้วย​การรอ​ให้​โมเดล​เก่ง​ขึ้น Maja Popović ​เสนอ chrF ​ที่ WMT 2015 ​ให้​วัด​ด้วย character n-gram ​แทน Ricardo Rei ​และ​คณะ ​เสนอ COMET ​ที่ EMNLP 2020 ​ให้​เรียน​จาก​คำตัดสิน​ของ​คน​โดยตรง ​แทน​การนับ n-gram ​ที่​ตรงกัน ​ผู้​จัด WMT24 ​ระบุ​เอง​ว่า​เมตริก​อัตโนมัติ​ที่ทำงาน​ได้ดี​ที่สุด​สอง​ตัว​คือ MetricX-23-XL ​และ CometKiwi-DA-XL — BLEU ​ไม่​ใช่​ไม้บรรทัด​ที่​ใช้​จัดอันดับ​ระบบ​ที่​ดี​ที่สุด​ของ​สาขา​อีกต่อไป WMT25 ​ขยาย​ไป​ถึง 32 ​คู่​ภาษา 60 ​ระบบ ​และ​เพิ่ม​โดเมน​ใหม่​ชื่อ Literary ​ที่​เป็น​เอกสาร​ยาว​ราว 5,000 ​คำ ​ด้วย​เหตุผล​ที่​พิมพ์​อยู่​ใน​ชื่อ​รายงาน​เอง — "Time to Stop Evaluating on Easy Test Sets"

​ตัวเลข​ฝั่ง​ภาษาไทย​ยืนยัน​ไม่​ได้ ​และ​เล่ม​นี้​ไม่​เดา​ให้ NLLB-200 ​รายงาน​ว่า​ค่าเฉลี่ย BLEU ​ดีขึ้น 44% ​เทียบ​กับ​ของ​เดิม ​บน​ทิศทาง​การแปลก​ว่า 40,000 ​ทิศทาง​ของ FLORES-200 ​ซึ่ง​ครอบคลุม 204 ​คู่​ภาษา​และ​สคริปต์ ​และ​ไทย (tha_Thai) ​อยู่​ใน​นั้น​ด้วย ​แต่​คะแนน BLEU ​หรือ chrF ​เฉพาะ​ของ​ภาษาไทย​หา​แหล่ง​ปฐมภูมิ​มา​ยืนยัน​ไม่​ได้​ใน​การค้น​รอบ​นี้ ​ส่วน​ตาราง​ระบบ​ของ WMT25 ​ทั้ง 32 ​คู่​ภาษา ​เปิด​ดู​แล้ว​ไม่​มี​คู่​อังกฤษ-​ไทย​อยู่​ใน​นั้น ​หน้าต่าง​ที่​กว้าง​ขึ้น​ยัง​มา​ไม่​ถึง​ภาษา​ที่​เล่ม​นี้​ใช้​เขียน​ต้นฉบับ

​สิ่ง​ที่​หน้าต่าง​ขนาด​ประโยค​มองไม่เห็น ​คือ​ข้อผูกพัน​ที่เกิด​ขึ้น​ได้​เฉพาะ​เมื่อ​ข้อความ​ยาว​กว่า​หนึ่ง​ประโยค ​สรรพนาม​ที่​ต้อง​ชี้​กลับ​ไปหา​คน​ที่​เอ่ย​ชื่อ​ไว้​สาม​ประโยค​ก่อน ​ศัพท์​ที่​ต้อง​เรียก​เหมือนเดิม​ทุกครั้ง​จน​จบเรื่อง ​และ​ระดับ​ภาษา​ที่​บอก​ว่า​ใคร​กำลัง​พูด​กับ​ใคร ​ข้อ​สุดท้าย​มี​หลักฐาน​ของ​ตัวเอง Luis Cihlar ​และ​คณะ ​ตรวจการ​แปล honorific ​ของ​ภาษา​เกาหลี ​รายงาน​ที่ IAAI workshop ​ของ LREC 2026 ​พบ​ว่า​โมเดล​เลื่อน​ระดับ​ความสุภาพ​ตาม​ว่า​คู่สนทนา​ถูก​ระบุ​ไว้​ตรงๆ ​หรือ​ต้อง​อนุมาน​เอา ​ระบบ​จับ​สัญญาณ​ที่​ผิว​ของ​ข้อความ ​ไม่​ได้​จำลอง​ความสัมพันธ์ ​ประโยค​เดี่ยว​ไม่​มี​คู่สนทนา ​ข้อความ​ทั้ง​ชิ้น​มี

​สิ่ง​ที่​ข้าม​ไม่​ได้: ​สรรพนาม​ที่​ต้อง​ชี้​ข้าม​ประโยค ​ศัพท์​ที่​ต้อง​คงเดิม​ทั้ง​เรื่อง ​และ​ระดับ​ภาษา​ที่​ระบุ​ว่า​ใคร​พูด​กับ​ใคร — ​สาม​อย่างนี้​เป็น​ข้อผูกพัน​ของ​ข้อความ​ทั้ง​ชิ้น ​ไม่​ใช่​ของ​ประโยค​เดี่ยว ​เครื่องมือ​ที่​มีหน้า​ต่าง​เท่า​ประโยค​เดียว​จึง​รายงาน​ว่า​ไม่​มี​อะไร​หาย ​เพราะ​มัน​ไม่​เคย​มอง​ไป​ที่​ที่​ของ​หาย​ไป​อยู่

​จะ​พลิก​คำตัดสิน​นี้​ได้​เมื่อ: ​เอา​คำแปล​ชุด​เดิม​ของ Hassan et al. 2018 ​กลับมา​ให้​คน​ตัดสิน​ใหม่​ทั้งสอง​แบบ ​ประโยค​เดี่ยว​ที่​สับ​ลำดับ ​กับ​เอกสาร​เต็ม ​ถ้า​ผู้ตัดสิน​ไม่​ได้​เลือก​งาน​ของ​มนุษย์​มากขึ้น​เมื่อ​อ่าน​เอกสาร​เต็ม ​หรือ​ถ้า​ผล​ของ Läubli, Sennrich ​และ Volk 2018 ​ทำซ้ำ​ไม่​ได้​ใน​คู่​ภาษา​อื่น ​คำตัดสิน​นี้​ตกไป

​แหล่ง: Hassan et al., "Achieving Human Parity on Automatic Chinese to English News Translation," arXiv:1803.05567 (2018) — https://arxiv.org/abs/1803.05567 · Läubli, Sennrich, Volk, "Has Machine Translation Achieved Human Parity? A Case for Document-level Evaluation," EMNLP 2018 — https://aclanthology.org/D18-1512/ · Toral, Castilho, Hu, Way, "Attaining the Unattainable? Reassessing Claims of Human Parity in Neural Machine Translation," WMT 2018 — https://aclanthology.org/W18-6312/ · Papineni, Roukos, Ward, Zhu, "BLEU: a Method for Automatic Evaluation of Machine Translation," ACL 2002 — https://aclanthology.org/P02-1040/ · Callison-Burch, Osborne, Koehn, "Re-evaluating the Role of Bleu in Machine Translation Research," EACL 2006 — https://aclanthology.org/E06-1032/ · Popović, "chrF: character n-gram F-score for automatic MT evaluation," WMT 2015 — https://aclanthology.org/W15-3049/ · Rei et al., "COMET: A Neural Framework for MT Evaluation," EMNLP 2020 — https://aclanthology.org/2020.emnlp-main.213/ · Freitag, Foster, Grangier, Ratnakar, Tan, Macherey, "Experts, Errors, and Context: A Large-Scale Study of Human Evaluation for Machine Translation," TACL 9, 2021 — https://aclanthology.org/2021.tacl-1.87/ · Pierce, Carroll, et al., Language and Machines — Computers in Translation and Linguistics (ALPAC Report), National Academy of Sciences, 1966 — http://www.mt-archive.info/ALPAC-1966.pdf · Kocmi et al., "Findings of the WMT24 General Machine Translation Shared Task: The LLM Era Is Here but MT Is Not Solved Yet," WMT 2024 — https://aclanthology.org/2024.wmt-1.1/ · Kocmi et al., "Findings of the WMT25 General Machine Translation Shared Task: Time to Stop Evaluating on Easy Test Sets," WMT 2025 — https://aclanthology.org/2025.wmt-1.22/ · Kocmi et al., "Preliminary Ranking of WMT25 General Machine Translation Systems," arXiv:2508.14909 (2025) — https://arxiv.org/abs/2508.14909 · NLLB Team et al., "No Language Left Behind: Scaling Human-Centered Machine Translation," arXiv:2207.04672 (2022) — https://arxiv.org/abs/2207.04672 · Cihlar, Bui, Park, Mager, Bisang, von der Wense, "Investigating the Automatic Translation of Korean Honorifics," LREC 2026 IAAI Workshop — https://aclanthology.org/2026.iaai-1.3/