10 · หลุมที่ลึกและแคบ
สมการที่โมเดลภาษาใช้เลือกคำถัดไป คือสมการเดียวกับที่ก้อนเหล็กใช้หาทิศ
ประโยคนี้ไม่ใช่คำเปรียบเทียบ มันคือผลทางคณิตศาสตร์ที่มีคนพิสูจน์ไว้ในปี 2020 และมันคือเหตุผลที่รางวัลโนเบลสาขาฟิสิกส์ปี 2024 ตกกับงานที่ทุกคนเรียกว่า AI
กลับไปที่ปัญหาค้างจากบทที่ 6 ก่อน
Hopfield network ดั้งเดิมเก็บของได้น้อย ราวสิบสี่เปอร์เซ็นต์ของจำนวนนิวรอน ปัญหาของมันมองเห็นได้ชัดถ้านึกถึงภูมิประเทศ หุบเขาที่ขุดด้วยวิธีดั้งเดิมนั้นกว้างและตื้น พอขุดหลายหลุมใกล้กัน ไหล่เขาของแต่ละหลุมก็เริ่มกินกัน จนสุดท้ายแทนที่จะได้หลุมสิบหลุม กลายเป็นแอ่งใหญ่แอ่งเดียวที่ไม่ตรงกับของที่จำไว้เลยสักชิ้น
ลูกบอลยังกลิ้งลงเหมือนเดิม มันแค่ไปนอนในที่ที่ไม่มีความหมาย
Dmitry Krotov กับ John Hopfield กลับมาที่ปัญหานี้ในปี 2016 ด้วยงานชื่อ Dense Associative Memory for Pattern Recognition และสิ่งที่พวกเขาเปลี่ยนคือรูปร่างของภูมิประเทศ ไม่ใช่จำนวนนิวรอน
ถ้าเปลี่ยนกฎที่คำนวณพลังงาน ให้ความต่างระหว่าง "ตรงกับของที่จำไว้" กับ "เกือบตรง" ถูกขยายให้ห่างกันมากขึ้น หุบเขาจะเปลี่ยนรูปจากแอ่งกว้าง ๆ กลายเป็นหลุมลึกและแคบ เหมือนเจาะบ่อแทนการขุดแอ่ง
และหลุมลึกแคบวางใกล้กันได้มากกว่าแอ่งกว้างมหาศาล
ผลคือความจุกระโดดขึ้นหลายระดับ จากที่เคยแปรตามจำนวนนิวรอนแบบตรง ๆ กลายเป็นแปรตามกำลัง และในงานรุ่นถัดมาที่ใช้กฎแบบเอกซ์โพเนนเชียล ความจุโตเร็วกว่านั้นอีก
ปี 2020 กลุ่มของ Hubert Ramsauer ที่มหาวิทยาลัย Linz ตีพิมพ์งานชื่อ Hopfield Networks is All You Need ซึ่งตั้งชื่อล้อบทความที่สร้างสถาปัตยกรรม Transformer ในปี 2017 ที่ชื่อ Attention Is All You Need และสิ่งที่พวกเขาพิสูจน์คือของสองอย่างนั้นเป็นของเดียวกัน
เนื้อหาของงานนั้นมีสามข้อ
ข้อแรก Hopfield network รุ่นใหม่ที่สถานะเป็นค่าต่อเนื่องแทนที่จะเป็นเปิดปิด เก็บรูปแบบได้จำนวนมหาศาล ด้วยความผิดพลาดในการเรียกคืนที่เล็กลงอย่างรวดเร็ว
ข้อสอง มันเรียกคืนของได้ในการอัปเดตครั้งเดียว ลูกบอลไม่ต้องกลิ้งทีละนิดจนถึงก้นหลุมอีกแล้ว มันกระโดดถึงในทีเดียว
ข้อสาม ซึ่งเป็นข้อที่สำคัญที่สุด — กฎการอัปเดตครั้งเดียวนั้น คือกลไก attention ของ Transformer
ไม่ใช่คล้าย ไม่ใช่เทียบเคียงได้ เป็นสมการเดียวกัน
แปลเป็นภาษาคนอ่าน: เวลาโมเดลภาษาอ่านประโยคหนึ่ง ทุกคำจะถามว่าคำไหนในประโยคนี้เกี่ยวกับฉันบ้าง แล้วดึงความหมายจากคำเหล่านั้นมาผสมเป็นความเข้าใจของตัวเอง กลไกที่ทำเรื่องนี้ชื่อ attention และสิ่งที่งานปี 2020 แสดงคือ การถามแบบนั้นหนึ่งครั้ง มีค่าเท่ากับการที่ลูกบอลกลิ้งลงหุบเขาในภูมิประเทศพลังงานจนถึงก้น คำที่ถูกดึงออกมาคือสิ่งที่อยู่ก้นหลุม
และงานนั้นยังจำแนกไว้ด้วยว่าหลุมที่ลูกบอลลงไปนอนมีสามแบบ — แบบที่เฉลี่ยทุกอย่างในประโยคเข้าด้วยกัน แบบที่เฉลี่ยเฉพาะกลุ่มย่อยกลุ่มหนึ่ง และแบบที่ลงไปเจาะจงที่ของชิ้นเดียว สิ่งที่วัดได้คือชั้นต้น ๆ ของโมเดลมักทำแบบเฉลี่ยรวม ส่วนชั้นสูงขึ้นไปทำแบบเจาะจงกลุ่มย่อย
นั่นคือคำอธิบายเชิงกลไกว่าโมเดลภาษา "เข้าใจบริบท" ยังไง มันไม่ได้เข้าใจ มันกลิ้งลงหลุม แต่หลุมถูกขุดไว้ดีพอจนผลที่ออกมาใช้แทนกันได้
ทีนี้เรื่องรางวัล
คำอ้างอิงอย่างเป็นทางการของรางวัลโนเบลสาขาฟิสิกส์ปี 2024 คือ "สำหรับการค้นพบและสิ่งประดิษฐ์พื้นฐานที่ทำให้การเรียนรู้ของเครื่องด้วยโครงข่ายประสาทเทียมเป็นไปได้" โดยระบุแยกว่า Hopfield สร้างโครงสร้างที่เก็บและสร้างข้อมูลกลับขึ้นมาใหม่ได้ ส่วน Hinton คิดค้นวิธีที่ค้นพบคุณสมบัติในข้อมูลได้ด้วยตัวเอง
เสียงคัดค้านมีจริงและควรพิมพ์ไว้ตรง ๆ ฝ่ายที่ไม่เห็นด้วยบอกว่านี่คือวิทยาการคอมพิวเตอร์ ไม่ใช่ฟิสิกส์ และหมวดรางวัลถูกกำหนดไว้ในพินัยกรรมของ Nobel จะยืดไม่ได้ตามใจ
ฝ่ายที่เห็นด้วยตอบด้วยสิ่งที่เล่ามาเก้าบทนี้ — เครื่องมือที่ใช้คือกลศาสตร์สถิติ ภูมิประเทศพลังงานคือของที่นักฟิสิกส์ใช้อธิบายแก้ว แม่เหล็ก และวัสดุที่จัดตัวเองไม่ลงตัว สมการที่อยู่ข้างใน attention คือสมการของระบบสปิน และความรู้ที่ได้ก็เดินทางกลับเข้าไปในฟิสิกส์ด้วย ไม่ได้ไหลออกทางเดียว
ข้อสรุปที่ซื่อสัตย์ที่สุดคือทั้งสองฝ่ายพูดถึงคนละคำถาม ฝ่ายหนึ่งถามว่าผลงานนี้เกิดจากฟิสิกส์หรือไม่ ซึ่งคำตอบชัดเจนว่าใช่ อีกฝ่ายถามว่าผลงานนี้เป็นฟิสิกส์หรือไม่ ซึ่งเป็นคำถามเรื่องเส้นแบ่งของสาขา และคำถามแบบนั้นไม่มีการทดลองไหนตัดสินให้ได้
สิ่งที่ตัดสินได้คือข้อนี้ — ถ้าไม่มีคนที่รู้จัก Ising model นั่งอยู่ในห้อง ปี 1982 จะไม่มีใครถามว่าจะขุดหุบเขาเองได้ไหม
ลองเอง: ค้นคำอ้างอิงจริงของรางวัลโนเบลสาขาฟิสิกส์ปี 2024 จากเว็บไซต์ nobelprize.org แล้วอ่านสองบรรทัด สังเกตว่าคำว่า physics ไม่ปรากฏในคำอ้างอิงเลย ปรากฏแต่ชื่อหมวด นั่นคือข้อเท็จจริงที่ทั้งสองฝ่ายของข้อถกเถียงใช้ได้ทั้งคู่ และการที่หลักฐานชิ้นเดียวกันรับใช้สองฝ่ายได้ คือสัญญาณว่าคำถามที่ถามกันอยู่ยังไม่ใช่คำถามที่ตัดสินได้
บทนี้จะผิดเมื่อ: มีการพิสูจน์ว่ากฎการอัปเดตของ modern Hopfield network ในงานปี 2020 ไม่ได้เทียบเท่ากับกลไก attention ของ Transformer หรือมีหลักฐานว่าความจุของ dense associative memory ไม่ได้เพิ่มขึ้นตามที่งานปี 2016 ระบุ
บทถัดไป · 12 / 1411 The Wall Moved