13 · Learning Machines
13 · เครื่องเรียนรู้
This is Part II's fifth hearing: computation has spent a decade teaching itself to speak, translate, and see without being told a single rule, and now philosophy is asked to explain how that could count as knowing anything.
การไต่สวนครั้งที่ 5 ของภาค II: สิบปีที่ผ่านมา การคำนวณสอนตัวเองให้พูด แปล และมองเห็น โดยไม่มีใครบอกกฎสักข้อ ตอนนี้ปรัชญาถูกขอให้อธิบายว่าสิ่งนั้นนับเป็นการรู้อะไรได้อย่างไร
What does machine learning prove about how knowledge enters a mind?
การเรียนรู้ของเครื่องพิสูจน์อะไรได้บ้าง เรื่องวิธีที่ความรู้เข้าสู่จิต
On 24 May 2024, Anthropic let the public talk to a model that could not stop mentioning the Golden Gate Bridge. Ask it for a love letter and it worked the bridge's orange paint into a metaphor; ask it to file your taxes and it found a way back to the fog over the strait. This was "Golden Gate Claude," a demonstration built from research the company had just published: "Scaling Monosemanticity," which used a sparse-dictionary technique to pull tens of millions of human-interpretable "features" out of the middle layers of Claude 3 Sonnet — internal directions that reliably fire for a specific bridge, for sycophancy, for a known kind of security flaw (Anthropic, "Scaling Monosemanticity," May 2024). For the demonstration, one feature was simply turned up until it dominated. The model was taken offline about a day later. What it left behind was stranger than the joke: a single concept, inside a system nobody had hand-coded concept by concept, had an address you could dial like a volume knob. A structure philosophers had called irretrievably opaque turned out, at least at this one coordinate, to have a location.
วันที่ 24 พฤษภาคม 2024 Anthropic เปิดให้คนทั่วไปคุยกับโมเดลที่หยุดพูดถึง Golden Gate Bridge ไม่ได้ ขอจดหมายรัก มันดึงสีส้มของสะพานมาเป็นอุปมา ขอให้ช่วยยื่นภาษี มันวกกลับไปที่หมอกเหนือช่องแคบจนได้ นี่คือ "Golden Gate Claude" การสาธิตที่สร้างจากงานวิจัยที่บริษัทเพิ่งเผยแพร่: "Scaling Monosemanticity" ใช้เทคนิค sparse-dictionary ดึง "feature" ที่มนุษย์ตีความได้นับสิบล้านตัวออกมาจากเลเยอร์กลางของ Claude 3 Sonnet — ทิศทางภายในที่ติดขึ้นสม่ำเสมอเมื่อเจอสะพานเส้นนั้นเส้นเดียว เมื่อเจอความประจบสอพลอ เมื่อเจอช่องโหว่ความปลอดภัยแบบที่รู้จักกันอยู่แล้ว (Anthropic, "Scaling Monosemanticity," May 2024) การสาธิตครั้งนี้เร่ง feature ตัวเดียวขึ้นจนมันครอบงำคำตอบทั้งหมด อีกราวหนึ่งวันโมเดลก็ถูกถอดออกจากระบบ สิ่งที่มันทิ้งไว้แปลกกว่ามุกตลก: แนวคิดเดียวในระบบที่ไม่มีใครเขียนโค้ดทีละแนวคิดด้วยมือ มีที่อยู่ให้หมุนปรับได้เหมือนปุ่มเสียง โครงสร้างที่นักปรัชญาเคยเรียกว่าทึบจนกู้คืนไม่ได้ อย่างน้อยที่พิกัดจุดนี้จุดเดียว มีตำแหน่งที่ตั้งอยู่จริง
That location is where this chapter starts, because finding it reopens a dispute older than any computer: what, if anything, must a mind already have before experience can teach it something.
ตำแหน่งนั้นคือจุดที่บทนี้เริ่ม เพราะการพบมันรื้อข้อพิพาทที่เก่าแก่กว่าคอมพิวเตอร์ทุกเครื่องขึ้นมาใหม่: จิตต้องมีอะไรติดตัวมาก่อน — ถ้ามี — ประสบการณ์ถึงจะสอนอะไรมันได้
Empiricism and rationalism have been run, this past decade, as an experiment at scale. Noam Chomsky coined "poverty of the stimulus" in Rules and Representations (1980): children acquire grammatical structure that the input they actually hear radically underdetermines, so some of that structure must be innate — Universal Grammar. Large language models seem to answer back: trained on nothing but text, with no grammar built in, they become fluent. But the reply does not settle the argument, and philosophy objects on the argument's own terms. Chomsky, with Berwick, Pietroski, and Yankama, restated the case in "Poverty of the Stimulus Revisited" (2011): the claim was always about what a child's actual, limited exposure can support, not about what any learner given enough data can do. A model trained on a written record no child ever sees is not a counterexample to a claim about children; it is a different experiment with a different subject.
สิบปีที่ผ่านมาเอาประสบการณ์นิยมกับเหตุผลนิยมมาทดลองกันในขนาดใหญ่ Noam Chomsky บัญญัติคำว่า "ความขาดแคลนของสิ่งเร้า" (poverty of the stimulus) ไว้ใน Rules and Representations (1980): เด็กเรียนรู้โครงสร้างไวยากรณ์ที่ข้อมูลนำเข้าซึ่งพวกเขาได้ยินจริงกำหนดไว้ไม่พอเลย โครงสร้างบางส่วนจึงต้องติดตัวมาแต่กำเนิด — ไวยากรณ์สากล (Universal Grammar) โมเดลภาษาขนาดใหญ่ดูเหมือนจะตอบโต้กลับ เทรนด้วยข้อความล้วนๆ ไม่มีไวยากรณ์ฝังไว้ในตัว ก็ยังพูดได้คล่อง แต่คำตอบนั้นไม่ปิดข้อถกเถียง และปรัชญาก็ค้านด้วยเงื่อนไขของข้อโต้แย้งเอง Chomsky ร่วมกับ Berwick, Pietroski และ Yankama กล่าวข้อเสนอนี้ซ้ำใน "Poverty of the Stimulus Revisited" (2011): ข้อกล่าวอ้างนี้พูดถึงสิ่งที่การรับข้อมูลจริงและจำกัดของ เด็ก รองรับได้เสมอมา ไม่ใช่สิ่งที่ผู้เรียนรู้คนไหนก็ตามทำได้ถ้าป้อนข้อมูลให้มากพอ โมเดลที่เทรนจากบันทึกลายลักษณ์อักษรที่ไม่มีเด็กคนไหนเคยเห็น จึงไม่ใช่ตัวอย่างค้านข้อกล่าวอ้างเรื่องเด็ก มันคือการทดลองคนละอันกับหัวข้อคนละเรื่อง
The empiricist side of that experiment has a doctrine, and the doctrine is a wager about how knowledge arrives. Richard Sutton put it into engineering form in March 2019: "The biggest lesson that can be read from 70 years of AI research is that general methods that leverage computation are ultimately the most effective, and by a large margin" (Sutton, "The Bitter Lesson," 13 March 2019). Chess, Go, speech, and vision each fell to search and learning after decades spent hand-encoding what researchers thought minds needed. But a lesson drawn from which strategies won in a handful of domains is a historical generalization, not a proof about how any mind must gain knowledge — and it is silent on domains, like formal proof (ch.12), where built-in structure has not obviously become a liability.
ฝั่งประสบการณ์นิยมมีหลักคำสอนของตัวเอง และหลักคำสอนนั้นคือการพนันว่าความรู้มาถึงได้อย่างไร Richard Sutton แปลงมันเป็นรูปแบบเชิงวิศวกรรมในเดือนมีนาคม 2019: "บทเรียนที่ใหญ่ที่สุดที่อ่านได้จากงานวิจัย AI 70 ปี คือวิธีการทั่วไปที่ใช้ประโยชน์จาก compute ได้ผลดีที่สุดในที่สุด และดีกว่าด้วยระยะห่างมาก" ("The biggest lesson that can be read from 70 years of AI research is that general methods that leverage computation are ultimately the most effective, and by a large margin") (Sutton, "The Bitter Lesson," 13 March 2019) หมากรุกสากล โกะ การพูด การมองเห็น ต่างพ่ายให้กับการค้นหาและการเรียนรู้ หลังจากหลายทศวรรษที่หมดไปกับการเข้ารหัสด้วยมือในสิ่งที่นักวิจัยคิดว่าจิตต้องการ แต่บทเรียนที่สรุปจากว่ากลยุทธ์ไหนชนะในโดเมนไม่กี่โดเมนเป็นการสรุปเชิงประวัติศาสตร์ ไม่ใช่บทพิสูจน์ว่าจิตใดๆ ต้องได้ความรู้มาอย่างไร และมันเงียบสนิทต่อโดเมนอย่างบทพิสูจน์เชิงรูปนัย (บทที่ 12) ที่โครงสร้างซึ่งฝังมาแต่ต้นยังไม่กลายเป็นภาระอย่างชัดเจน
Chapter 05 puts Stevan Harnad's 1990 question on the record: can a system that manipulates symbols purely by their shape ever mean anything by them, or does it only borrow meaning from whoever reads its output? A model trained only on text is, on that question, purer than anything Harnad had in mind: its entire "experience" is other symbols. Is a feature that fires reliably on "Golden Gate Bridge" across languages and phrasings a grounded reference to the object, or an extremely well-organized cluster of shapes that still refers to nothing? The finding is evidence; it is not a verdict.
บทที่ 05 บันทึกคำถามของ Stevan Harnad ในปี 1990 ไว้เป็นหลักฐาน: ระบบที่จัดการสัญลักษณ์ด้วยรูปทรงล้วนๆ จะหมายถึงอะไรด้วยสัญลักษณ์เหล่านั้นได้จริงหรือไม่ หรือมันแค่ยืมความหมายจากคนที่อ่านผลลัพธ์ของมัน โมเดลที่เทรนจากข้อความล้วนๆ บริสุทธิ์ต่อคำถามนั้นยิ่งกว่าอะไรที่ Harnad เคยนึกถึง เพราะ "ประสบการณ์" ทั้งหมดของมันคือสัญลักษณ์อื่น feature ที่ติดขึ้นสม่ำเสมอเมื่อเจอ "Golden Gate Bridge" ข้ามภาษาและข้ามสำนวน คือการอ้างอิงที่ยึดโยงกับตัววัตถุ หรือเป็นกลุ่มก้อนรูปทรงที่จัดระเบียบมาดีมาก แต่ยังไม่ได้อ้างถึงอะไรเลย ข้อค้นพบนี้เป็นหลักฐาน ไม่ใช่คำตัดสิน
The research line runs from "A Mathematical Framework for Transformer Circuits" (Anthropic, December 2021) through "Towards Monosemanticity" (2023) to the 2024 scaling result, and it gives philosophy of mind something it rarely has: a system whose internal representations were discovered, not designed, open to direct inspection rather than armchair argument. The caution belongs beside the excitement — a "feature" is what a sparse autoencoder, itself a trained model, finds; whether that unit deserves the name "concept" is exactly the question interpretability opens rather than closes.
สายงานวิจัยนี้ลากจาก "A Mathematical Framework for Transformer Circuits" (Anthropic, ธันวาคม 2021) ผ่าน "Towards Monosemanticity" (2023) มาถึงผลลัพธ์การขยายสเกลปี 2024 และมันมอบสิ่งที่ปรัชญาแห่งจิตแทบไม่เคยมี: ระบบที่การแทนค่าภายในถูก ค้นพบ ไม่ใช่ถูกออกแบบ เปิดให้ตรวจสอบตรงๆ แทนการถกเถียงบนเก้าอี้ ความระมัดระวังต้องมาคู่กับความตื่นเต้น "feature" คือสิ่งที่ sparse autoencoder ค้นพบ และตัว sparse autoencoder เองก็เป็นโมเดลที่ผ่านการเทรนมา หน่วยนั้นสมควรได้ชื่อว่า "concept" หรือไม่ คือคำถามที่ interpretability (การตีความได้) เปิดไว้ ไม่ใช่ปิดลง
Hume's problem is replayed, batch by batch, inside the training loop. In 1748, Hume showed that no argument — demonstrative or probable — can license projecting a past regularity forward without already assuming nature is uniform, which is the very thing in question (Hume, An Enquiry Concerning Human Understanding, Section IV, 1748). Every gradient update is exactly that projection: a rule fit to past batches, licensed to govern data it has never seen. Statistical learning theory supplies generalization bounds, but only by assuming train and test are drawn from the same distribution — Hume's uniformity principle, formalized and assumed, not derived. Computing's retort is that probably-approximately-correct is enough to ship; philosophy's is that this is enough only because the premise Hume showed unprovable was smuggled in at the start, which is exactly why models fail silently the moment the world stops resembling their training data.
ปัญหาของ Hume ถูกเล่นซ้ำทีละแบตช์อยู่ใน training loop ปี 1748 Hume แสดงให้เห็นว่าไม่มีข้อโต้แย้งใด ไม่ว่าจะพิสูจน์ได้แน่นอนหรือแค่น่าจะเป็น ที่อนุญาตให้ฉายความสม่ำเสมอในอดีตไปข้างหน้าได้ โดยไม่สมมติไว้ก่อนว่าธรรมชาติสม่ำเสมอ ซึ่งเป็นสิ่งที่กำลังถูกตั้งคำถามอยู่พอดี (Hume, An Enquiry Concerning Human Understanding, Section IV, 1748) การอัปเดต gradient ทุกครั้งคือการฉายภาพแบบนั้นเป๊ะๆ: กฎที่ fit กับแบตช์ในอดีต ได้รับอนุญาตให้ควบคุมข้อมูลที่มันไม่เคยเห็น ทฤษฎีการเรียนรู้เชิงสถิติให้ขอบเขตการทั่วไป (generalization bound) มาได้ แต่ให้ได้ก็ต่อเมื่อสมมติว่าชุด train กับชุด test ถูกดึงมาจากการกระจายตัวเดียวกัน — หลักความสม่ำเสมอของ Hume ที่ถูกทำให้เป็นรูปนัยแล้ว สมมติไว้ ไม่ใช่พิสูจน์มา ฝั่งการคำนวณโต้ว่าแค่ probably-approximately-correct ก็พอส่งของได้ ฝั่งปรัชญาโต้ว่ามันพอเพราะข้อสมมติที่ Hume แสดงว่าพิสูจน์ไม่ได้ถูกลักลอบใส่เข้ามาตั้งแต่ต้น และนั่นคือเหตุผลตรงๆ ว่าทำไมโมเดลถึงล้มเหลวแบบเงียบๆ ทันทีที่โลกเลิกคล้ายข้อมูลที่มันเทรนมา
The people, briefly. Sutton has spent four decades building reinforcement learning's core toolkit — temporal-difference learning, actor-critic methods — from the University of Massachusetts to AT&T Labs to the University of Alberta, where he has been a professor since 2003 and, from 2017, a distinguished scientist at DeepMind Alberta. Chomsky has argued the rationalist case from MIT linguistics since the 1950s. Harnad's grounding paper has outlived several fashions in AI it was written to challenge. Chris Olah, an Anthropic co-founder who previously worked on interpretability at Google Brain and OpenAI, has run the Transformer Circuits project since its 2021 opening paper.
ผู้คน โดยย่อ Sutton ใช้เวลาสี่ทศวรรษสร้างชุดเครื่องมือหลักของ reinforcement learning — temporal-difference learning, actor-critic methods — ตั้งแต่ University of Massachusetts ไป AT&T Labs จนถึง University of Alberta ที่เขาเป็นศาสตราจารย์มาตั้งแต่ปี 2003 และตั้งแต่ปี 2017 เป็นนักวิทยาศาสตร์ดีเด่นที่ DeepMind Alberta Chomsky ยืนกรานฝ่ายเหตุผลนิยมจากภาควิชาภาษาศาสตร์ที่ MIT มาตั้งแต่ทศวรรษ 1950 เปเปอร์เรื่องการยึดโยงของ Harnad อยู่ยงคงกระพันข้ามกระแสหลายกระแสใน AI ที่มันถูกเขียนขึ้นมาท้าทาย Chris Olah ผู้ร่วมก่อตั้ง Anthropic ที่เคยทำงานด้าน interpretability ที่ Google Brain และ OpenAI ดูแลโครงการ Transformer Circuits มาตั้งแต่เปเปอร์เปิดตัวปี 2021
Connections
เชื่อมโยง
Chapter 04 asked whether the mind is what the brain computes; this chapter asks what an artificial learner's success or failure can actually prove about that question, and mostly finds "less than advertised." Chapter 05 owns the symbol grounding problem this chapter tests at scale. Chapter 09 supplies the notion of mechanical procedure this whole debate assumes. Chapter 10 supplies the bounded agent that Sutton's engineering doctrine implicitly assumes and classical epistemology did not. Chapter 11 explains the bracket Shannon drew around meaning; interpretability is computing's first serious attempt to look back inside it.
บทที่ 04 ถามว่าจิตคือสิ่งที่สมองคำนวณหรือไม่ บทนี้ถามว่าความสำเร็จหรือความล้มเหลวของผู้เรียนรู้เทียมพิสูจน์อะไรได้จริงต่อคำถามนั้น และส่วนใหญ่พบว่า "น้อยกว่าที่โฆษณาไว้" บทที่ 05 เป็นเจ้าของปัญหาการยึดโยงสัญลักษณ์ (symbol grounding problem) ที่บทนี้เอามาทดสอบในขนาดใหญ่ บทที่ 09 ให้แนวคิดเรื่องกระบวนวิธีเชิงกลไกที่ข้อถกเถียงทั้งหมดนี้สมมติไว้เป็นฐาน บทที่ 10 ให้ตัวแทนที่มีขอบเขต (bounded agent) ที่หลักคำสอนเชิงวิศวกรรมของ Sutton สมมติไว้โดยปริยาย แต่ญาณวิทยาแบบคลาสสิกไม่เคยสมมติ บทที่ 11 อธิบายวงเล็บที่ Shannon ขีดไว้รอบความหมาย interpretability คือความพยายามจริงจังครั้งแรกของฝั่งการคำนวณที่จะมองย้อนเข้าไปข้างในวงเล็บนั้น
Open questions
คำถามที่ยังเปิดอยู่
Would any degree of language-model fluency count as evidence against poverty-of-the-stimulus, or is the argument, properly read, immune to that kind of evidence by construction? Does a feature that survives translation and paraphrase amount to reference, or only to a very tight correlation mistaken for one? If the bitter lesson is right that hand-built priors lose out in the long run, what should we make of the domains — so far — where they have not?
ความคล่องของโมเดลภาษาระดับไหนก็ตามนับเป็นหลักฐานค้าน poverty of the stimulus ได้หรือไม่ หรือข้อโต้แย้งนี้ ถ้าอ่านให้ถูก มีภูมิคุ้มกันต่อหลักฐานแบบนั้นอยู่ในโครงสร้างของมันเอง feature ที่รอดจากการแปลและการเปลี่ยนสำนวนนับเป็นการอ้างอิงได้จริงหรือไม่ หรือเป็นความสัมพันธ์ที่แนบแน่นมากจนถูกเข้าใจผิดว่าเป็นการอ้างอิง ถ้า the bitter lesson ถูกต้องที่ว่า prior ที่สร้างด้วยมือแพ้ในระยะยาว แล้วเราจะว่าอย่างไรกับโดเมนที่ — จนถึงตอนนี้ — มันยังไม่แพ้
Go deeper
อ่านต่อ
- Noam Chomsky, Rules and Representations, Columbia University Press, 1980.
- Richard Sutton, "The Bitter Lesson," 13 March 2019 — incompleteideas.net/IncIdeas/BitterLesson.html; Anthropic, "Scaling Monosemanticity: Extracting Interpretable Features from Claude 3 Sonnet," May 2024 — transformer-circuits.pub/2024/scaling-monosemanticity.
- Rationalism vs. Empiricism, Stanford Encyclopedia of Philosophy.
- Noam Chomsky, Rules and Representations, Columbia University Press, 1980.
- Richard Sutton, "The Bitter Lesson," 13 March 2019 — incompleteideas.net/IncIdeas/BitterLesson.html; Anthropic, "Scaling Monosemanticity: Extracting Interpretable Features from Claude 3 Sonnet," May 2024 — transformer-circuits.pub/2024/scaling-monosemanticity.
- Rationalism vs. Empiricism, Stanford Encyclopedia of Philosophy.