06 · Ethics
06 · จริยศาสตร์
This chapter sits in Part I, the Court of Philosophy — the sixth hearing, where philosophy asks the machine whether a decision keeps its moral weight once a system makes it.
การไต่สวนครั้งที่ 6 ในภาค I ศาลปรัชญา คือที่อยู่ของบทนี้ ปรัชญาถามเครื่องจักรว่าการตัดสินใจหนึ่งยังเก็บน้ำหนักทางศีลธรรมของมันไว้ได้หรือไม่ เมื่อระบบเป็นผู้ตัดสินแทน
Can a decision be delegated without losing its morality?
ส่งต่อการตัดสินใจให้สิ่งอื่นทำแทน โดยศีลธรรมของมันไม่หายไปด้วย ทำได้หรือไม่
On a spring afternoon in 2014, eighteen-year-old Brisha Borden and a friend grabbed an unlocked kid's bike and scooter in a Fort Lauderdale suburb, rode them half a block, and were arrested for burglary and petty theft — total value, $80. The previous summer, forty-one-year-old Vernon Prater had been picked up for shoplifting $86.35 of tools from a Home Depot; he had already been convicted of two armed robberies and an attempted armed robbery. Both were scored by COMPAS, a proprietary risk-assessment tool used across Broward County, Florida, to predict the likelihood of reoffending. Borden, Black and a first-time adult offender, scored 8 out of 10 — high risk. Prater, white and a repeat violent felon, scored 3 — low risk. Two years later, ProPublica's investigation found the algorithm had gotten it backward: Borden was not charged with any further crime; Prater was soon incarcerated again (Angwin et al., "Machine Bias," ProPublica, 23 May 2016). Across more than 7,000 Broward County cases, Black defendants who did not reoffend were misclassified as high-risk at roughly twice the rate of white defendants who did not reoffend.
จำเลยผิวดำที่ไม่ได้กระทำผิดซ้ำ ถูกจัดเป็นความเสี่ยงสูงผิดพลาดในอัตราราวสองเท่าของจำเลยผิวขาวที่ไม่ได้กระทำผิดซ้ำ นับจากคดีในเขต Broward County กว่า 7,000 คดี สองคดีต่อไปนี้คือหน้าตาของตัวเลขนั้น บ่ายวันหนึ่งในฤดูใบไม้ผลิปี 2014 Brisha Borden วัยสิบแปดปีกับเพื่อนคว้าจักรยานเด็กและสกู๊ตเตอร์ที่ไม่ได้ล็อกในย่านชานเมือง Fort Lauderdale ขี่ไปครึ่งช่วงตึกก็ถูกจับข้อหางัดแงะและลักทรัพย์เล็กน้อย มูลค่ารวม 80 ดอลลาร์ ฤดูร้อนก่อนหน้านั้น Vernon Prater วัยสี่สิบเอ็ดปีถูกจับข้อหาขโมยเครื่องมือมูลค่า 86.35 ดอลลาร์จาก Home Depot เขาเคยต้องคำพิพากษาฐานปล้นทรัพย์ด้วยอาวุธมาแล้วสองครั้ง และพยายามปล้นทรัพย์ด้วยอาวุธอีกหนึ่งครั้ง ทั้งคู่ถูกให้คะแนนด้วย COMPAS เครื่องมือประเมินความเสี่ยงกรรมสิทธิ์เอกชนที่ใช้ทั่ว Broward County รัฐฟลอริดา เพื่อทำนายโอกาสกระทำผิดซ้ำ Borden คนผิวดำ กระทำผิดในฐานะผู้ใหญ่ครั้งแรก ได้คะแนน 8 จาก 10 — ความเสี่ยงสูง Prater คนผิวขาว อาชญากรรุนแรงซ้ำซาก ได้ 3 — ความเสี่ยงต่ำ สองปีต่อมา การสืบสวนของ ProPublica พบว่าอัลกอริทึมทายกลับด้านกันทั้งคู่ Borden ไม่ถูกตั้งข้อหาก่ออาชญากรรมใดเพิ่มอีกเลย ส่วน Prater กลับเข้าคุกในเวลาไม่นาน (Angwin et al., "Machine Bias," ProPublica, 23 May 2016)
Northpointe, COMPAS's maker, did not deny the numbers — it denied that they proved bias. Its scores were calibrated: among defendants who scored, say, 7, roughly the same share reoffended whether they were Black or white. ProPublica had measured a different quantity — the error rates within each racial group — and by that measure the tool was plainly unequal. Both sides were right about their own arithmetic, and this is where the story stops being a scandal about one company's software and becomes a theorem. Jon Kleinberg, Sendhil Mullainathan, and Manish Raghavan, and independently Alexandra Chouldechova, proved in 2016–17 that when the base rate of the outcome differs between two groups — as recidivism rates did between Black and white defendants in this data — no risk score can generally satisfy both calibration and equal error rates at once, except in narrow special cases (Kleinberg, Mullainathan & Raghavan, "Inherent Trade-Offs in the Fair Determination of Risk Scores," arXiv:1609.05807; Chouldechova, "Fair Prediction with Disparate Impact," Big Data 5(2), 2017). COMPAS and ProPublica were not arguing about facts. They were standing on opposite sides of an impossibility result and each calling the other's axiom the wrong one — which means "make the algorithm fair" is not an engineering instruction until someone first answers a question philosophy has never closed: fair by which of several mutually exclusive criteria, and who gets to choose.
Northpointe ผู้สร้าง COMPAS ไม่ปฏิเสธตัวเลข มันปฏิเสธว่าตัวเลขพิสูจน์อคติ คะแนนของบริษัทถูก ปรับเทียบ (calibration) มาแล้ว — ในบรรดาจำเลยที่ได้คะแนน สมมติว่า 7 สัดส่วนที่กระทำผิดซ้ำใกล้เคียงกันไม่ว่าคนนั้นจะผิวดำหรือผิวขาว ProPublica วัดคนละปริมาณ — อัตราความผิดพลาด (error rate) ภายในแต่ละกลุ่มเชื้อชาติ — และวัดแบบนั้นแล้วเครื่องมือนี้ไม่เท่าเทียมอย่างชัดเจน เลขคณิตของทั้งสองฝ่ายถูกทั้งคู่ ตรงนี้เองที่เรื่องเลิกเป็นเรื่องอื้อฉาวของซอฟต์แวร์บริษัทเดียว และกลายเป็นทฤษฎีบท Jon Kleinberg, Sendhil Mullainathan และ Manish Raghavan รวมทั้ง Alexandra Chouldechova ที่ทำแยกกัน พิสูจน์ในปี 2016–17 ว่าเมื่ออัตราฐาน (base rate) ของผลลัพธ์ต่างกันระหว่างสองกลุ่ม — ดังที่อัตราการกระทำผิดซ้ำต่างกันระหว่างจำเลยผิวดำกับผิวขาวในข้อมูลชุดนี้ — ไม่มีคะแนนความเสี่ยงใดสนองทั้งการปรับเทียบและอัตราความผิดพลาดที่เท่ากันได้พร้อมกันโดยทั่วไป ยกเว้นกรณีพิเศษแคบๆ (Kleinberg, Mullainathan & Raghavan, "Inherent Trade-Offs in the Fair Determination of Risk Scores," arXiv:1609.05807; Chouldechova, "Fair Prediction with Disparate Impact," Big Data 5(2), 2017) COMPAS กับ ProPublica ไม่ได้เถียงกันเรื่องข้อเท็จจริง ทั้งสองยืนคนละฝั่งของผลลัพธ์เชิงความเป็นไปไม่ได้ (impossibility result) และต่างชี้ว่าสัจพจน์ของอีกฝ่ายคือข้อที่ผิด "ทำให้อัลกอริทึมเป็นธรรม" จึงยังไม่ใช่คำสั่งเชิงวิศวกรรม จนกว่าจะมีคนตอบคำถามที่ปรัชญาไม่เคยปิดได้เสียก่อน — เป็นธรรมตามเกณฑ์ไหน ในบรรดาเกณฑ์หลายข้อที่ขัดกันเอง และใครเป็นคนเลือก
Delegating the decision does not just relocate the fairness question — it can dissolve the chain of responsibility that used to answer for it. A system that adapts from data after deployment can produce an output its own engineers cannot predict or fully reconstruct, which breaks the ordinary assumption that a designer's intent traces forward into a machine's behavior. Andreas Matthias named this the responsibility gap: when a learning automaton's actions no longer trace predictably to any human's decision, neither the manufacturer nor the operator can be justly held liable by the old rules, and yet someone has been harmed (Matthias, "The Responsibility Gap," Ethics and Information Technology 6(3), 2004). Helen Nissenbaum had already catalogued the mechanics of this a decade earlier — "many hands" spreading a single harm across enough contributors that no one holds the whole of it, bugs treated as acts of nature, blame displaced onto "the computer," and software shipped under licenses that disclaim liability by default (Nissenbaum, "Computing and Accountability," CACM 37(1), 1994). A gap in responsibility is not an absence of harm. It is harm with the addressee missing.
การมอบหมายการตัดสินใจไม่ได้ย้ายคำถามเรื่องความเป็นธรรมไปที่อื่นเท่านั้น มันละลายห่วงโซ่ความรับผิดชอบที่เคยตอบคำถามนั้นได้ด้วย ระบบที่ปรับตัวจากข้อมูลหลังถูกใช้งานจริงให้ผลลัพธ์ที่วิศวกรผู้สร้างเองก็ทายไม่ถูกและสร้างย้อนกลับให้ครบไม่ได้ สมมติฐานปกติที่ว่าเจตนาของผู้ออกแบบสืบต่อไปถึงพฤติกรรมของเครื่องจักรจึงพังลง Andreas Matthias ตั้งชื่อสิ่งนี้ว่า ช่องว่างความรับผิดชอบ (responsibility gap) — เมื่อการกระทำของออโตมาตาที่เรียนรู้ได้ไม่สืบย้อนอย่างคาดเดาได้ไปหาการตัดสินใจของมนุษย์คนใดอีกต่อไป ทั้งผู้ผลิตและผู้ควบคุมต่างก็ไม่อาจถูกให้รับผิดอย่างเป็นธรรมตามกฎเดิม ทั้งที่มีคนได้รับความเสียหายจริง (Matthias, "The Responsibility Gap," Ethics and Information Technology 6(3), 2004) Helen Nissenbaum ไล่เรียงกลไกของเรื่องนี้ไว้ก่อนหน้านั้นสิบปี — "มือหลายมือ (many hands)" กระจายความเสียหายเดียวไปยังผู้มีส่วนร่วมมากพอจนไม่มีใครแบกไว้ทั้งก้อน บั๊กถูกมองเป็นภัยธรรมชาติ ความผิดถูกโยนให้ "คอมพิวเตอร์" และซอฟต์แวร์ถูกส่งมอบใต้สัญญาอนุญาตที่ปฏิเสธความรับผิดเป็นค่าตั้งต้น (Nissenbaum, "Computing and Accountability," CACM 37(1), 1994) ช่องว่างในความรับผิดชอบไม่ใช่การไม่มีความเสียหาย มันคือความเสียหายที่หาผู้รับไม่เจอ
If responsibility can slip away from a system, philosophy has to ask what a system is, morally — object, agent, or something newly in between. Luciano Floridi and Jeff Sanders argued that "moral agent" need not require free will, consciousness, or intention at all: an entity that is interactive (responds to stimuli by changing state), autonomous (can change state without external stimulus), and adaptable (can change the very rules by which it changes state) qualifies as a moral agent at the relevant level of abstraction, whatever else it lacks (Floridi & Sanders, "On the Morality of Artificial Agents," Minds and Machines 14(3), 2004). That loosens moral agency enough to fit a recommendation engine or a trading bot without claiming it has an inner life. It leaves untouched, and does not answer, the harder question now being asked of the systems this book keeps discussing: whether something interactive and adaptive enough could also become a moral patient — able to be wronged, not just to act — a question no consensus method yet resolves.
ความรับผิดชอบหลุดลอยจากระบบได้ ปรัชญาจึงต้องถามว่าระบบหนึ่ง คืออะไร ในเชิงศีลธรรม — วัตถุ ผู้กระทำ หรือของใหม่ที่อยู่ตรงกลาง Luciano Floridi และ Jeff Sanders โต้แย้งว่า "ผู้กระทำเชิงศีลธรรม (moral agent)" ไม่ต้องมีเจตจำนงเสรี จิตสำนึก หรือเจตนาเลยแม้แต่น้อย สิ่งใดก็ตามที่มีปฏิสัมพันธ์ (ตอบสนองต่อสิ่งเร้าด้วยการเปลี่ยนสถานะ) เป็นอิสระ (เปลี่ยนสถานะได้เองโดยไม่ต้องมีสิ่งเร้าจากภายนอก) และปรับตัวได้ (เปลี่ยนกฎที่ใช้เปลี่ยนสถานะของตัวเองได้) ก็เข้าข่ายผู้กระทำเชิงศีลธรรมในระดับ abstraction ที่เกี่ยวข้อง ไม่ว่ามันจะขาดอะไรไปก็ตาม (Floridi & Sanders, "On the Morality of Artificial Agents," Minds and Machines 14(3), 2004) เงื่อนไขที่ผ่อนลงเท่านี้ครอบคลุมเอนจินแนะนำ (recommendation engine) หรือบอตเทรดหุ้นได้ โดยไม่ต้องอ้างว่ามันมีชีวิตภายใน คำถามที่ยากกว่านั้นยังไม่ถูกแตะและไม่ถูกตอบ และมันกำลังถูกถามกับระบบที่หนังสือเล่มนี้พูดถึงซ้ำแล้วซ้ำเล่า — สิ่งที่มีปฏิสัมพันธ์และปรับตัวได้มากพอ จะกลายเป็น ผู้ถูกกระทำเชิงศีลธรรม (moral patient) ได้ด้วยหรือไม่ คือถูกกระทำผิดต่อได้ ไม่ใช่แค่กระทำได้ ยังไม่มีวิธีใดที่ตกลงกันได้เป็นเอกฉันท์
Alignment research turns out to be metaethics wearing an engineer's badge. Iason Gabriel's 2020 analysis distinguishes several things "align an AI with human values" could mean — instructions, revealed preferences, idealized preferences, interests, or values — and argues the central difficulty is not discovering the one true set of moral principles, but designing principles fair enough to win reflective endorsement across people who deeply and permanently disagree about ethics (Gabriel, "Artificial Intelligence, Values, and Alignment," Minds and Machines 30, 2020). That is exactly the problem political philosophers call the problem of legitimacy under pluralism — alignment did not invent a new question; it gave an old one a training loop and a deadline.
งานวิจัยด้าน alignment คือเมทาเอทิกส์ (metaethics) ที่สวมป้ายวิศวกร บทวิเคราะห์ของ Iason Gabriel ในปี 2020 แยกแยะความหมายที่ "ปรับ AI ให้สอดคล้องกับคุณค่าของมนุษย์ (align an AI with human values)" เป็นได้ — คำสั่ง ความพึงพอใจที่แสดงออก ความพึงพอใจในอุดมคติ ผลประโยชน์ หรือคุณค่า — และโต้แย้งว่าความยากหลักไม่ได้อยู่ที่การค้นหาชุดหลักศีลธรรมแท้จริงเพียงชุดเดียว แต่อยู่ที่การออกแบบหลักการที่เป็นธรรมมากพอจะได้รับการรับรองอย่างใคร่ครวญ จากผู้คนที่เห็นต่างกันเรื่องจริยธรรมอย่างลึกซึ้งและถาวร (Gabriel, "Artificial Intelligence, Values, and Alignment," Minds and Machines 30, 2020) นั่นคือปัญหาเดียวกันเป๊ะกับที่นักปรัชญาการเมืองเรียกว่าปัญหาความชอบธรรมภายใต้พหุนิยม (legitimacy under pluralism) alignment ไม่ได้คิดคำถามใหม่ขึ้นมา มันเอาลูปการเทรน (training loop) กับเดดไลน์ไปใส่ให้คำถามเก่า
Privacy submits to the same delegation problem in a quieter register. Helen Nissenbaum's contextual integrity, developed across the 1990s and set out fully in Privacy in Context (2010), argues that privacy is neither secrecy nor control over information but the expectation that information flows according to the norms proper to the context it came from: a diagnosis flowing from doctor to insurer for billing is a different flow, governed by different norms, than the same fact flowing from doctor to employer (Nissenbaum, Privacy in Context, Stanford UP, 2010). Most data-collection systems are context-blind by construction — a field in a database carries no memory of which norms it was gathered under — which is why so much that feels like a privacy violation involves no secret at all, only information moved into the wrong context.
ความเป็นส่วนตัวเจอปัญหาการมอบหมายแบบเดียวกัน เพียงแต่เสียงเบากว่า ความครบถ้วนเชิงบริบท (contextual integrity) ของ Helen Nissenbaum พัฒนาขึ้นตลอดทศวรรษ 1990 และวางกรอบเต็มรูปแบบใน Privacy in Context (2010) โต้แย้งว่าความเป็นส่วนตัวไม่ใช่ความลับ และไม่ใช่การควบคุมข้อมูล แต่คือความคาดหวังว่าข้อมูลจะไหลไปตามบรรทัดฐานที่เหมาะกับบริบทต้นทางของมัน ผลวินิจฉัยโรคที่ไหลจากหมอไปยังบริษัทประกันเพื่อเรียกเก็บเงินคือการไหลแบบหนึ่ง มีบรรทัดฐานกำกับแบบหนึ่ง ต่างจากข้อเท็จจริงเดียวกันที่ไหลจากหมอไปยังนายจ้าง (Nissenbaum, Privacy in Context, Stanford UP, 2010) ระบบเก็บข้อมูลส่วนใหญ่ตาบอดต่อบริบทมาตั้งแต่โครงสร้าง ฟิลด์หนึ่งในฐานข้อมูลไม่จำว่าตัวมันถูกเก็บมาใต้บรรทัดฐานใด เรื่องที่ให้ความรู้สึกเหมือนการละเมิดความเป็นส่วนตัวจำนวนมากจึงไม่มีความลับเข้ามาเกี่ยวเลย มีแต่ข้อมูลที่ถูกย้ายเข้าไปในบริบทที่ผิด
Google convened an eight-member external AI ethics council, ATEAC, on 26 March 2019 and dissolved it entirely nine days later, after employee protest over two of its members made the board's continued existence untenable (MIT Technology Review, "Google Has Now Cancelled Its AI Ethics Board," 5 April 2019). An advisory board's authority depends entirely on the goodwill of the institution that convened it and can be withdrawn as easily as it was granted. Mechanism design does not ask for goodwill: a fairness constraint written into a training objective, or a differential-privacy bound written into a query system, keeps operating on the day nobody is in the room to enforce it — which is a narrower kind of ethics than a board's, but a harder one to dissolve by memo.
Google ตั้งสภาจริยธรรม AI ภายนอกแปดคนชื่อ ATEAC ขึ้นในวันที่ 26 มีนาคม 2019 และยุบทิ้งทั้งสภาในอีกเก้าวันต่อมา หลังพนักงานประท้วงกรรมการสองคนจนสภาอยู่ต่อไม่ได้ (MIT Technology Review, "Google Has Now Cancelled Its AI Ethics Board," 5 April 2019) อำนาจของบอร์ดที่ปรึกษาขึ้นกับความเต็มใจของสถาบันที่ตั้งมันขึ้นมาทั้งหมด และถอนคืนได้ง่ายพอๆ กับที่มอบให้ mechanism design (การออกแบบกลไก) ไม่ต้องพึ่งความเต็มใจ ข้อจำกัดความเป็นธรรมที่เขียนไว้ในเป้าหมายการเทรน หรือขอบเขต differential privacy ที่เขียนไว้ในระบบสืบค้น ยังทำงานต่อในวันที่ไม่มีใครอยู่ในห้องคอยบังคับใช้ นั่นเป็นจริยธรรมที่แคบกว่าของบอร์ด แต่ยุบด้วยบันทึกภายในฉบับเดียวได้ยากกว่ามาก
Connections
เชื่อมโยง
Chapter 02 supplies the deeper question of what kind of thing a "decision" made by software even is. Chapter 07 takes platform power into the register of governance, where the question stops being who is accountable and becomes who is sovereign. Chapter 13 returns to the responsibility gap through interpretability — can you hold a system accountable for a decision no one, including its designers, can fully read back out of it?
บทที่ 02 ให้คำถามที่ลึกกว่านั้น ว่า "การตัดสินใจ" ที่ทำโดยซอฟต์แวร์คือสิ่งประเภทไหนกันแน่ บทที่ 07 พาอำนาจของแพลตฟอร์มเข้าสู่ทะเบียนของธรรมาภิบาล ที่คำถามเลิกเป็นเรื่องใครรับผิดชอบ และกลายเป็นใครมีอธิปไตย บทที่ 13 กลับมาที่ช่องว่างความรับผิดชอบผ่าน interpretability — คุณให้ระบบรับผิดชอบต่อการตัดสินใจที่ไม่มีใคร รวมถึงผู้ออกแบบมันเอง อ่านย้อนออกมาได้ครบ ได้หรือไม่
Open questions
คำถามที่ยังเปิดอยู่
If calibration and error-rate balance cannot both hold, is choosing between them a technical decision at all, or is every deployed risk score a silent vote on which kind of injustice a society will tolerate? Does Floridi and Sanders's minimal moral agency dissolve responsibility further by making blame diffusible to "the system," or does it at least make the diffusion visible enough to argue about? And if legitimacy under pluralism was always the real problem behind alignment, what does computer science have to offer political philosophy that centuries of contract theory did not already try?
ถ้าการปรับเทียบ (calibration) กับความสมดุลของอัตราความผิดพลาดเป็นจริงพร้อมกันไม่ได้ การเลือกระหว่างสองอย่างนี้ยังนับเป็นการตัดสินใจเชิงเทคนิคอยู่หรือไม่ หรือคะแนนความเสี่ยงทุกตัวที่ถูกนำไปใช้จริงคือการโหวตเงียบๆ ว่าสังคมจะยอมทนความอยุติธรรมแบบไหน ผู้กระทำเชิงศีลธรรมแบบขั้นต่ำของ Floridi และ Sanders ทำให้ความรับผิดชอบละลายลงไปอีก ด้วยการเปิดทางให้ความผิดกระจายไปที่ "ระบบ" หรืออย่างน้อยมันก็ทำให้การกระจายนั้นมองเห็นได้ชัดพอจะถกกันได้ และถ้าความชอบธรรมภายใต้พหุนิยม (legitimacy under pluralism) คือปัญหาจริงที่อยู่หลัง alignment มาตลอด วิทยาการคอมพิวเตอร์มีอะไรจะเสนอให้ปรัชญาการเมือง ที่ทฤษฎีสัญญาประชาคมนับศตวรรษยังไม่เคยลอง
Go deeper
อ่านต่อ
- Cathy O'Neil, Weapons of Math Destruction: How Big Data Increases Inequality and Threatens Democracy, Crown, 2016 — the general-audience case this chapter's theorem underwrites.
- Jon Kleinberg, Sendhil Mullainathan & Manish Raghavan, "Inherent Trade-Offs in the Fair Determination of Risk Scores," arXiv:1609.05807, 2016, read against Alexandra Chouldechova, "Fair Prediction with Disparate Impact," Big Data 5(2), 2017 — the impossibility result from both directions.
- Stanford Encyclopedia of Philosophy, "Ethics of Artificial Intelligence and Robotics" — the standing map of this chapter's whole terrain.
- Cathy O'Neil, Weapons of Math Destruction: How Big Data Increases Inequality and Threatens Democracy, Crown, 2016 — กรณีศึกษาสำหรับผู้อ่านทั่วไปที่ทฤษฎีบทของบทนี้ค้ำอยู่เบื้องหลัง
- Jon Kleinberg, Sendhil Mullainathan & Manish Raghavan, "Inherent Trade-Offs in the Fair Determination of Risk Scores," arXiv:1609.05807, 2016, read against Alexandra Chouldechova, "Fair Prediction with Disparate Impact," Big Data 5(2), 2017 — ผลลัพธ์เชิงความเป็นไปไม่ได้ (impossibility result) จากทั้งสองทิศทาง
- Stanford Encyclopedia of Philosophy, "Ethics of Artificial Intelligence and Robotics" — แผนที่หลักของภูมิประเทศทั้งหมดในบทนี้