Chapter 6 — Where the Machine Has Been Wrong
บทที่ 6 — ที่ซึ่งเครื่องจักรเคยผิดพลาด
This chapter pays for the last two.
บทนี้คือราคาของสองบทก่อนหน้า
The pattern that follows is the most useful thing in the book, and it is worth stating before the evidence rather than after: in every documented case below, the software did approximately what it was built to do. It returned a candidate. The harm came from a human treating the candidate as an answer. Not one of these is a story about a computer being stupid.
ซอฟต์แวร์ในทุกกรณีที่บันทึกไว้ด้านล่างทำงานได้ใกล้เคียงกับที่มันถูกสร้างมา นั่นคือรูปแบบที่มีประโยชน์ที่สุดในหนังสือเล่มนี้ และควรพูดก่อนหลักฐาน ไม่ใช่หลังหลักฐาน มันคืนตัวเลือกออกมาหนึ่งตัว ความเสียหายเกิดตอนมนุษย์รับตัวเลือกนั้นเป็นคำตอบ ไม่มีกรณีไหนในนี้เป็นเรื่องคอมพิวเตอร์โง่
Prediction
การพยากรณ์
Geolitica, the renamed successor to PredPol, sold place-based crime forecasting to police departments. In 2023 the journalists at The Markup audited roughly 23,600 predictions made for Plainfield, New Jersey, against crimes subsequently reported.
Geolitica คือ PredPol ในชื่อใหม่ ขายบริการพยากรณ์อาชญากรรมเชิงพื้นที่ให้หน่วยงานตำรวจ ปี 2023 นักข่าวของ The Markup ตรวจสอบคำพยากรณ์ราว 23,600 รายการที่ระบบทำไว้ให้เมือง Plainfield รัฐ New Jersey เทียบกับอาชญากรรมที่มีรายงานเกิดขึ้นตามมา
Fewer than 100 matched — a success rate below 0.5%. Arrest rates in predicted areas were unchanged whether or not a prediction had fired that day. [ESTABLISHED] (The Markup; methodology)
ตรงกันไม่ถึง 100 รายการ — อัตราความสำเร็จต่ำกว่า 0.5% อัตราจับกุมในพื้นที่ที่ถูกพยากรณ์ก็ไม่ต่างกัน ไม่ว่าวันนั้นจะมีคำพยากรณ์ออกมาหรือไม่ [ESTABLISHED] (The Markup; ระเบียบวิธี)
Earlier, RAND ran one of the first controlled tests of place-based prediction in Shreveport, Louisiana, and found no meaningful reduction in property crime against matched control areas. [ESTABLISHED] (RAND, via R Street)
ก่อนหน้านั้น RAND ทดสอบการพยากรณ์เชิงพื้นที่แบบมีกลุ่มควบคุมเป็นครั้งแรก ๆ ที่เมือง Shreveport รัฐ Louisiana และพบว่าอาชญากรรมต่อทรัพย์สินไม่ได้ลดลงอย่างมีนัยสำคัญเมื่อเทียบกับพื้นที่ควบคุมที่จับคู่ไว้ [ESTABLISHED] (RAND, ผ่าน R Street)
The Los Angeles Police Department used PredPol from around 2011. Its own Office of Inspector General concluded there was insufficient data to show the tool reduced crime — after eight years, the department could not measure its effect. LAPD dropped it in 2020. [ESTABLISHED] (MuckRock; GovTech)
กรมตำรวจลอสแอนเจลิส (LAPD) ใช้ PredPol ตั้งแต่ราวปี 2011 และหลังจากแปดปี กรมวัดผลของมันไม่ได้ สำนักงานผู้ตรวจการทั่วไป (Office of Inspector General) ของกรมเองสรุปว่าข้อมูลไม่พอจะแสดงว่าเครื่องมือนี้ลดอาชญากรรม LAPD เลิกใช้ในปี 2020 [ESTABLISHED] (MuckRock; GovTech)
Eight years of operational use without a measurement. Remember Chapter 2's Move: ask for the denominator first. This is what its absence buys.
ใช้งานจริงแปดปี ไม่มีการวัดผลสักครั้ง จำท่าประจำบทที่ 2 ไว้: ถามหาตัวส่วนก่อน นี่คือสิ่งที่การไม่มีตัวส่วนซื้อมาให้
Prediction about people
การพยากรณ์เกี่ยวกับตัวบุคคล
Chicago's Strategic Subject List scored individuals for their risk of involvement in gun violence. RAND, contracted to evaluate the 2013–14 cohort, found that people on the list were neither more nor less likely to become a shooting victim than a matched control group. RAND also found the programme lacked clear guidance on what an officer should actually do with a name once it appeared — the instruction amounted to "take action." The department contested the finding. The programme was decommissioned as grant funding ended and was confirmed dead in January 2020. [ESTABLISHED] (RAND; Chicago OIG)
Strategic Subject List ของชิคาโกให้คะแนนความเสี่ยงรายบุคคลว่าจะเข้าไปพัวพันกับความรุนแรงจากอาวุธปืน RAND รับจ้างประเมินกลุ่มตัวอย่างปี 2013–14 และพบว่าคนในรายชื่อไม่ได้มีโอกาสมากขึ้นหรือน้อยลงที่จะตกเป็นเหยื่อการยิง เมื่อเทียบกับกลุ่มควบคุมที่จับคู่ไว้ RAND ยังพบว่าโครงการไม่มีแนวทางชัดเจนว่าเจ้าหน้าที่ควรทำอะไรกับชื่อที่โผล่ขึ้นมา — คำสั่งมีแค่ "ให้ดำเนินการ" กรมตำรวจโต้แย้งผลนี้ โครงการถูกปลดเมื่อเงินทุนสนับสนุนหมด และได้รับการยืนยันว่ายุติแล้วในเดือนมกราคม 2020 [ESTABLISHED] (RAND; Chicago OIG)
LAPD's Operation LASER, built on Palantir Gotham, targeted "chronic offenders." The department's Inspector General audited it in 2019 and found that almost half of the people on chronic-offender lists had zero or one violent-crime arrest, that around 10% had no recorded quality interactions with police at all, and that training was informal and varied between divisions. LASER was shut down that year. [ESTABLISHED] (Courthouse News)
Operation LASER ของ LAPD สร้างบน Palantir Gotham และมุ่งเป้าไปที่ "ผู้กระทำผิดซ้ำเรื้อรัง" ผู้ตรวจการทั่วไปของกรมตรวจสอบมันในปี 2019 พบว่าเกือบครึ่งหนึ่งของคนในรายชื่อผู้กระทำผิดซ้ำเรื้อรังมีประวัติจับกุมคดีความรุนแรงเป็นศูนย์หรือหนึ่งครั้ง ราว 10% ไม่มีปฏิสัมพันธ์ที่มีคุณภาพกับตำรวจบันทึกไว้เลย และการฝึกอบรมไม่เป็นทางการ ต่างกันไปตามแต่ละเขต LASER ถูกปิดในปีนั้นเอง [ESTABLISHED] (Courthouse News)
Across all five: no independent evaluation found any of these tools working as advertised. In three of the five, the finding directly preceded discontinuation. That is not a selection of failures — it is what the independent evaluation record for predictive policing contains.
ทั้งห้ากรณี: ไม่มีการประเมินอิสระใดพบว่าเครื่องมือเหล่านี้ทำงานได้ตามที่โฆษณาไว้ สามในห้ากรณี ผลประเมินนำหน้าการยกเลิกโดยตรง นี่ไม่ใช่การคัดเฉพาะกรณีล้มเหลวมาโชว์ — นี่คือทั้งหมดที่บันทึกการประเมินอิสระของการพยากรณ์อาชญากรรมมีอยู่
Identification
การระบุตัวตน
Four wrongful arrests, all in the United States, all documented in court records or settlements.
จับผิดตัวสี่ครั้ง ทั้งหมดในสหรัฐอเมริกา ทั้งหมดมีบันทึกในเอกสารศาลหรือข้อตกลงยอมความ
Robert Williams, Detroit, January 2020. Michigan State Police ran security-camera stills through facial recognition; the system flagged Williams's expired driver's licence photo. Police built on that with a photo lineup and nothing else. He was arrested in front of his family and held thirty hours. In June 2024 Detroit settled, adopting what the ACLU called the strongest police facial recognition policy in the country: no arrest based solely on a match or on a lineup that followed one, plus an audit of every facial-recognition-derived arrest warrant since 2017. [ESTABLISHED] (ACLU)
Robert Williams ดีทรอยต์ มกราคม 2020 ตำรวจรัฐมิชิแกนเอาภาพนิ่งจากกล้องวงจรปิดเข้าระบบจดจำใบหน้า ระบบชี้ไปที่รูปในใบขับขี่หมดอายุของวิลเลียมส์ ตำรวจต่อยอดจากนั้นด้วยการเรียงแถวภาพถ่ายอย่างเดียว ไม่มีอะไรอื่นอีก เขาถูกจับต่อหน้าครอบครัวและถูกควบคุมตัวสามสิบชั่วโมง เดือนมิถุนายน 2024 ดีทรอยต์ยอมความ และรับนโยบายที่ ACLU เรียกว่านโยบายจดจำใบหน้าของตำรวจที่เข้มงวดที่สุดในประเทศ: ห้ามจับกุมโดยอาศัยแค่ผลจับคู่ หรือการเรียงแถวภาพที่ตามมาจากผลจับคู่นั้น และต้องตรวจสอบหมายจับทุกฉบับที่มาจากการจดจำใบหน้าตั้งแต่ปี 2017 [ESTABLISHED] (ACLU)
Porcha Woodruff, Detroit, February 2023. A facial recognition match plus a victim misidentification, no other corroboration, produced a carjacking warrant. She was arrested eight months pregnant, held eleven hours, experienced contractions in custody. Charges were dropped a month later. Her own civil suit against the city was subsequently dismissed — the wrongful-arrest facts are not in dispute, but her personal remedy failed. [ESTABLISHED] (Washington Post; CBS Detroit)
Porcha Woodruff ดีทรอยต์ กุมภาพันธ์ 2023 ผลจับคู่จากการจดจำใบหน้า บวกกับเหยื่อระบุตัวผิด และไม่มีการยืนยันอื่นใด ก็พอออกหมายจับคดีจี้รถได้ เธอถูกจับขณะตั้งครรภ์แปดเดือน ถูกควบคุมตัวสิบเอ็ดชั่วโมง และเจ็บท้องคลอดระหว่างถูกควบคุมตัว ข้อกล่าวหาถูกถอนในเดือนถัดมา คดีแพ่งที่เธอฟ้องเมืองในเวลาต่อมาถูกยกฟ้อง — ข้อเท็จจริงว่าจับผิดตัวไม่มีใครโต้แย้ง แต่การเยียวยาส่วนตัวของเธอไม่สำเร็จ [ESTABLISHED] (Washington Post; CBS Detroit)
Nijeer Parks, New Jersey, January 2019. A shoplifter presented a fake ID bearing Parks's photo. Parks had never held a driver's licence and lived thirty miles away with a solid alibi. Ten days in jail; case dismissed for lack of evidence. [ESTABLISHED] (NJ Monitor)
Nijeer Parks นิวเจอร์ซีย์ มกราคม 2019 คนขโมยของในร้านยื่นบัตรประจำตัวปลอมที่ติดรูปของ Parks Parks ไม่เคยมีใบขับขี่ อาศัยอยู่ห่างออกไปสามสิบไมล์ และมีข้อแก้ต่างที่หนักแน่น ติดคุกสิบวัน คดีถูกยกเพราะขาดหลักฐาน [ESTABLISHED] (NJ Monitor)
Randal Reid, arrested near Atlanta in November 2022 on a Louisiana warrant. A detective relied solely on a Clearview AI match to a stolen-credit-card purchase. Reid had never been to Louisiana. The use of facial recognition was omitted from the arrest warrant affidavit. Six days in jail. Jefferson Parish settled the federal civil-rights suit for $200,000 in May 2025. [ESTABLISHED] (Biometric Update)
Randal Reid ถูกจับใกล้แอตแลนตาเดือนพฤศจิกายน 2022 ตามหมายจับจากรัฐลุยเซียนา นักสืบอาศัยผลจับคู่ของ Clearview AI เพียงอย่างเดียว กับการรูดซื้อของด้วยบัตรเครดิตที่ถูกขโมย Reid ไม่เคยไปลุยเซียนา การใช้การจดจำใบหน้าถูกละไว้จากคำให้การประกอบหมายจับ ติดคุกหกวัน เขต Jefferson Parish ยอมความคดีสิทธิพลเมืองในศาลรัฐบาลกลางด้วยเงิน $200,000 เมื่อเดือนพฤษภาคม 2025 [ESTABLISHED] (Biometric Update)
One failure pattern, four times: an algorithmic match treated as sufficient grounds for a warrant without independent corroboration. In the Reid case the tool's involvement was actively concealed from the court. The ACLU has counted more than a dozen known wrongful facial-recognition arrests in the US; every publicly identified subject to date has been Black. [ESTABLISHED] (ACLU)
รูปแบบล้มเหลวเดียว สี่ครั้ง: ผลจับคู่จากอัลกอริทึมถูกถือเป็นเหตุเพียงพอสำหรับหมายจับ โดยไม่มีการยืนยันอิสระ ในคดีของ Reid บทบาทของเครื่องมือถูกปิดบังจากศาลโดยเจตนา ACLU นับการจับผิดตัวจากการจดจำใบหน้าที่เป็นที่รู้กันในสหรัฐฯ ได้มากกว่าสิบกรณี ผู้ถูกจับทุกคนที่ถูกระบุตัวต่อสาธารณะจนถึงวันนี้เป็นคนผิวดำ [ESTABLISHED] (ACLU)
That last sentence has a measurable substrate. NIST has tested around 200 algorithms from about 100 developers across more than 18 million images. False-positive rates differ across demographic groups by up to a factor of roughly 7,203 — and they do so even on high-quality images, so this is not an artefact of bad photographs. The highest one-to-many false-positive rates were for African American women; rates were lowest for people of Eastern European descent; false positives are also elevated for women, children and the elderly. False-negative differentials are far smaller, around a factor of three. [ESTABLISHED] (NISTIR 8280; NISTIR 8429)
ประโยคสุดท้ายนั้นมีตัวเลขรองรับ NIST ทดสอบอัลกอริทึมราว 200 ตัวจากผู้พัฒนาประมาณ 100 ราย บนภาพมากกว่า 18 ล้านภาพ อัตราผลบวกลวงต่างกันระหว่างกลุ่มประชากรได้ถึงราว 7,203 เท่า — และต่างแม้ในภาพคุณภาพสูง ฉะนั้นนี่ไม่ใช่ผลจากรูปถ่ายแย่ อัตราผลบวกลวงแบบหนึ่งต่อหลาย (one-to-many) สูงสุดในผู้หญิงชาวแอฟริกันอเมริกัน ต่ำสุดในคนเชื้อสายยุโรปตะวันออก และผลบวกลวงยังสูงขึ้นในผู้หญิง เด็ก และผู้สูงอายุ ความต่างของผล*ลบ*ลวงเล็กกว่ามาก อยู่ราวสามเท่า [ESTABLISHED] (NISTIR 8280; NISTIR 8429)
NIST's own caveat is the one that matters most here: it measures algorithms in isolation. It does not measure the police workflow around them — the human review, the corroboration practice — which is precisely where all four cases actually broke.
ข้อจำกัดที่ NIST เขียนไว้เองคือข้อที่สำคัญที่สุดตรงนี้: มันวัดอัลกอริทึมแบบแยกโดด ๆ มันไม่ได้วัดกระบวนการทำงานของตำรวจรอบตัวอัลกอริทึม — การตรวจทานโดยมนุษย์ วิธียืนยันหลักฐาน — และตรงนั้นแหละคือจุดที่ทั้งสี่คดีพังจริง
Fabrication
การปลอมแปลง
Chapter 4 told the West Midlands story. It belongs in this chapter's ledger too, as the only clean, named, dated case of a general-purpose language model producing a wrongful law-enforcement decision outside biometrics: a fabricated football fixture entering an intelligence assessment, a ban imposed, a chief constable's resignation, and twenty-one forces continuing to use the tool. [ESTABLISHED]
บทที่ 4 เล่าเรื่อง West Midlands ไปแล้ว มันต้องอยู่ในบัญชีของบทนี้ด้วย เพราะเป็นกรณีเดียวที่สะอาด มีชื่อ มีวันที่ ของโมเดลภาษาอเนกประสงค์ที่ทำให้หน่วยงานบังคับใช้กฎหมายตัดสินใจผิดนอกวงไบโอเมตริกซ์: นัดฟุตบอลที่แต่งขึ้นหลุดเข้าไปในรายงานประเมินข่าวกรอง คำสั่งห้ามถูกออก หัวหน้าตำรวจลาออก และยี่สิบเอ็ดหน่วยงานยังใช้เครื่องมือนี้ต่อ [ESTABLISHED]
The gap I could not fill
ช่องว่างที่ผมไม่อาจเติมเต็มได้
I searched for a documented case of an AI system producing a wrongful outcome in fraud or financial crime specifically — a named person wrongly arrested, charged, or frozen out of their money on an algorithm's say-so. I did not find one comparable in specificity to the facial-recognition cases. [ABSENT]
ผมค้นหากรณีที่บันทึกไว้ของระบบ AI ที่ก่อผลผิดพลาดในการฉ้อโกงหรืออาชญากรรมทางการเงินโดยเฉพาะ — คนที่มีชื่อระบุถูกจับ ถูกตั้งข้อหา หรือถูกตัดขาดจากเงินของตัวเองเพราะอัลกอริทึมบอก ผมไม่พบกรณีใดที่จำเพาะเทียบเท่ากรณีจดจำใบหน้าเหล่านี้ [ABSENT]
This is not a clean bill of health and must not be read as one. False positives in AI transaction monitoring are extremely common by design — an entire industry literature exists on "false positive fatigue." The difference is that the harmed party is usually a delayed or blocked transaction rather than a person in a cell, which generates no court record, no settlement, and no journalism. The absence of documentation is a fact about what gets documented.
นี่ไม่ใช่ใบรับรองว่าไร้ปัญหา และห้ามอ่านเป็นอย่างนั้น ผลบวกลวงในระบบตรวจสอบธุรกรรมด้วย AI พบได้ทั่วไปโดยการออกแบบ — มีวรรณกรรมทั้งอุตสาหกรรมว่าด้วย "ความเหนื่อยล้าจากผลบวกลวง" (false positive fatigue) ที่ต่างคือฝ่ายเสียหายมักเป็นธุรกรรมที่ถูกหน่วงหรือถูกระงับ ไม่ใช่คนในห้องขัง ธุรกรรมไม่สร้างบันทึกศาล ไม่สร้างการยอมความ ไม่สร้างข่าว การไม่มีเอกสารบันทึกคือข้อเท็จจริงว่าอะไรถูกบันทึก ไม่ใช่ว่าอะไรเกิดขึ้น
Anyone in Thailand building on the Central Fraud Registry described in Chapter 5 should read that paragraph twice. A system that suspends a person's accounts at every bank simultaneously, on a flag, is a system with exactly this harm profile and exactly this documentation deficit.
ใครในประเทศไทยที่กำลังต่อยอดจาก Central Fraud Registry ที่อธิบายไว้ในบทที่ 5 ควรอ่านย่อหน้านั้นสองรอบ ระบบที่ระงับบัญชีของคนหนึ่งคนพร้อมกันทุกธนาคารด้วยธงหนึ่งอัน คือระบบที่มีลักษณะความเสียหายแบบเดียวกันนี้เป๊ะ และขาดเอกสารบันทึกแบบเดียวกันนี้เป๊ะ
What the regulators did
สิ่งที่หน่วยงานกำกับดูแลทำ
The response so far, for the record:
การตอบสนองเท่าที่มีถึงตอนนี้ บันทึกไว้ตรงนี้:
| Where | Instrument | Effect |
|---|---|---|
| EU | AI Act Article 5(1)(h) | Real-time remote biometric identification in public spaces for law enforcement prohibited, with narrow exceptions requiring a fundamental-rights impact assessment. In force since 2 February 2025. |
| EU | AI Act, Annex III high-risk | Many law-enforcement uses — risk assessment, crime-analytics profiling — become subject to high-risk obligations from 2 August 2026; full compliance 2 August 2027. |
| UK | NPCC Covenant for Using AI in Policing (2023), AI Strategy and Adoption Playbook (April 2025) | Voluntary principles: transparency, fairness, human oversight. Signed by all chief constables. |
| US | State law | Roughly two dozen states had restrictions by 2025; Montana and Utah require a warrant before police facial recognition use. |
| ที่ไหน | เครื่องมือ | ผล |
|---|---|---|
| สหภาพยุโรป | AI Act มาตรา 5(1)(h) | ห้ามการระบุตัวตนทางไบโอเมตริกซ์ทางไกลแบบเรียลไทม์ในพื้นที่สาธารณะเพื่อการบังคับใช้กฎหมาย โดยมีข้อยกเว้นแคบ ๆ ที่ต้องมีการประเมินผลกระทบต่อสิทธิขั้นพื้นฐาน มีผลบังคับใช้ตั้งแต่ 2 กุมภาพันธ์ 2025 |
| สหภาพยุโรป | AI Act, ภาคผนวก III ความเสี่ยงสูง | การใช้งานด้านการบังคับใช้กฎหมายหลายรูปแบบ — การประเมินความเสี่ยง การทำโปรไฟล์ด้วยการวิเคราะห์อาชญากรรม — จะอยู่ภายใต้ข้อผูกพันความเสี่ยงสูงตั้งแต่ 2 สิงหาคม 2026; การปฏิบัติตามอย่างเต็มรูปแบบ 2 สิงหาคม 2027 |
| สหราชอาณาจักร | NPCC Covenant for Using AI in Policing (2023), AI Strategy and Adoption Playbook (เมษายน 2025) | หลักการภาคสมัครใจ: ความโปร่งใส ความเป็นธรรม การกำกับดูแลโดยมนุษย์ ลงนามโดยหัวหน้าตำรวจทุกคน |
| สหรัฐฯ | กฎหมายระดับรัฐ | ราวสองโหลรัฐมีข้อจำกัดภายในปี 2025; มอนแทนาและยูทาห์กำหนดให้ต้องมีหมายศาลก่อนตำรวจจะใช้การจดจำใบหน้า |
[ESTABLISHED] (EU AI Act Article 5; NPCC AI Strategy; Stateline)
[ESTABLISHED] (EU AI Act มาตรา 5; NPCC AI Strategy; Stateline)
And the independent verdict on the most-cited safeguard: Northumbria University research in 2026 found that the UK Covenant's "human in the loop" principle often exists in name only, providing false assurance rather than a genuine check, and that England and Wales lack any central independent body to coordinate AI standards, oversight and procurement across 43 forces. [ESTABLISHED] (Northumbria University)
และคำตัดสินอิสระต่อมาตรการป้องกันที่ถูกอ้างถึงมากที่สุด: งานวิจัยของ Northumbria University ปี 2026 พบว่าหลักการ "มนุษย์อยู่ในวงจร" (human in the loop) ของ UK Covenant มักมีอยู่แค่ในชื่อ ให้ความมั่นใจปลอม ๆ แทนการตรวจสอบจริง และอังกฤษกับเวลส์ไม่มีหน่วยงานอิสระส่วนกลางที่ประสานมาตรฐาน การกำกับดูแล และการจัดซื้อจัดจ้างด้าน AI ให้หน่วยงานตำรวจทั้ง 43 แห่ง [ESTABLISHED] (Northumbria University)
"A human reviewed it" is the sentence every one of these deployments could truthfully say. A human reviewed Robert Williams's photo lineup. A human signed Randal Reid's affidavit. A human put the invented football match into the intelligence document. Human oversight is not a safeguard unless the human is structurally able to disagree — which means seeing the underlying material, knowing the tool's error rate, and having time.
"มีมนุษย์ตรวจทานแล้ว" คือประโยคที่ทุกการติดตั้งในบทนี้พูดได้โดยไม่โกหก มนุษย์ตรวจทานการเรียงแถวภาพของ Robert Williams มนุษย์ลงนามในคำให้การของ Randal Reid มนุษย์เป็นคนใส่นัดฟุตบอลที่แต่งขึ้นลงในเอกสารข่าวกรอง การกำกับดูแลโดยมนุษย์ไม่ใช่มาตรการป้องกัน เว้นแต่มนุษย์คนนั้นอยู่ในตำแหน่งที่โต้แย้งได้จริงเชิงโครงสร้าง — คือได้เห็นข้อมูลต้นทาง รู้อัตราความผิดพลาดของเครื่องมือ และมีเวลา
The asymmetry, named
ความไม่สมมาตรที่ถูกตั้งชื่อ
Hold this chapter next to the successes and notice the difference in grades.
วางบทนี้เทียบกับความสำเร็จ แล้วดูว่าเกรดต่างกันอย่างไร
Failures here are [ESTABLISHED]: inspector-general audits, RAND evaluations, court settlements, NIST measurements, a journalist's audit of 23,600 predictions. Successes are mostly [CLAIMED]: vendor blog posts and force self-reports.
ความล้มเหลวในบทนี้เป็น [ESTABLISHED]: การตรวจสอบของผู้ตรวจการทั่วไป การประเมินของ RAND การยอมความในศาล การวัดผลของ NIST การตรวจสอบคำพยากรณ์ 23,600 รายการโดยนักข่าว ความสำเร็จส่วนใหญ่เป็น [CLAIMED]: บล็อกของผู้ขาย และรายงานที่หน่วยงานเขียนถึงตัวเอง
That asymmetry does not mean the technology fails more than it works. It means failure produces adversaries — a person who was jailed, a civil liberties organisation, an auditor — and adversaries produce documents. Success produces marketing. If you weigh the two categories by the quality of their evidence, you will systematically underrate the technology. If you weigh them by their volume, you will systematically overrate it. There is no honest way to avoid holding both facts at once.
ความไม่สมมาตรนั้นไม่ได้แปลว่าเทคโนโลยีล้มเหลวบ่อยกว่าทำงานได้ มันแปลว่าความล้มเหลวสร้างฝ่ายตรงข้าม — คนที่ถูกจำคุก องค์กรสิทธิพลเมือง ผู้ตรวจสอบ — และฝ่ายตรงข้ามสร้างเอกสาร ความสำเร็จสร้างการตลาด ชั่งสองประเภทนี้ด้วยคุณภาพหลักฐาน คุณจะประเมินเทคโนโลยีต่ำกว่าจริงอย่างเป็นระบบ ชั่งด้วยปริมาณ คุณจะประเมินสูงกว่าจริงอย่างเป็นระบบ ไม่มีทางซื่อสัตย์ทางไหนที่เลี่ยงการถือข้อเท็จจริงทั้งสองไว้พร้อมกันได้
The Move — Write the corroboration before you act on the match. When a system returns a candidate — a face, a cluster, a name — record, before taking any action, what independent evidence would have to exist for the candidate to be right, and then go and find out whether it does. Not evidence consistent with the match: evidence obtained without reference to it. Every case in this chapter is a case where that step was skipped, and in one of them the tool's involvement was hidden from the court so the step could not be demanded by anyone else.
ท่าประจำบท — เขียนการยืนยันก่อนที่คุณจะลงมือทำตามผลจับคู่ เมื่อระบบคืนตัวเลือกออกมา — ใบหน้าหนึ่งใบ กลุ่มหนึ่งกลุ่ม ชื่อหนึ่งชื่อ — ให้บันทึกก่อนลงมือทำอะไรทั้งสิ้นว่าหลักฐานอิสระอะไรต้องมีอยู่จริง ตัวเลือกนั้นจึงจะถูก แล้วค่อยไปหาว่ามันมีจริงหรือไม่ ไม่ใช่หลักฐานที่สอดคล้องกับผลจับคู่ แต่เป็นหลักฐานที่ได้มาโดยไม่อ้างอิงผลจับคู่นั้นเลย ทุกกรณีในบทนี้คือกรณีที่ขั้นตอนนี้ถูกข้าม และในหนึ่งกรณี บทบาทของเครื่องมือถูกซ่อนจากศาล เพื่อไม่ให้ใครเรียกร้องขั้นตอนนี้ได้เลย
What would change my mind: if an independent evaluation showed a deployed predictive or identification system reducing crime or improving accuracy against a proper control, the balance of this chapter would shift and I would say so. As of August 2026 the independent evaluation record contains no such finding, and the pattern of five programmes and four arrests is consistent enough that I would want a strong study, not a promising one.
อะไรจะทำให้ผมเปลี่ยนใจ: หากการประเมินอิสระแสดงว่าระบบพยากรณ์หรือระบุตัวตนที่ใช้งานจริงลดอาชญากรรมหรือเพิ่มความแม่นยำได้เมื่อเทียบกับกลุ่มควบคุมที่เหมาะสม สมดุลของบทนี้จะเปลี่ยน และผมจะพูดอย่างนั้น ณ เดือนสิงหาคม 2026 บันทึกการประเมินอิสระยังไม่มีข้อค้นพบเช่นนั้น และรูปแบบของห้าโครงการกับสี่การจับกุมสอดคล้องกันมากพอที่ผมจะต้องการงานศึกษาที่แข็งแรง ไม่ใช่งานศึกษาที่ดูมีความหวัง