4 · ศาสตร์ที่นับความผิดของตัวเอง
นักวิจัยกลุ่มหนึ่งหยิบงานวิจัยจิตวิทยาที่ตีพิมพ์ไปแล้วมาร้อยชิ้น แล้วลงมือทำใหม่ทีละชิ้น เพื่อดูว่าผลเดิมจะออกมาอีกไหม
ในงานต้นฉบับ เก้าสิบเจ็ดชิ้นจากร้อยพบผล พอทำซ้ำเหลือราวสามสิบหก และคนที่ลงมือทำซ้ำก็คือนักวิทยาศาสตร์เอง
คำว่าพบผลในที่นี้หมายถึง งานชิ้นนั้นเจอสิ่งที่มันตามหา ชัดพอจะผ่านเกณฑ์ทางสถิติที่วงการใช้ตัดสิน คือถ้าไม่มีผลจริงอยู่เลย ความบังเอิญอย่างเดียวจะให้ผลที่ชัดขนาดนั้นได้ไม่เกินราวหนึ่งครั้งในยี่สิบ งานต้นฉบับผ่านเกณฑ์นี้เกือบทุกชิ้น พอทำใหม่ ผ่านราวหนึ่งในสาม
ในบทที่หนึ่ง คนที่ทดสอบเครื่องตรวจระเบิดคือนักฟิสิกส์คนนอก ที่ศาลสั่งให้ส่งเครื่องไปให้ตรวจ ที่นี่ คนตรวจกับคนถูกตรวจอยู่ในวงการเดียวกัน และคนตรวจเป็นผู้ตีพิมพ์ตัวเลขนี้เองในปี 2015
สองในสามที่หายไป
ถ้าคุณอ่านตัวเลขนี้ตรงๆ มันบอกว่างานวิจัยที่ผ่านการตรวจและได้ตีพิมพ์แล้ว สองในสามทำซ้ำไม่ขึ้น คนที่อ่านแล้วสรุปว่านักวิทยาศาสตร์ผิดบ่อย ไม่ได้อ่านผิด ตัวเลขพูดอย่างนั้นจริงๆ
แต่ตัวเลขนี้เองก็ไม่รอดจากการตรวจ ปี 2016 นักวิจัยอีกกลุ่มหนึ่งเขียนแย้งอย่างเป็นทางการว่า ข้อมูลชุดเดียวกันนี้อ่านแล้วสรุปได้ตรงกันข้าม คือจิตวิทยาทำซ้ำได้ค่อนข้างดี ทีมที่ทำซ้ำเขียนตอบว่า จากข้อมูลชุดนี้ จะสรุปแง่ดีหรือแง่ร้ายก็ทำได้ทั้งคู่ และยังไม่มีข้อสรุปไหนที่หลักฐานรองรับพอ
ตัวเลขที่ยังถูกแย้งอยู่ ถ้าเล่าเพียงครึ่งเดียว ไม่ว่าครึ่งไหน ก็คือการเล่าเกินหลักฐาน
สิ่งที่ข้อถกเถียงนี้บอกได้ชัดไม่ใช่ว่าจิตวิทยาถูกกี่เปอร์เซ็นต์ มันบอกว่างานวิจัยที่ตีพิมพ์แล้วหนึ่งชิ้นยังไม่ใช่ความจริง มันคือการทดสอบหนึ่งครั้ง และการทดลองซ้ำที่มาตรวจมัน ก็เป็นแค่อีกหนึ่งครั้ง ที่ผิดได้เหมือนกัน
ความรู้ที่พอจะเชื่อได้ไม่ได้อยู่ในงานชิ้นไหนชิ้นหนึ่ง มันอยู่ในสิ่งที่ยังยืนอยู่ หลังถูกคนหลายกลุ่มทดสอบซ้ำหลายรอบ
กระดาษที่เซ็นไว้ก่อน
ตัวเลขเก้าสิบเจ็ดยังทิ้งคำถามไว้อีกข้อ ถ้างานทุกชิ้นเป็นการทดสอบที่แพ้ได้จริง การชนะเก้าสิบเจ็ดครั้งจากร้อยก็ชวนให้ถามต่อ ว่าครั้งที่แพ้ไปอยู่ที่ไหน
ในการแพทย์มีตัวเลขชุดหนึ่งที่ให้เบาะแส งานชิ้นหนึ่งไล่ดูการทดลองขนาดใหญ่ 55 ชิ้นที่ได้ทุนจากสถาบันหัวใจ ปอด และเลือดแห่งชาติของสหรัฐอเมริกา ชิ้นที่ตีพิมพ์ก่อนปี 2000 รายงานว่าการรักษาได้ผลสิบเจ็ดชิ้นจากสามสิบ ชิ้นที่ตีพิมพ์หลังจากนั้นเหลือสองชิ้นจากยี่สิบห้า
สิ่งที่ผูกกับตัวเลขที่ลดลงนี้มากที่สุด คือการลงทะเบียนล่วงหน้า (preregistration) แปลว่าก่อนเริ่มทดลอง ผู้ทดลองประกาศไว้ในทะเบียนที่ใครก็เปิดดูได้ ว่าจะใช้อะไรเป็นตัววัดหลัก
กระดาษแบบนี้เคยปรากฏแล้วในบทที่หนึ่ง ก่อนเริ่มทดสอบ ทหารสองคนเซ็นยืนยันว่าห้อง กล่อง และของกลาง ไม่มีอะไรขัดขวางการทำงานของเครื่อง พอผลออกมาไม่ดี ข้อแก้ตัวที่ตามมาจึงไม่มีที่ยืน การลงทะเบียนทำงานแบบเดียวกัน เมื่อเขียนไว้ก่อนแล้วว่าจะวัดอะไร ก็ย้ายเป้าหลังเห็นผลไม่ได้
แต่ผู้วิจัยของงานชิ้นนี้ไม่ได้สรุปว่ากระดาษแผ่นนี้คือเหตุ พวกเขาเขียนไว้เองว่าบอกไม่ได้ว่าการลงทะเบียนทำให้งานที่พบว่าได้ผลน้อยลง ข้อมูลแสดงได้แค่ว่าสองอย่างเกิดไปด้วยกัน และในช่วงเวลาเดียวกันนั้น อย่างอื่นก็อาจเปลี่ยนไปพร้อมกันอีกหลายอย่าง
งานที่วัดความซื่อตรงของทั้งวงการ ก็ยังระวังไม่พูดเกินข้อมูลของตัวเอง
วารสารที่ตอบรับก่อนรู้ผล
มีวิธีหนึ่งที่ปิดช่องนี้ได้ตรงกว่า นักวิจัยส่งคำถาม วิธีทดลอง และวิธีวิเคราะห์ ไปให้วารสารตรวจก่อนเก็บข้อมูลแม้แต่ชิ้นเดียว ถ้าผ่าน วารสารรับปากว่าจะตีพิมพ์ ไม่ว่าผลจะออกมาทางไหน งานแบบนี้เรียกว่ารายงานที่ตอบรับก่อนรู้ผล (Registered Report)
ผลที่ไม่เจออะไรจึงมีสิทธิ์ได้ขึ้นหน้ากระดาษเท่ากับผลที่เจอ เพราะคำตัดสินว่าจะตีพิมพ์ถูกทำไปก่อนที่ใครจะรู้ผล
เมื่อมีคนนับเทียบกันในจิตวิทยา งานที่ตีพิมพ์ตามทางปกติรายงานว่าเจอสิ่งที่ตั้งสมมติฐานไว้ 96% งานที่วารสารตอบรับก่อนรู้ผลรายงานแบบนั้น 44%
สองกองนี้ไม่ได้ถูกแบ่งด้วยการจับฉลาก นักวิจัยเลือกเองว่าจะส่งงานแบบไหน ช่องว่างทั้งหมดจึงยังโทษความเอนเอียงอย่างเดียวไม่ได้ แต่มันบอกได้ชัดข้อหนึ่ง เมื่อผลเปลี่ยนการตัดสินใจตีพิมพ์ไม่ได้อีกแล้ว งานที่ไม่เจอสิ่งที่ตามหาก็ขึ้นมาอยู่บนหน้ากระดาษเกินครึ่ง
ตัวเลขคู่นี้บอกคุณอีกอย่างด้วย งานที่ไม่เจออะไรเงียบหายไปจากหน้ากระดาษได้ แต่ความเงียบไม่ได้แปลว่ามันไม่เคยมี
การลงทะเบียนล่วงหน้ากับวารสารที่ตอบรับก่อนรู้ผล คือเครื่องมือที่วงการนี้สร้างให้ตัวเอง เพื่อปิดทางไม่ให้ใครเลือกผลหลังเห็นผล รวมทั้งตัวนักวิจัยเองด้วย
คะแนนที่ต่ำที่สุด
ถึงตรงนี้มีคำถามตรงไปตรงมารออยู่ วงการที่ประกาศความผิดของตัวเองได้ขนาดนี้ ยังควรได้รับความเชื่อใจไหม และควรได้แค่ไหน
การสำรวจใน 68 ประเทศ คนเกือบเจ็ดหมื่นสองพันคน ให้คะแนนความเชื่อใจนักวิทยาศาสตร์เฉลี่ย 3.62 จาก 5 ค่อนไปทางสูง สามในสี่ตอบว่าวิธีการทางวิทยาศาสตร์คือทางที่ดีที่สุดที่จะรู้ว่าอะไรจริง
แต่ในด้านต่างๆ ที่ถูกถาม ด้านที่นักวิทยาศาสตร์ได้คะแนนต่ำที่สุดคือความเปิดรับคำติชม ได้ 3.33 ทั้งที่สิ่งที่บทนี้เล่ามาตลอด คือคนในวงการเดียวกันทำซ้ำงานของกันเอง ตีพิมพ์คำแย้งและคำตอบให้ทุกคนอ่าน และนับว่าตัวเองผิดไปกี่ครั้ง เล่มนี้ไม่รู้ว่าช่องว่างนี้มาจากไหน
คำถามที่มีคนวัดไว้แล้วคือ ถ้าคนที่ให้ตัวเลขบอกออกมาตรงๆ ว่าตัวเลขนั้นไม่แน่นอนแค่ไหน คนฟังจะเชื่อน้อยลงไหม การทดลองกับคนรวม 5,780 คนตอบว่าลดลงเพียงเล็กน้อย ทั้งความเชื่อในตัวเลข และความเชื่อในแหล่งที่บอก
นี่คือคำตอบว่าวิทยาศาสตร์เชื่อได้แค่ไหน มันเชื่อได้เท่าที่มันถูกตรวจ งานใหม่ชิ้นเดียวคือการทดสอบหนึ่งครั้ง และเชื่อได้เท่าการทดสอบหนึ่งครั้ง ผลที่คนอื่นทำซ้ำแล้วหลายรอบและยังยืนอยู่ เชื่อได้มากกว่านั้น ป้ายสี่ป้ายท้ายทุกบทของเล่มนี้ตั้งขึ้นด้วยหลักเดียวกัน
ท้ายบทที่หนึ่งมีตัวอย่างที่คุณเปิดดูได้เอง ข้อสรุปว่าเครื่องตรวจระเบิดหาของไม่ได้ดีกว่าความบังเอิญได้ป้ายแน่น เพราะมันยืนอยู่บนสองแหล่งที่ให้ผลไปทางเดียวกัน คือการทดสอบในเม็กซิโกและคำตัดสินของศาลอังกฤษ การทดสอบในไทยไม่ได้ถูกนับ เพราะไม่รู้ว่ามันออกแบบอย่างไร ส่วนตัวเลขสี่จากสี่กับสามจากยี่สิบที่บทนั้นใช้เปิดเรื่อง ได้แค่ป้ายพอเชื่อ เพราะมาจากการทดสอบวันเดียว
ข้ออ้างที่ว่า นักวิทยาศาสตร์ผิดบ่อย จึงเชื่อไม่ได้ ถูกอยู่ครึ่งหนึ่ง นักวิทยาศาสตร์ผิดได้จริง แต่บ่อยแค่ไหนยังเถียงกันอยู่ ในจิตวิทยา งานที่ทำซ้ำไม่ขึ้นอาจมีถึงราวสองในสาม หรืออาจน้อยจนเรียกได้ว่าทำซ้ำได้ค่อนข้างดี ถ้าคำแย้งปี 2016 อ่านถูก และคุณรู้ทั้งสองแบบนี้ได้ก็เพราะพวกเขานับเอง แล้วเถียงกันเองให้ทุกคนอ่าน
ครึ่งที่ผิดคือคำว่าจึง ความผิดที่นับไว้แล้วคือสิ่งที่บอกคุณได้ว่าควรเชื่อแต่ละเรื่องแค่ไหน แหล่งที่ไม่เคยบอกตัวเลขนี้ ให้คุณได้แค่ความมั่นใจของเขา
คนที่บอกว่าตัวเองไม่เคยผิด ไม่ได้ผิดน้อยกว่าใคร เขาแค่ไม่เคยนับ
จะรู้ว่าบทนี้ผิดเมื่อ: มีการทดลองขนาดใหญ่ที่ประกาศวิธีวัดไว้ล่วงหน้า แล้วพบว่าการบอกความไม่แน่นอนหรือความผิดพลาดของงานวิจัยออกมาตรงๆ ทำให้คนเชื่อถือนักวิทยาศาสตร์ลดลงมาก หรือมีทีมอิสระนับซ้ำแล้วพบว่า งานที่ลงทะเบียนล่วงหน้าหรือถูกตอบรับก่อนรู้ผล รายงานว่าเจอสิ่งที่ตามหาบ่อยพอๆ กับงานที่ตีพิมพ์ตามทางปกติ
หลักฐาน:
- งานวิจัยจิตวิทยา 100 ชิ้นถูกทำซ้ำ · งานต้นฉบับผ่านเกณฑ์ทางสถิติ 97% · การทดลองซ้ำผ่าน 36% — พอเชื่อ (โครงการเดียว และการตีความตัวเลขยังถูกแย้ง ดูบรรทัดถัดไป) — Open Science Collaboration, Estimating the reproducibility of psychological science, Science, 2015 — https://europepmc.org/article/MED/26315443
- คำแย้งปี 2016 ว่าข้อมูลชุดเดียวกันสนับสนุนข้อสรุปตรงข้าม คือจิตวิทยาทำซ้ำได้ค่อนข้างดี · คำตอบของทีมที่ทำซ้ำว่าข้อมูลชุดนี้ให้ได้ทั้งข้อสรุปแง่ดีและแง่ร้าย และยังไม่มีข้อสรุปไหนที่หลักฐานรองรับพอ — พอเชื่อ (สองฝ่ายยังเห็นต่างกัน เล่มนี้พิมพ์ทั้งคู่) — คำแย้งและคำตอบ, 2016 — https://europepmc.org/article/MED/26941311 และ https://europepmc.org/article/MED/26941312
- การทดลองขนาดใหญ่ 55 ชิ้นที่ได้ทุนจาก NHLBI · ตีพิมพ์ก่อนปี 2000 ได้ผล 17 จาก 30 · หลังจากนั้น 2 จาก 25 · การลงทะเบียนล่วงหน้าผูกกับการลดลงมากที่สุด · ผู้วิจัยระบุเองว่าบอกไม่ได้ว่าเป็นเหตุ — พอเชื่อ (งานชิ้นเดียว เป็นความสัมพันธ์ ไม่ใช่หลักฐานของเหตุ) — Kaplan, R. M., & Irvin, V. L. (2015). PLoS ONE — https://journals.plos.org/plosone/article?id=10.1371/journal.pone.0132382
- งานจิตวิทยาที่ตีพิมพ์ตามทางปกติรายงานว่าเจอสิ่งที่ตั้งสมมติฐานไว้ 96% · งานแบบ Registered Report 44% — พอเชื่อ (งานชิ้นเดียว และสองกองไม่ได้แบ่งด้วยการสุ่ม) — Scheel และคณะ, 2021 — https://doi.org/10.31234/osf.io/p6e9c
- การสำรวจ 71,922 คนใน 68 ประเทศ · ความเชื่อใจนักวิทยาศาสตร์เฉลี่ย 3.62 จาก 5 · ความเปิดรับคำติชมต่ำที่สุดที่ 3.33 · 75% ตอบว่าวิธีการทางวิทยาศาสตร์คือทางที่ดีที่สุดที่จะรู้ว่าอะไรจริง — พอเชื่อ (การสำรวจใหญ่หนึ่งครั้ง และการเทียบค่าเฉลี่ยระหว่างประเทศทำได้จำกัด) — Cologna และคณะ, Nature Human Behaviour, 2025 — https://www.nature.com/articles/s41562-024-02090-5
- การบอกความไม่แน่นอนของตัวเลข ทำให้ความเชื่อในตัวเลขและในแหล่งที่บอกลดลงเพียงเล็กน้อย · การทดลองหลายชุด รวม 5,780 คน — พอเชื่อ (งานชิ้นเดียว) — van der Bles และคณะ, PNAS, 2020 — https://europepmc.org/article/MED/32205438