งานวิจัยพบว่า คำตอบจาก ChatGPT นั้นขาดความแม่นยำ แถมคำตอบยังขัดแย้งกันเอง เชื่อถือไม่ได้

ในปัจจุบัน เครื่องมือปัญญาประดิษฐ์ หรือ AI (Artificial Intelligence) ที่มักถูกกล่าวถึงอยู่เสมอคงจะหนีไม่พ้น ChatGPT ที่ผู้ใช้งานหลายคนมักปรึกษาจนแทบจะเป็นเพื่อนกับ AI ไปแล้ว แต่กระนั้นคำตอบที่ได้รับจากเครื่องมือตัวนี้ อาจจะไม่ได้ถูกต้องอย่างที่หลายคนเข้าใจ

จากรายงานโดยเว็บไซต์ WSU Insider ได้มีการกล่าวถึงงานวิจัยของศาสตราจารย์ Mesut Cicek แห่งมหาวิทยาลัย Washington State University หรือ WSU ที่เป็นการทดสอบความแม่นยำ และความถูกต้องในการตอบคำถามของ ChatGPT ด้วยการใช้คำถาม (Hypotheses) มากกว่า 700 คำถาม และมีการส่งให้ตอบซ้ำ (Query) มากถึง 10 รอบ ซึ่งผลลัพธ์ที่ได้ออกมาก็นับว่ามีความน่าสนใจเป็นอย่างมาก ซึ่งคำถามเหล่านี้จะเป็นคำถามเชิงวิทยาศาสตร์จากบทความด้านวิทยาศาสตร์ที่ถูกตีพิมพ์บนวารสาร Business Journal ตั้งแต่ปี ค.ศ. 2021 (พ.ศ. 2564) เป็นต้นมา เพื่อท้าทายความสามารถในการคิดแบบซับซ้อนของตัว AI

โดยผลลัพธ์นั้น เมื่อทดสอบครั้งแรกในปี ค.ศ. 2024 (พ.ศ. 2567) บน ChatGPT 3.5 เวอร์ชันใช้งานฟรี พบว่าได้คำตอบที่ถูกต้องถึง 76.5% และเมื่อทำการทดสอบซ้ำในปี ค.ศ. 2025 (พ.ศ. 2568) บน ChatGPT-5 mini พบว่าความถูกต้องพบว่าแม่นยำขึ้นที่ 80% แต่เมื่อให้ตอบคำถามแบบสุ่ม ความถูกต้องกลับลดลงมาถึง 60% เรียกว่าดีกว่าเดาสุ่มหน่อยเดียว ทำให้ทางศาสตราจารย์กล่าวว่า คะแนนของ ChatGPT นั้นได้เกรด D ในระดับต่ำเตี้ยเรี่ยดินมากในด้านความน่าเชื่อถือในตัวคำตอบ (Relianbility) นอกจากนั้นยังพบว่าตัว ChatGPT ยังมีปัญหาในการค้นหาว่า ทำไมตัวคำถามถึงผิด (False) อีกด้วย โดยสามารถหาได้เพียง 16.4% ในขณะเดียวกัน เมื่อใช้งานคำสั่ง หรือ Prompt ที่เหมือนกัน 10 ตัว ทยอยป้อนเข้าไป กลับพบว่าความแน่นอน (Consistent) ของตัวคำตอบมีเพียง 73% เท่านั้น โดย Prompt ทั้ง 10 ตัวที่ป้อนไปนั้นเป็นถามเดียวกัน และคำตอบควรจะเป็น True (ถูก) ทั้งหมด แต่ตัว ChatGPT กลับตอบเป็น 5 True และ 5 False (ผิด) แทน เรียกได้ว่าผิดพลาดจนไม่น่าให้อภัย

ทั้งหมดนี้ทำให้ทางศาสตราจารย์ผู้ทำวิจัยสรุปไว้ว่า ตัว ChatGPT นั้นไม่ได้เข้าใจการทำงานและความเป็นไปของโลกอย่างแท้จริง เนื่องจากพวกมันแค่จดจำ (Memorize) และให้คำตอบตามที่จำมาได้เท่านั้น ไม่ได้มีสมองในการคิดอย่างที่ทุกคนเข้าใจและสำคัญผิดไปแต่อย่างใด ดังนั้นผู้ใช้งานจำเป็นที่จะต้องทำการตรวจสอบคำตอบที่ได้รับจาก AI ทุกครั้งก่อนที่จะนำเอาไปใช้งาน