ปัญญาประดิษฐ์ไม่เป็นไปตามตรรกะของความก้าวหน้าทางวิทยาศาสตร์

เราได้เขียนหลายครั้งใน MT เกี่ยวกับนักวิจัยและผู้เชี่ยวชาญที่ประกาศระบบการเรียนรู้ของเครื่องว่าเป็น "กล่องดำ" (1) แม้แต่กับผู้ที่สร้างมันขึ้นมา ทำให้ยากต่อการประเมินผลลัพธ์และนำอัลกอริธึมที่เกิดขึ้นใหม่มาใช้ซ้ำ

โครงข่ายประสาทเทียม - เทคนิคที่ช่วยให้เราสามารถแปลงบอทอย่างชาญฉลาดและเครื่องกำเนิดข้อความอันชาญฉลาดที่สามารถสร้างบทกวีได้ - ยังคงเป็นปริศนาที่เข้าใจยากสำหรับผู้สังเกตการณ์ภายนอก

พวกเขากำลังใหญ่ขึ้นและซับซ้อนมากขึ้น จัดการชุดข้อมูลขนาดใหญ่ และใช้อาร์เรย์ประมวลผลขนาดใหญ่ ทำให้การจำลองและวิเคราะห์แบบจำลองที่ได้รับมีค่าใช้จ่ายสูงและบางครั้งเป็นไปไม่ได้สำหรับนักวิจัยคนอื่นๆ ยกเว้นศูนย์ขนาดใหญ่ที่มีงบประมาณมหาศาล

นักวิทยาศาสตร์หลายคนตระหนักดีถึงปัญหานี้ ในหมู่พวกเขาคือ Joel Pino (2) ประธาน NeurIPS การประชุมระดับพรีเมียร์เรื่องการทำซ้ำ ผู้เชี่ยวชาญภายใต้การนำของเธอต้องการสร้าง "รายการตรวจสอบความสามารถในการทำซ้ำ"

Pino กล่าวว่าแนวคิดนี้คือการสนับสนุนให้นักวิจัยเสนอแผนงานให้ผู้อื่นเพื่อให้พวกเขาสามารถสร้างและใช้งานที่ทำเสร็จแล้วได้ คุณสามารถประหลาดใจกับคารมคมคายของตัวสร้างข้อความใหม่หรือความคล่องแคล่วเหนือมนุษย์ของหุ่นยนต์วิดีโอเกม แต่แม้แต่ผู้เชี่ยวชาญที่ดีที่สุดก็ยังไม่รู้ว่าสิ่งมหัศจรรย์เหล่านี้ทำงานอย่างไร ดังนั้น การสร้างแบบจำลอง AI จึงมีความสำคัญไม่เพียงแต่ในการระบุเป้าหมายและทิศทางใหม่สำหรับการวิจัยเท่านั้น แต่ยังเป็นแนวทางที่นำไปใช้ได้จริงอย่างแท้จริงด้วย

คนอื่นกำลังพยายามแก้ปัญหานี้ นักวิจัยของ Google ได้เสนอ "การ์ดรุ่น" เพื่ออธิบายรายละเอียดวิธีการทดสอบระบบ รวมถึงผลลัพธ์ที่ชี้ไปที่ข้อบกพร่องที่อาจเกิดขึ้น นักวิจัยจาก Allen Institute for Artificial Intelligence (AI2) ได้ตีพิมพ์บทความที่มีจุดมุ่งหมายเพื่อขยายรายการตรวจสอบความสามารถในการทำซ้ำของ Pinot ไปยังขั้นตอนอื่นๆ ในกระบวนการทดลอง “แสดงงานของคุณ” พวกเขากระตุ้น

บางครั้งข้อมูลพื้นฐานขาดหายไปเนื่องจากโครงการวิจัยเป็นเจ้าของ โดยเฉพาะอย่างยิ่งโดยห้องปฏิบัติการที่ทำงานให้กับบริษัท อย่างไรก็ตาม บ่อยครั้งขึ้นนี้เป็นสัญญาณของการไม่สามารถอธิบายวิธีการวิจัยที่เปลี่ยนแปลงและซับซ้อนขึ้นเรื่อยๆ โครงข่ายประสาทเทียมเป็นพื้นที่ที่ซับซ้อนมาก เพื่อให้ได้ผลลัพธ์ที่ดีที่สุด มักจะต้องมีการปรับ "ลูกบิดและปุ่ม" หลายพันปุ่ม ซึ่งบางคนเรียกว่า "มนต์ดำ" การเลือกแบบจำลองที่เหมาะสมที่สุดมักจะเกี่ยวข้องกับการทดสอบจำนวนมาก เวทมนตร์มีราคาแพงมาก

ตัวอย่างเช่น เมื่อ Facebook พยายามจำลองงานของ AlphaGo ซึ่งเป็นระบบที่พัฒนาโดย DeepMind Alphabet งานนี้ได้รับการพิสูจน์ว่ายากมาก ข้อกำหนดด้านการคำนวณขนาดใหญ่ การทดลองหลายล้านครั้งบนอุปกรณ์หลายพันเครื่องในช่วงหลายวัน ประกอบกับการขาดโค้ด ทำให้ระบบ "สร้างใหม่ ทดสอบ ปรับปรุง และขยายระบบได้ยากมาก ถ้าไม่เป็นไปไม่ได้" ตามที่พนักงาน Facebook กล่าว

ปัญหาดูเหมือนจะเป็นผู้เชี่ยวชาญ อย่างไรก็ตาม หากเราคิดให้มากขึ้น ปรากฏการณ์ของปัญหาเกี่ยวกับความสามารถในการทำซ้ำของผลลัพธ์และหน้าที่ระหว่างทีมวิจัยหนึ่งกับทีมอื่นจะบ่อนทำลายตรรกะทั้งหมดของการทำงานของวิทยาศาสตร์และกระบวนการวิจัยที่เรารู้จัก ตามกฎแล้วผลการวิจัยก่อนหน้านี้สามารถใช้เป็นพื้นฐานสำหรับการวิจัยเพิ่มเติมที่กระตุ้นการพัฒนาความรู้เทคโนโลยีและความก้าวหน้าทั่วไป