Metode ini dirancang untuk menguji kemampuan AI dalam melakukan penalaran matematis tanpa bantuan data pelatihan yang relevan.
Hasil Uji Awal: AI Mengalami Kesulitan
Hasil pengujian awal menunjukkan bahwa sistem AI yang tersedia secara publik mengalami kesulitan dalam menjawab sebagian besar pertanyaan yang diajukan oleh para peneliti.
Menurut para matematikawan yang terlibat dalam proyek tersebut, kegagalan AI dalam menjawab persoalan ini menunjukkan bahwa teknologi tersebut belum memiliki kemampuan untuk memahami konsep matematika tingkat tinggi secara mendalam.
Salah satu penggagas proyek ini, Mohammed Abouzaid, profesor matematika dari Stanford University, menjelaskan bahwa sistem AI terbaik yang tersedia saat ini belum mampu memberikan solusi yang memadai terhadap sebagian besar persoalan yang diuji.
Ia menyatakan bahwa hasil pengujian ini memberikan gambaran realistis mengenai kemampuan AI dalam bidang penelitian matematika.
Mengapa AI Kesulitan Menyelesaikan Soal Penelitian Matematika
Perbedaan Antara Soal Algoritmik dan Penemuan Konseptual
Menurut para peneliti, terdapat perbedaan mendasar antara persoalan matematika yang bersifat algoritmik dengan penelitian matematika yang benar-benar baru.
AI dikenal memiliki kemampuan yang sangat baik dalam menyelesaikan tugas-tugas yang mengikuti pola tertentu atau dapat dipecahkan menggunakan algoritma yang jelas. Contohnya termasuk soal-soal matematika dalam kompetisi atau olimpiade yang biasanya memiliki struktur penyelesaian yang relatif terdefinisi.
Namun, riset matematika di tingkat lanjut sering kali melibatkan proses pemikiran kreatif yang tidak selalu mengikuti pola yang dapat dipelajari oleh mesin.
Dalam penelitian matematika murni, seorang matematikawan sering kali harus mengembangkan konsep baru, menemukan hubungan yang belum pernah diketahui sebelumnya, serta menggabungkan berbagai teori yang berbeda untuk menghasilkan wawasan baru.
Proses tersebut membutuhkan intuisi dan kreativitas manusia yang hingga saat ini masih sulit direplikasi oleh sistem AI.
Pengalaman Para Matematikawan Menggunakan AI
Lauren Williams mengungkapkan bahwa ia sering menemukan batas kemampuan AI ketika mencoba menggunakan teknologi tersebut untuk membantu riset matematika.
Menurutnya, AI sering kali memberikan jawaban yang tampak meyakinkan ketika ditanya mengenai topik yang belum ia pahami sepenuhnya. Namun, ketika pertanyaan yang diajukan berada dalam bidang yang menjadi keahliannya, kelemahan AI mulai terlihat.
Williams mengatakan bahwa beberapa jawaban yang diberikan AI ternyata mengandung kesalahan konsep atau interpretasi yang tidak tepat.
Ia juga menemukan kasus di mana AI memberikan informasi yang tidak akurat terkait publikasi ilmiah.
Dalam salah satu pengalaman yang ia ceritakan, AI menyebut adanya sebuah makalah yang konon ditulis olehnya. Namun Williams memastikan bahwa makalah tersebut tidak pernah ia tulis.
Aaf Afiatna (Aura OS) adalah seorang WordPress Developer, Administrator IT, dan penggerak di balik infrastruktur berbagai portal media digital PT Arina Duta Sehati. Ia memiliki ketertarikan mendalam pada rekayasa sistem tingkat rendah, implementasi AI on-device, dan pengembangan proyek open-source seperti Neural Standby Kernel (NSK). Saat tidak sedang berurusan dengan server atau kode, ia aktif mengeksplorasi ekosistem Web3 dan berbagi wawasan melalui channel YouTube CryptoFansWorld.