Mengukur kecerdasan sebuah AI tentunya butuh instrumen ukur yang kredibel. Tapi, dapat saja hal tersebut ialah game keluaran Nintendo beberapa puluh tahun lalu. Seperti yang dilakukan oleh peneliti dengan Super Mario Bros.
Peneliti Gunakan Super Mario Bros untuk Benchmark AI
Pengetesan terhadap 4 AI modelHao AI Lab, sebuah organisasi penelitian di University of California, San Diego melakukan pengetesan (via TechCrunch) terhadap kepintaran beberapa AI model yang tersedia saat ini. Hanya saja, instrumen ukur yang mereka gunakan sebagai acuan ialah game Super Mario Bros milik Nintendo.
Dari pengetesan tersebut, disimpulkan kalau Claude 3,7 dari Anthropic mencapai posisi terbaik. Setelah itu barulah disusul oleh Claude 3.5. Sedangkan untuk Google Gemini 1.5 Pro dan ChatGPT 4o dari OpenAI terlihat kesulitan menyelesaikan game tersebut.
Namun perlu diperhatikan kalau game yang digunakan tak melangkah di konsol aslinya melainkan melangkah secara emulasi dengan terintegrasi ke GamingAgent, sebuah software yang dikembangkan oleh peneliti di Hao AI.
AI Diberikan Input Dasar Game
Ai diminta selesaikan gameSeluruh model AI yang di uji diminta untuk bergerak, melompat, atau menghindar begitu ada hambatan atau musuh mendekat. Program GamingAgent ini memberikan akses instruksi simpel seperti ini dan input lampau dibentuk dalam kode Python untuk menggerakkan Mario.
Menariknya, AI yang lebih logis seperti ChatGPT 4o malah lebih kesulitan menyelesaikan game ketimbang AI yang tak berpikir kritis. Hal ini disebutkan karena AI tersebut harus “berpikir” sejenak sebelum memberikan jawaban dalam bentuk input. Menyebabkan game tak dapat dimainkan oleh AI tersebut. Gimana menurut kamu?
Dapatkan informasi keren di Gamebrott terkait Tech atau artikel sejenis yang tak kalah seru dari Andi. For further information and other inquiries, you can contact us via author@gamebrott.com.
English (US) · 
Indonesian (ID) ·