Ada yang Bikin Tier List AI Paling ‘Halu’ Saat Ini, Siapa yang Menang?

2 tahun yang lalu 76

Sudah dari sekian banyaknya generative AI yang hadir. Beberapa diantaranya seperti ChatGPT lebih terkenal dibanding yang lain. Sisanya juga mungkin baru pertama kali didengar. Namun, menilai dari kepopuleran semata bukan tolok ukur yang bagus untuk sebuah kecerdasan buatan.

Perlu namanya penilaian dari seberapa persis mereka dapat menyediakan konten dan tak melenceng dari permintaan. Untuk itulah, ada yang mencoba mencari tahu, AI mana sih yang paling tak halu dalam memberikan jawaban.

Ada Tier List AI dari Paling Akurat Sampai Paling Halu, Siapa yang Menang?

AI kebingungan

Vectara lewat laman GitHub mereka perlihatkan tier list AI atau Artificial Intelligence apa saja yang paling tak halusinasi dalam memberikan informasi. Seperti yang kita ketahui, LLM atau large language model memang punya kecenderungan berhalusinasi.

Terlebih kalau informasi yang mau ditampilkan itu tak terdapat dalam database mereka dan program tersebut pun menutup celah informasi ini dengan informasi “ngawur” atau tak sesuai fakta.

Informasi dapat ngawur

Dengan banyak pihak yang bergantung pada kecerdasan buatan di bidang krusial seperti kesehatan, pertahanan, industri dan sebagainya, ialah krusial bagi sebuah kecerdasan buatan untuk tetap persis dan tak bertindak ‘halu.’

Metode yang dilakukan Vectara ialah meminta para AI meringkas sebuah tulisan berjumlah 800 kata. Perintah yang diberikan kepada program berikut ialah mereka hanya boleh menjawab berdasarkan data di arsip tersebut. Lalu siapa yang paling tak halu diantara yang lain?

GPT4 Masih Paling Jago, Palm-Chat Paling Halu

AI dari OpenAI juara paling akurat

Berdasarkan tier list disana, yang paling persis ialah GPT4 di 97% yang berarti hanya punya tingkat halusinasi 3% saja. Di bawahnya disusul oleh GPT3.5 di 96,5% dan tingkat halu 3,5%. Posisi 3 dipegang oleh Llama 2 70B dengan akurasi 94,9% dan tingkat halu 5,1%.

Sedangkan paling rendah akurasinya dan tertinggi tingkat halu dipegang oleh Google Palm-Chat. Dimana tingkat keakuratan hanya 72,8% dan tingkat halu tertinggi di 27,2%. Tier list ini juga akan lanjut di-update mengingat perkembangan AI tetap lanjut melangkah dan diperbaiki kedepannya.

Bagaimana menurut kalian brott? Apakah kalian pernah menggunakan AI dan jawaban yang diberikan kadang tak akurat?

Dapatkan informasi keren di Gamebrott terkait Tech atau artikel sejenis yang tak kalah seru dari Andi. For further information and other inquiries, you can contact us via author@gamebrott.com.