AI Chatbot Kini Bisa Dijalankan dengan Ringan Secara Lokal, Termasuk di Perangkat iPhone

3 tahun yang lalu 83

Seperti yang kita tahu, kebanyakan AI chatbot yang beredar sekarang memerlukan cloud computing. Selain karena menggunakan data yang sangat besar, chatbot ini pun banyak menggunakan kemampuan proses GPU yang tinggi. Maka sering kita mendengar perusahaan besar seperti Tesla, Twitter, dan raksasa besar di Silicon Valley membeli GPU dari NVIDIA.

Diluar dari ChatGPT dan kawan-kawannya, ada juga beberapa AI chatbot dan machine learning yang memang dapat melangkah seluruhnya secara lokal. Hanya saja membutuhkan GPU yang mumpuni serta VRAM yang sangat tinggi. ChatGPT pun sebenarnya dapat melangkah di Raspberry Pi, yang secara teorinya bukan sepenuhnya lokal karena ia tetap mengirim prompt yang dihasilkan ke server untuk diproses.

AI Chatbot Bisa Berjalan Sepenuhnya Secara Lokal Termasuk di iPhone

Membuat puisi dari chatbot

Tapi, bagaimana kalau ada sebuah Large Language Model yang ringan dan dapat dijalankan sepenuhnya secara lokal? Ternyata ada dan proyek tersebut merupakan software open source yang dapat kalian coba dengan gratis.

Large Language Model

Diberi nama MLC LLM (Machine Learning Compilation), sebuah software Large Language Model yang mengambil basis dari LLaMA milik Meta adalah Vicuna-7B-V1.1. LLM ini sudah dilatih sejak Maret hingga April tahun ini. Meskipun dapat melangkah secara lokal, tetap saja fitur dan kemampuan yang ditawari tak dapat sekomplit dan secanggih GPT 3.5.

AI MLC LLM Tersedia untuk Hampir Semua Platform

Tersedia di platform iOS

Proyek ini tersedia untuk Linux, Windows, macOS, dan iOS, sedangkan untuk versi Android belum tersedia untuk saat ini. Developernya juga menyertakan instruksi simpel di situs mereka beserta source code di GitHub.

Untuk sekarang, LLM ini dapat melangkah dengan mulus pada perangkat iOS iPhone yang menggunakan RAM 6GB, sedangkan untuk dibawah itu tetap belum dapat melangkah optimal. Sedangkan untuk penggunaan pada PC Windows, softwarenya dapat melangkah dengan mulus bahkan pada perangkat Intel generasi ke-6 sekalipun.

Karena tetap baru, MLC LLM tetap belum dapat memberikan jawaban yang akurat. Informasi yang diberikan tetap sangat kabur. Kedepannya seiring dengan perkembangan, AI ini akan semakin canggih dan dapat menjawab pertanyaan secara akurat.

Baca juga informasi menarik Gamebrott lainnya terkait Tech atau artikel lainnya dari Andi. For further information and other inquiries, you can contact us via [email protected]