Andrej Karpathy baru saja merilis mainan barunya di GitHub: LLM Council. Konsepnya sederhana tapi brilian: Jangan percaya sama satu model aja.
Kalau kamu bingung milih jawaban siapa yang benar antara GPT-5, Claude 4.5, atau Gemini 3, tool ini bikin mereka “berantem” dulu sebelum kasih jawaban ke kamu.
Ini bedahannya:
1. ⚠️ Problem Statement (Masalah)
* Hallucinations: Bahkan model tercanggih pun bisa salah fakta atau “halusinasi” dengan percaya diri.
* Bias & Blindspots: Setiap model punya kelemahan unik. GPT mungkin jago coding, tapi Claude lebih jago nuansa bahasa. Mengandalkan satu model berarti menerima kelemahannya mentah-mentah.
* Lazy Answers: Kadang model malas berpikir dalam (System 2 thinking) kalau tidak dipancing.
2. 🛠️ Metodologi & Solusi
Karpathy membangun “LLM Council”, sebuah aplikasi lokal yang meniru sistem sidang dewan juri:
* Stage 1 (Opini Awal): Pertanyaanmu dikirim ke semua model sekaligus (GPT, Claude, Gemini, Llama, dll via OpenRouter).
* Stage 2 (Peer Review): Ini bagian ajaibnya. Setiap model disuruh menilai dan mengkritik jawaban model lain (secara anonim!). Model A akan bilang “Jawaban Model B kurang akurat di bagian X”.
* Stage 3 (The Chairman): Satu model yang ditunjuk sebagai “Ketua Sidang” (Chairman) akan membaca semua jawaban + semua kritik, lalu merangkum jawaban final terbaik buat kamu.
3. 📈 Findings & Dampak
* ✅ Wisdom of Crowds: Menggabungkan banyak model terbukti meningkatkan akurasi secara drastis (Ensemble Learning). Kesalahan satu model dikoreksi oleh model lain.
* 🧠 Self-Correction: Model ternyata lebih jago menilai (judge) daripada membuat (generate). Dengan fase kritik, kualitas jawaban naik signifikan.
* 🛡️ Trust: Kamu bisa melihat tab “diskusi” mereka untuk tahu kenapa sebuah jawaban dipilih, jadi nggak asal telan.
4. 💡 Key Takeaways
* Collaboration > Competition: Masa depan AI bukan tentang “siapa model terbaik”, tapi bagaimana menggabungkan mereka semua (Orchestration).
* AI as Judge: Menggunakan LLM untuk mengevaluasi LLM lain adalah teknik Quality Assurance paling efektif saat ini.
* Open Architecture: Kamu nggak butuh produk SaaS mahal. Cukup skrip Python dan API key, kamu bisa bangun sistem “Superintelligence” mini di laptop.
💻 How to Use / Install
Ini adalah aplikasi lokal (Python + React). Kamu butuh API Key dari OpenRouter (biar bisa akses banyak model sekaligus).
Prerequisites:
* Python (pake uv lebih cepat)
* Node.js & NPM
Langkah Install:
* Clone Repo:
git clone https://github.com/karpathy/llm-council.git
cd llm-council
* Setup Backend:
# Buat file .env dan isi OPENROUTER_API_KEY=sk-…
uv sync # atau pip install -r requirements.txt
* Setup Frontend:
cd frontend
npm install
* Jalankan:
Jalankan skrip start.sh (Mac/Linux) atau jalanin manual backend & frontend di dua terminal.
Buka http://localhost:5173 dan mulai sidang dewan jurimu! 👨⚖️
🔗 Link Repo:
https://github.com/karpathy/llm-council
#AndrejKarpathy #LLM #ArtificialIntelligence #OpenSource #Python #GenerativeAI #SystemDesign #EnsembleLearning
