Pernah mikir gimana caranya bikin AI “ingat” percakapan panjang tanpa bikin context window penuh? Rajan Agarwal melakukan eksperimen gokil: Membiarkan LLM menciptakan metode kompresinya sendiri.
Hasilnya? AI-nya jadi “kreatif” banget demi irit tempat. Ini bedahannya:
1. ⚠️ Problem Statement (Masalah)
* Context is Expensive: Menyimpan ribuan token riwayat chat itu lambat dan mahal (VRAM boros).
* Rangkuman Biasa itu Jelek: Kalau kita suruh AI “tolong rangkum”, seringkali detail penting (angka, tanggal, nama) hilang.
* Soft Tokens: Metode kompresi teknis (vector) seringkali bikin AI “halusinasi” fakta spesifik.
2. 🛠️ Metodologi & Solusi
Rajan melatih model AI dengan sistem Reward & Punishment:
* Tugas: “Kecilkan teks ini se-ekstrem mungkin, TAPI pastikan kamu masih bisa menebak kata selanjutnya dengan benar.”
* Constraint: Hasil kompresi harus tetap berupa teks yang bisa dibaca (token biasa), bukan kode biner aneh.
3. 📈 Findings & Temuan Unik
Saat dipaksa hemat token, AI menemukan “Life Hacks” sendiri:
* 🇨🇳 Pindah ke Mandarin: Model (Qwen 4B) tiba-tiba mengganti kata Inggris ke karakter Mandarin/Kanji! Kenapa? Karena 1 huruf Kanji bisa mewakili makna 1 kata penuh. Jauh lebih padat daripada huruf Latin.
* ✂️ Bahasa Tarzan: Membuang semua kata sambung (the, is, a) dan menggunakan banyak titik koma (😉 untuk memadatkan info.
* 🔢 Angka itu Suci: AI belajar bahwa nama orang dan angka tidak boleh dikompres, jadi dia membiarkannya utuh agar akurasi terjaga.
* Hasil: Ukuran data menyusut 90% (jadi cuma 10% aslinya) tapi pemahaman konteksnya tetap tajam!
4. 💡 Key Takeaways
* Information Density: AI membuktikan bahwa Bahasa Inggris itu boros token. Bahasa dengan densitas tinggi (seperti Mandarin) lebih efisien buat mesin.
* Emergent Intelligence: Kita nggak nyuruh dia belajar bahasa asing, dia nemu sendiri solusinya.
* Future of Agents: Teknik ini bisa jadi kunci buat “Infinite Context” di masa depan—di mana AI menyimpan memori jangka panjang dalam bentuk “kode rahasia” padat, bukan teks mentah.
🔗 Baca Eksperimennya: https://www.rajan.sh/llm-compression
#LLM #ArtificialIntelligence #DataCompression #MachineLearning #TechExperiment #GenerativeAI #RajanAgarwal #CodingLife #NLP