Tanggal Berita: 9 Desember 2025
Lewis Metcalf dari tim Amp menantang obsesi industri terhadap context window jutaan token. Dengan rilisnya model Opus 4.5 (200k token), ia berargumen bahwa strategi "Short Threads" (utas pendek) justru jauh lebih efektif, murah, dan akurat untuk rekayasa perangkat lunak.
🚧 Problem Statement: Agen yang "Mabuk" Token
Di musim dingin 2025, batas 200.000 token mungkin terdengar kecil dibandingkan model lain yang mencapai jutaan. Namun, Metcalf menyoroti masalah fundamental pada long-context.
😵💫 AI Halusinasi:
Saat Anda memberi makan agen terlalu banyak token, mereka bertindak seperti orang mabuk. Akurasi menurun, mereka mulai berhalusinasi, kehilangan fokus pada instruksi sistem (system prompt), dan hasil koding menjadi kacau.
💸 Biaya Eksponensial:
Utas yang panjang (long threads) sangat mahal. Setiap request mengirim ulang seluruh riwayat token. Selain itu, jeda waktu antar pesan pengguna pada utas panjang sering kali membuat sesi caching kedaluwarsa, memicu biaya komputasi ulang yang boros.
🛠️ Metodologi: Filosofi "Short Threads"
Solusinya bukan memperbesar memori, tapi memecah masalah. Metcalf menyamakan strategi ini dengan prinsip dasar software engineering: memecah tugas besar menjadi fungsi-fungsi kecil.
🧵 Satu Thread, Satu Tugas:
Setiap utas harus memiliki satu tujuan yang terdefinisi dengan jelas. Jangan menumpuk semua riwayat dalam satu tempat.
🔗 Kluster Terkoneksi:
Alih-alih satu "mega-thread" berisi 1 juta token, sebuah fitur (misalnya: Thread Support Command) dibangun menggunakan 13 utas terpisah yang saling terhubung, dengan rata-rata 80k token per utas. Totalnya mungkin sama (1 juta token), tapi terdistribusi secara modular.
⚙️ Workflow: Hidup dalam Utas
Bagaimana cara kerjanya secara praktis dalam pengembangan fitur? Metcalf menjabarkan alur kerjanya dari bawah ke atas:
🏗️ Build & Investigate:
Mulai dengan utas baru untuk implementasi dasar. Jika rumit, buat utas terpisah hanya untuk investigasi kode (context gathering).
🔧 Tweak & Refactor:
Setiap perubahan atau refaktor adalah utas baru. Gunakan tool (seperti read_thread di Amp) untuk menarik konteks spesifik dari utas sebelumnya, bukan menyalin seluruh riwayat.
✅ Review & Validate:
Validasi kode, profiling, atau skrip pengujian sekali pakai (throw-away tests) dilakukan di utas baru yang bersih. Ini mencegah "polusi konteks" dari mempengaruhi logika agen.
🗝️ Key Takeaways
📉 Efisiensi Biaya:
Utas pendek memaksimalkan penggunaan cache window penyedia model (seperti Anthropic) dan menghindari biaya pengiriman token sampah yang tidak relevan.
🎯 Akurasi Tinggi:
Dengan memberikan konteks yang hanya dibutuhkan untuk satu tugas spesifik, agen AI bisa bekerja dengan performa puncak tanpa gangguan (noise).
Menskalakan tugas besar menjadi tumpukan tugas kecil membuat proses coding lebih mudah dipahami manusia (reasoning) dan lebih cepat dieksekusi mesin.
💬 Interaksi Pembaca
Apakah Anda tipe developer yang membiarkan satu sesi ChatGPT berjalan selama berhari-hari sampai AI-nya bingung, atau Anda rajin menekan tombol "New Chat" untuk setiap sub-tugas baru?
Sumber:
https://ampcode.com/200k-tokens-is-plenty
#AICoding #Opus4.5 #ContextWindow #SoftwareEngineering #DevTools #AmpCLI #LLMOptimization #PromptEngineering #DeveloperProductivity #TechOpinion
