Tanggal Berita: 11 Desember 2025
Dalam refleksi akhir kelas pascasarjana "Patterns, Predictions, and Actions" edisi 2025, Profesor Ben Recht mengajukan seruan provokatif: Kita tidak butuh "lebih banyak" riset ML, kita butuh riset yang "berbeda". Berikut adalah arah baru yang ia usulkan.
🚧 Problem Statement: Mitos Distribusi Alami
Recht skeptis terhadap pandangan tradisional yang menganggap data memiliki distribusi alami (data-generating distributions). Ia menantang dogma statistik klasik yang sering kali tidak relevan dengan realitas rekayasa sistem modern.
📉 Misteri Competitive Testing: Salah satu frustrasi terbesar di teori ML adalah ketidakmampuan menjelaskan fenomena empiris yang sangat kuat: grafik linier yang konsisten dalam competitive testing (seperti yang terlihat pada gambar di bawah). Teori konsensus kita memprediksi grafik yang berbeda, namun realitas berkata lain. Ini memalukan bagi bidang keilmuan yang mengaku matang.
💡 Usulan Arah Baru (The Prompts)
Recht menyodorkan beberapa area riset yang ia anggap "seksi" secara intelektual dan krusial secara praktis.
🎲 Design-Based Machine Learning Berhenti berpura-pura bahwa randomness itu alami. Anggaplah semua keacakan sebagai intentional (sengaja dibuat oleh insinyur). Pandangan design-based ini membuka pintu untuk analisis baru, seperti algoritma eksperimen adaptif yang tidak memerlukan perhitungan power statistik yang rumit, dan lebih relevan untuk keputusan tingkat populasi.
🧠 Optimasi "Reasoning" di LLM Recht mengkritik penggunaan Policy Gradient (seperti PPO/XPO) untuk melatih kemampuan "reasoning" LLM. Menurutnya, metode ini sangat tidak efisien. Dalam optimasi, mencapai performa 90-an (endgame) seharusnya adalah bagian yang mudah dan cepat. Ia yakin ada metode optimasi yang jauh lebih sederhana dan efisien untuk menggantikan RL yang boros komputasi saat ini.
🔓 Open Source, Open Corpus LLM Ini adalah "masalah terbuka" terpenting di ML terapan. Tujuannya: Melatih model berperforma tinggi dengan sumber daya komputasi yang jauh lebih rendah (bahkan di satu workstation), menggunakan korpus data yang sepenuhnya terbuka. Ini penting untuk mematahkan narasi "Bitter Lesson" yang mengatakan bahwa kemajuan AI hanya bisa dicapai dengan membakar ribuan GPU.
⚙️ How to Use: Panggilan untuk Peneliti
Jika Anda adalah peneliti atau mahasiswa pascasarjana yang sedang mencari topik tesis, abaikan tren sesaat dan pertimbangkan arah ini:
1️⃣Revisit Teori Dasar: Coba terapkan perspektif design-based (sampling tanpa pengembalian) pada model kompleks Anda, bukan asumsi i.i.d.
2️⃣Optimasi, Bukan RL: Jika Anda ahli optimasi, tantang diri Anda untuk membuat LLM pintar matematika tanpa menggunakan Reinforcement Learning yang berat.
3️⃣Demokratisasi Komputasi: Fokuslah pada algoritma yang memungkinkan pelatihan model state-of-the-art dengan biaya komputasi minimal.
🗝️ Key Takeaways
📉 Fisika Fenomenologis ML Theory saat ini mirip fisika fenomenologis: kita melihat pola kuat di data eksperimen, tapi belum punya hukum dasar yang menjelaskannya. Kita butuh teori yang bisa menjelaskan mengapa grafik competitive testing itu linier.
🚫 Bean Counting Kita terjebak dalam metrical determinism—mengevaluasi segala sesuatu berdasarkan rata-rata pada benchmark. Kita perlu keluar dari mentalitas "penghitung kacang" ini untuk menemukan metrik evaluasi yang lebih bermakna.
💻 Geopolitik GPU Mematahkan mitos bahwa AI butuh data center raksasa bukan hanya soal teknis, tapi juga soal geopolitik. AI yang bisa berjalan di workstation lokal adalah AI yang lebih demokratis dan aman.
💬 Interaksi Pembaca
Apakah Anda setuju dengan Ben Recht bahwa kita terlalu terobsesi mengejar skor benchmark tinggi dengan cara yang "boros" (seperti RL), padahal mungkin ada jalan pintas optimasi yang lebih elegan yang belum kita temukan?
Sumber:
https://www.argmin.net/p/prompts-for-open-problems
#MachineLearning #AIResearch #DesignBasedInference #OpenSourceAI #LLM #OptimizationTheory #BenRecht #AcademicResearch #DeepLearningTheory #FutureOfAI
