Pernah ngalamin pusingnya nge-refresh MV di database analitik? Cuma nambah beberapa baris data, tapi satu partisi (atau bahkan satu tabel) harus dihitung ulang semua. Boros compute & waktu! 😫
Artikel dari Fresha Data Engineering ini membahas fitur revolusioner yang sedang digodok di StarRocks: Incremental View Maintenance (IVM).
Ini bedahannya:
1. ⚠️ Problem Statement (Masalah)
🚧 PCT Limit: StarRocks sebelumnya mengandalkan Partition Change Tracking (PCT). Jika data baru menyentuh 10 partisi berbeda, maka ke-10 partisi itu harus di-refresh total.
💸 Inefisiensi: Granularitas level partisi terlalu kasar. Biaya refresh jadi tidak terprediksi dan berisiko OOM (Out of Memory) pada dataset besar.
🔗 Rigid: Partisi MV harus sejajar dengan tabel dasar. Kurang fleksibel.
2. 🛠️ Metodologi & Solusi
StarRocks memperkenalkan IVM (Incremental View Maintenance) untuk tabel berbasis Apache Iceberg.
⚖️ Proportional Work: Prinsip utamanya adalah "Biaya update harus sebanding dengan jumlah data yang berubah (delta), bukan total data".
⏳ Time-Varying Relations (TVR): Melacak versi snapshot tabel (sebelum vs sesudah) untuk mengisolasi delta perubahan secara presisi.
➕ Combinator Functions: Menggunakan fungsi agregasi cerdas yang bisa menggabungkan state lama dengan delta baru (misal: sum_union) tanpa menghitung ulang dari nol.
3. 📈 Findings & Hasil (Fase 1)
⚡ Efisiensi Drastis: Refresh MV menjadi jauh lebih ringan karena hanya memproses file/baris baru (append-only untuk saat ini).
🧊 Iceberg Synergy: Memanfaatkan metadata snapshot Iceberg untuk mendeteksi perubahan tanpa perlu scan data fisik yang berat.
🛡️ Native Streaming: Kemampuan ini ditanam langsung di engine database. Kita tidak perlu lagi setup infrastruktur streaming terpisah (seperti Flink) hanya untuk menjaga MV tetap fresh.
4. 💡 Key Takeaways
🌉 The Bridge is Built: Batas antara Batch Processing dan Streaming makin kabur. Database modern mulai mengadopsi kemampuan inkremental secara native.
⚙️ Operational Simplicity: Mengurangi kompleksitas operasional (maintenance pipeline Flink/Spark) dengan memindahkan logika refresh ke dalam database.
🔮 Future Proof: Meski saat ini baru mendukung append-only, fondasi ini membuka jalan untuk update/delete yang efisien di masa depan (Iceberg V3).
🔗 Baca Deep Dive Teknisnya: https://medium.com/fresha-data-engineering/starrocks-incremental-mv-a-bridge-over-shifting-ice-759df57bc720
#DataEngineering #StarRocks #ApacheIceberg #MaterializedView #BigData #DatabaseOptimization #OLAP #TechNews
