Aiven baru saja merilis hasil benchmark brutal untuk KIP-1150 Diskless Topics, sebuah proposal revolusioner di Apache Kafka yang memindahkan penyimpanan data dari disk lokal (EBS/NVMe) langsung ke Object Storage (S3).
Hasilnya? Biaya infrastruktur anjlok dari ~$3,32 Juta/tahun menjadi ~$288 Ribu/tahun.
🚧 Masalah: Kafka Klasik Itu Mahal
💰 Biaya Replikasi Lintas Zona: Dalam setup standar (3 Availability Zones, Replication Factor=3), lalu lintas data antar zona (Cross-AZ) sangat mahal. Untuk throughput 1 GiB/s, biaya network-nya saja bisa mencapai $3 juta per tahun!
💾 Biaya Disk: Menyimpan data di disk lokal berkecepatan tinggi juga tidak murah, terutama jika retensi datanya jangka panjang.
🛠️ Solusi: Diskless Topics (KIP-1150)
Pendekatan baru ini mengubah cara Kafka bekerja secara fundamental:
☁️ Direct-to-S3: Data tidak lagi disimpan di disk broker, tapi langsung ditulis ke S3. Broker menjadi stateless.
🧠 Metadata Coordinator: Menggunakan metadata store ringan (PostgreSQL) untuk koordinasi state, bukan replikasi data yang berat antar broker.
✅ Findings & Hasil Benchmark
Aiven melakukan pengujian dengan beban kerja nyata (1 GiB/s produce, 3 GiB/s consume, 3 AZ).
📉 Cost Reduction 94%: Menghilangkan biaya replikasi data lintas zona ($3M/thn) dan biaya disk ($222k/thn). Biaya operasional metadata hanya "receh" sekitar $7.800/thn.
⏱️ Latency Trade-off: Ada harga yang harus dibayar. Latensi end-to-end naik menjadi sekitar 1.6 detik (P99) karena harus melakukan hop ke S3. Bandingkan dengan Kafka klasik yang latensinya milidetik.
🖥️ Compute Efficiency: Cluster berjalan sangat santai dengan utilisasi CPU di bawah 30% hanya menggunakan 6 mesin (m8g.4xlarge).
💡 Key Takeaways
⚖️ Bukan Pengganti Total: Diskless Kafka bukan untuk menggantikan Kafka klasik sepenuhnya. Ini adalah opsi tambahan. Gunakan Kafka klasik untuk low-latency, gunakan Diskless untuk high-throughput & hemat biaya.
🔓 Open Source: Benchmark ini dilakukan secara terbuka menggunakan OpenMessaging Benchmark (OMB), jadi siapa pun bisa memverifikasi dan mereproduksi hasilnya.
👇 Diskusi Yuk!
Kalian rela nggak nuker latensi 1 detik demi diskon biaya infrastruktur 90%?
Buat use case apa kira-kira Diskless Kafka ini paling cocok di tempat kalian? (Misal: Logging? Analytics?) Share di bawah! 👇
Sumber:
https://aiven.io/blog/benchmarking-diskless-inkless-topics-part-1
#ApacheKafka #DataStreaming #CloudCost #DevOps #S3 #DataEngineering #SoftwareArchitecture #SystemDesign #OpenSource #KIP1150
