LinkedIn baru saja membagikan evolusi infrastruktur Venice, sistem database high-throughput mereka yang kini Open Source.
Mereka berhasil menyederhanakan pengelolaan data masif dengan meninggalkan arsitektur lama yang rumit. Ini ringkasannya:
1. ⚠️ Problem Statement (Masalah)
* Ribetnya Lambda Architecture: Dulu, LinkedIn memisahkan jalur data cepat (streaming) dan lambat (batch).
* Double Work: Engineer harus menulis dan merawat dua codebase berbeda untuk satu tujuan.
* Data Nggak Konsisten: Sering terjadi “Semantic Divergence”, di mana hasil hitungan batch dan real-time beda sedikit. Debugging-nya bikin mumet!
2. 🛠️ Metodologi & Solusi
Solusinya adalah Unified Ingestion Pipeline.
* Satu Jalur: Menghapus redundansi. Penggabungan data dipindahkan langsung ke dalam core penyimpanan Venice.
* Hybrid Stores: Server Venice secara otomatis menggabungkan data historis (dari Hadoop/Spark) dan data baru (dari Kafka) di level storage.
* Leader-Follower: Menggunakan replikasi pintar untuk menjamin urutan pesan tetap valid.
3. 💻 How to Use / Implementation
Karena Venice sudah Open Source, kamu bisa langsung coba arsitektur ini di lokal (Java-based):
* Instalasi & Build:
Pastikan Java 8/11 & Gradle terinstall.
git clone https://github.com/linkedin/venice.git
cd venice
./gradlew build
* Quickstart via Docker:
Gunakan skrip bawaan untuk menjalankan cluster lokal (termasuk Kafka & Zookeeper):
# Di dalam folder repo
python3 automated-testing/system-test/tests/test_venice_parent_child.py
* Basic Client (Java):
Gunakan Thin Client untuk akses data super cepat:
// Contoh Read Data
try (AvroGenericStoreClient<String, Object> client = ClientFactory.getAndStartGenericAvroClient(config)) {
var value = client.get(“user_id_123”).get();
System.out.println(“Data: ” + value);
}
4. 📈 Findings & Hasil
Perubahan arsitektur ini memberikan dampak besar:
* 📉 Operasional Turun: Engineer tidak perlu lagi maintain dua sistem paralel yang melelahkan.
* ⚡ Konsistensi Total: Masalah data “balapan” atau beda nilai hilang sepenuhnya.
* 🚀 Kecepatan: Waktu data availability ke user menjadi jauh lebih cepat dan reliabel.
5. 💡 Key Takeaways
* Simplicity Scales: Arsitektur yang sederhana dan terpadu seringkali lebih unggul daripada arsitektur kompleks seperti Lambda.
* Unified is the Future: Tren modern Big Data adalah menyatukan Batch dan Streaming, bukan memisahkannya.
* Platform Intelligence: Pindahkan kompleksitas dari sisi aplikasi ke sisi storage engine.
🔗 Baca Blog Engineering: https://www.linkedin.com/blog/engineering/infrastructure/evolution-of-the-venice-ingestion-pipeline
🔗 Github Repo: https://github.com/linkedin/venice
#LinkedInEngineering #OpenSource #Venice #DataEngineering #BigData #SystemDesign #Kafka #Java #TechNews
