Databricks Zerobus: Apache Kafka'ya Lakehouse Alternatifi mi?
Özet
Databricks, “Zerobus” adlı yeni hizmetiyle veri akışı alanında devrim yapmaya hazırlanıyor. gRPC, Delta Lake ve Lakehouse mimarisini birleştiren hizmet, gerçek zamanlı veri hatları için Apache Kafka’ya daha basit bir alternatif sunuyor. Temel hedef, operasyonel karmaşıklığı ve platform mühendisliği yükünü önemli ölçüde azaltmak.
Neler Oldu?
Databricks Zerobus hakkında teknik detaylar, “Data Engineering Central” bülteni ve LinkedIn’deki tartışmalar aracılığıyla ortaya çıktı. Zerobus, Kafka gibi ayrı, karmaşık mesaj aracı kümelerini yönetme ihtiyacını ortadan kaldırarak verileri doğrudan Delta Lake’e akışlamak için gRPC arayüzleri kullanıyor.
Neden Önemli?
Akış, geleneksel olarak veri mühendisliğinin en karmaşık disiplinlerinden biri olmuştur. Kafka kümeleri önemli bakım çabası gerektirir. Zerobus, akış ve depolamanın sıkı bir şekilde entegre edildiği “Lakehouse yerel” bir deneyim vaat ediyor. Bu, Databricks’in doğrudan akış altyapısı pazarına girme niyetini gösteriyor.