Zilliz Ubah Basis Data Vektor Jadi Platform Data Terpadu, Tantang Arsitektur AI yang Masih Terfragmentasi

CLB.my.id - Zilliz, perusahaan di balik Milvus, basis data vektor open source paling banyak diadopsi di dunia dengan lebih dari 44.000 bintang di GitHub dan 100 juta unduhan Docker, hari ini mengumumkan ketersediaan publik preview Zilliz Vector Lakebase. Peluncuran ini menandai evolusi besar dari sekadar basis data vektor menjadi platform data terpadu yang menggabungkan pencarian vektor real-time dengan fondasi data lake native.

Vector Lakebase mempertahankan pencarian vektor real-time Zilliz Cloud sebagai inti, mesin yang sudah dipercaya oleh lebih dari 10.000 perusahaan dan tim AI, termasuk Zillow, OpenEvidence, Exa, Filevine, dan MiniMax. Yang berbeda adalah kemampuannya untuk memperluas fondasi data yang sama ke tiga mode kerja baru: discovery interaktif, analitik batch, dan pencarian langsung di data lake eksternal.

Masalah Fragmentasi yang Dihadapi Tim AI

Banyak organisasi yang menjalankan beban kerja AI menghadapi masalah arsitektur yang sama: data tersebar di banyak sistem. Basis data vektor untuk pencarian real-time, data warehouse untuk analitik, dan data lake untuk penyimpanan skala besar. Setiap sistem memerlukan salinan data sendiri, pipeline ETL yang terpisah, dan tim operasi yang berbeda.

Robert Guo, Vice President of Product di Zilliz dan salah satu arsitek di balik Milvus, menjelaskan bahwa tim meminta cara untuk menyimpan data di satu tempat dan menjalankan beban kerja yang sangat berbeda terhadap data yang sama. Dari memori agen real-time hingga deduplikasi semantik semalam. Vector Lakebase menjawab kebutuhan ini melalui lapisan penyimpanan terpadu yang dibangun di atas Vortex, format terbuka generasi berikutnya yang menyediakan baca acak lebih cepat dan lebih murah dibandingkan Lance dan Parquet.

Arsitektura Storage-Compute yang Terpisah Sepenuhnya

Vector Lakebase dibangun di atas arsitektur storage-compute yang terpisah sepenuhnya. Data hidup dalam Database, yaitu penyimpanan vektor tingkat proyek yang independen dari klaster komputasi mana pun. Tim bisa menyimpan vektor dalam jumlah tak terbatas bersama dengan teks, JSON, label, data geospasial, dan tipe atribut lainnya dalam satu fondasi data logis.

Pendekatan ini memungkinkan setiap beban kerja berjalan terhadap satu salinan data logis yang sama. Pekerjaan on-demand dan batch hanya dikenakan biaya ketika komputasi aktif. Untuk organisasi yang sudah memiliki infrastruktur data lake dan pipeline tata kelola, Vector Lakebase mendukung pemetaan dan pengindeksan data yang sudah ada di Iceberg, Lance, Parquet, atau object storage tanpa memaksa migrasi penuh.

Tiga Mode Akses untuk Setiap Kebutuhan AI

Platform ini menyediakan tiga mode akses yang dioptimalkan untuk skenario berbeda. Real-time Retrieval untuk produksi yang sensitif terhadap latensi, seperti pencarian semantik dan Retrieval-Augmented Generation (RAG) untuk agen AI. Iterative Discovery untuk eksplorasi interaktif dan multi-langkah, seperti pengelompokan dan re-embedding. Serta Batch Analytics untuk penambangan offline dan optimalisasi dataset.

Masing-masing mode berbagi fondasi data yang sama, sehingga tidak perlu menyalin data antar sistem. Perubahan yang dilakukan dalam mode discovery bisa langsung terlihat oleh mode real-time, dan hasil analitik batch bisa dimanfaatkan oleh agen tanpa pipeline tambahan.

Milvus 3.0 dan Format Penyimpanan Vortex

Bersamaan dengan Vector Lakebase, Zilliz juga merilis preview publik Milvus 3.0. Versi terbaru ini memperluas kemampuan basis data vektor ke tumpukan infrastruktur data AI melalui format data terbuka dan integrasi yang lebih luas dengan data lake serta mesin pemrosesan data skala besar.

Fondasi penyimpanan Vector Lakebase dibangun di atas Vortex, format terbuka yang mengungguli Lance dan Parquet dalam kecepatan baca acak. Format ini mendukung indeks yang sadar object storage untuk vektor, BM25, dan JSON, memotong amplifikasi baca hingga lebih dari 90 persen. Backfill skema 100 juta baris biasanya selesai dalam hitungan menit tanpa mengganggu lalu lintas kueri aktif.

Ketersediaan dan Dampak untuk Ekosistem AI Indonesia

Zilliz Vector Lakebase tersedia dalam preview publik di Zilliz Cloud, bersama opsi deployment Serverless, Dedicated, dan BYOC di lebih dari 30 wilayah pada AWS, Google Cloud, dan Microsoft Azure. Pendaftar baru dengan email kerja mendapatkan kredit gratis senilai 100 dolar AS.

Bagi pengembang dan perusahaan di Indonesia yang sedang membangun infrastruktur AI, peluncuran ini menawarkan alternatif menarik. Alih-alih mengelola tiga hingga empat sistem data yang terpisah untuk kebutuhan berbeda, satu platform terpadu bisa mengurangi kompleksitas operasional dan biaya. Terutama bagi startup dan perusahaan yang mengembangkan agen AI, kemampuan untuk menjalankan pencarian real-time dan analitik batch terhadap data yang sama tanpa replikasi bisa mempercepat siklus pengembangan secara signifikan.***