Evolusi Indeks Data Blockchain: dari Node ke Layanan Data Seluruh Rantai yang Diberdayakan AI

1 Pendahuluan

Sejak kemunculan dApp pertama pada tahun 2017, hingga kini berbagai aplikasi Blockchain bermunculan, apakah kita pernah berpikir dari mana data yang digunakan oleh dApp ini berasal?

Pada tahun 2024, AI dan Web3 menjadi sorotan. Dalam bidang AI, data ibarat sumber kehidupan. Sama seperti tanaman membutuhkan sinar matahari dan air, sistem AI juga bergantung pada data dalam jumlah besar untuk terus belajar dan berevolusi. Tanpa data, bahkan algoritma AI yang paling canggih pun sulit untuk menunjukkan kecerdasannya yang seharusnya.

Artikel ini akan menganalisis secara mendalam evolusi pengindeksan data dalam proses pengembangan industri dari sudut aksesibilitas data Blockchain, dan membandingkan protokol pengindeksan lama The Graph dengan yang baru muncul Chainbase dan Space and Time, serta membahas persamaan dan perbedaan dua protokol baru yang menggabungkan teknologi AI dalam layanan data dan arsitektur produk.

2 Kerumitan dan Kesederhanaan Indeks Data: Dari Node Blockchain ke Database Seluruh Rantai

2.1 Sumber Data: Blockchain Node

Blockchain dianggap sebagai buku besar terdesentralisasi. Node adalah dasar dari jaringan blockchain, bertanggung jawab untuk mencatat, menyimpan, dan menyebarkan semua data transaksi di chain. Setiap node memiliki salinan lengkap dari data blockchain, mempertahankan karakteristik desentralisasi jaringan. Namun, bagi pengguna biasa, membangun dan memelihara node bukanlah hal yang mudah. Ini tidak hanya memerlukan keterampilan profesional, tetapi juga biaya perangkat keras dan bandwidth yang tinggi. Kemampuan kueri node biasa juga terbatas, tidak dapat memperoleh data dalam format yang dibutuhkan pengembang. Oleh karena itu, meskipun secara teoritis setiap orang dapat menjalankan node, kenyataannya pengguna lebih mengandalkan layanan pihak ketiga.

Untuk mengatasi masalah ini, penyedia node RPC muncul. Mereka bertanggung jawab atas biaya dan pengelolaan node, serta menyediakan data melalui titik akhir RPC. Pengguna dapat mengakses data Blockchain tanpa perlu membangun node sendiri. Titik akhir RPC publik gratis tetapi memiliki batasan kecepatan, yang dapat mempengaruhi pengalaman dApp. Titik akhir RPC privat memiliki kinerja yang lebih baik, tetapi pengambilan data sederhana juga memerlukan banyak komunikasi, yang tidak efisien dan sulit untuk diskalakan. Namun, antarmuka API yang distandarisasi oleh penyedia node menurunkan hambatan akses data, membangun dasar untuk pemrosesan dan aplikasi data selanjutnya.

2.2 Analisis Data: Dari Data Prototipe ke Data yang Dapat Digunakan

Data mentah yang disediakan oleh Node Blockchain biasanya dienkripsi dan dikodekan, menjamin integritas dan keamanan, tetapi juga meningkatkan kesulitan dalam analisis. Bagi pengguna biasa atau pengembang, menangani data ini secara langsung memerlukan banyak pengetahuan teknis dan sumber daya komputasi.

Proses analisis data menjadi sangat penting. Dengan mengubah data prototipe yang rumit menjadi format yang mudah dipahami dan dioperasikan, pengguna dapat memanfaatkan data ini dengan lebih intuitif. Keberhasilan atau kegagalan analisis secara langsung memengaruhi efisiensi aplikasi data Blockchain, dan merupakan langkah kunci dalam seluruh proses pengindeksan.

2.3 Evolusi Pengindeks Data

Seiring dengan meningkatnya jumlah data Blockchain, permintaan untuk indeksator semakin meningkat. Indeksator mengorganisir data di dalam blok dan mengirimkannya ke database untuk keperluan pencarian. Mereka mengindeks data Blockchain, dan membuat data tersedia kapan saja melalui bahasa kueri mirip SQL ( seperti GraphQL API ). Indeksator menyediakan antarmuka kueri yang seragam, memungkinkan pengembang untuk dengan cepat dan akurat mengambil informasi menggunakan bahasa yang terstandarisasi, yang secara signifikan menyederhanakan proses.

Berbagai jenis pengindeks mengoptimalkan cara pengambilan data yang berbeda:

1. Pengindeks Node Lengkap: Menjalankan node blockchain lengkap secara langsung untuk mengekstrak data, memastikan lengkap dan akurat, tetapi memerlukan penyimpanan dan kemampuan pemrosesan yang besar.
2. Pengindeks Ringan: bergantung pada node lengkap untuk mendapatkan data tertentu sesuai permintaan, mengurangi kebutuhan penyimpanan tetapi dapat meningkatkan waktu kueri.
3. Indeks Khusus: Mengoptimalkan pencarian untuk tipe data tertentu atau Blockchain, seperti data NFT atau transaksi DeFi.
4. Pengindeks Agregasi: Mengambil data dari beberapa Blockchain dan sumber, termasuk informasi off-chain, menyediakan antarmuka pencarian yang seragam, cocok untuk dApp multi-chain.

Saat ini, node arsip Ethereum memakan sekitar 13,5TB penyimpanan di klien Geth, dan sekitar 3TB di klien Erigon. Seiring pertumbuhan Blockchain, kebutuhan penyimpanan terus meningkat. Dalam menghadapi jumlah data yang besar, protokol indeks utama mendukung indeks multi-rantai, dan menyesuaikan kerangka analisis data untuk berbagai kebutuhan aplikasi, seperti kerangka "subgraf" dari The Graph.

Indeksator secara signifikan meningkatkan efisiensi pengindeksan dan pencarian data. Dibandingkan dengan titik akhir RPC tradisional, indeksator dapat mengindeks sejumlah besar data dengan efisien dan mendukung pencarian berkecepatan tinggi. Pengguna dapat melakukan pencarian kompleks, dengan mudah memfilter dan menganalisis data. Beberapa indeksator juga mendukung penggabungan sumber data multi-rantai, menghindari penerapan beberapa API untuk dApp multi-rantai. Operasi terdistribusi memberikan keamanan dan kinerja yang lebih baik, mengurangi risiko gangguan yang mungkin ditimbulkan oleh penyedia RPC terpusat.

Indeksator memungkinkan pengguna untuk langsung mendapatkan informasi yang diperlukan tanpa harus menangani data dasar yang kompleks melalui bahasa kueri yang telah ditentukan sebelumnya. Ini secara signifikan meningkatkan efisiensi dan keandalan pengambilan data, merupakan inovasi penting dalam akses data blockchain.

2.4 Database seluruh rantai: menyelaraskan dengan prioritas aliran

Menggunakan node indeks untuk mengquery data biasanya berarti API menjadi satu-satunya cara untuk memproses data di Blockchain. Namun, ketika proyek memasuki tahap ekspansi, seringkali diperlukan sumber data yang lebih fleksibel, dan API yang distandarisasi sulit untuk memenuhi kebutuhan tersebut. Seiring dengan kompleksitas kebutuhan aplikasi, indeksator dasar dan format indeks standarnya semakin sulit untuk memenuhi kebutuhan query yang beragam, seperti pencarian, akses lintas rantai, atau pemetaan data off-chain.

Dalam arsitektur saluran data modern, pendekatan "prioritas aliran" menjadi solusi untuk mengatasi keterbatasan pemrosesan batch tradisional, memungkinkan pengambilan, pemrosesan, dan analisis data secara real-time. Perubahan paradigma ini memungkinkan organisasi untuk segera merespons data yang masuk, menghasilkan wawasan dan keputusan hampir secara real-time. Demikian pula, penyedia layanan data blockchain juga berkembang ke arah membangun aliran data, dengan penyedia layanan indeks tradisional meluncurkan produk aliran data blockchain real-time, seperti Substreams dari The Graph, Mirror dari Goldsky, serta danau data real-time berbasis blockchain seperti Chainbase dan SubSquid.

Layanan ini bertujuan untuk memenuhi kebutuhan pemrosesan transaksi Blockchain secara real-time dan menyediakan kemampuan pencarian yang komprehensif. Seperti halnya arsitektur "prioritas aliran" yang mengubah cara pemrosesan data tradisional dengan mengurangi latensi dan meningkatkan responsivitas, penyedia layanan aliran data Blockchain ini juga berharap untuk mendukung lebih banyak pengembangan aplikasi dan membantu analisis data on-chain dengan sumber data yang lebih canggih dan matang.

Dengan perspektif saluran data modern untuk meninjau tantangan data on-chain, kita dapat melihat potensi pengelolaan, penyimpanan, dan penyediaan data dari sudut pandang yang baru. Ketika kita melihat subgraf dan ETL Ethereum sebagai aliran data alih-alih output akhir, kita dapat membayangkan dunia yang dapat menyesuaikan kumpulan data berkinerja tinggi untuk setiap kasus penggunaan bisnis.

3 AI + Database? Perbandingan Mendalam The Graph, Chainbase, Space and Time

3.1 The Graph

Jaringan The Graph menyediakan layanan indeks dan kueri data multirantai melalui jaringan node terdesentralisasi, memudahkan pengembang untuk mengindeks data blockchain dan membangun aplikasi. Model produk utamanya adalah pasar eksekusi kueri data dan pasar cache indeks data, keduanya melayani kebutuhan kueri pengguna. Pasar eksekusi kueri mengacu pada konsumen yang membayar node indeks yang sesuai untuk data yang dibutuhkan, sementara pasar cache indeks adalah tempat node indeks mengatur sumber daya berdasarkan popularitas sejarah subgraf, biaya kueri, dan kebutuhan kurasi.

Subgraf adalah struktur data dasar dari jaringan The Graph, yang mendefinisikan cara untuk mengekstrak dan mengubah data dari Blockchain menjadi format yang dapat dicari. Siapa pun dapat membuat subgraf, dan beberapa aplikasi dapat menggunakan kembali, meningkatkan keterpakgunaan dan efisiensi data.

Jaringan The Graph terdiri dari empat peran: pengindeks, kurator, delegator, dan pengembang, yang bersama-sama mendukung kebutuhan data aplikasi web3. Tanggung jawab masing-masing peran adalah sebagai berikut:

• Pengindeks: operator node jaringan, berpartisipasi dalam jaringan melalui staking GRT, menyediakan layanan pengindeksan dan pemrosesan kueri.
• Pemberi tugas: Menyetorkan GRT ke Node indeks untuk mendukung operasi, dan menghasilkan sebagian hadiah dari Node yang dipercayakan.
• Kurator: bertanggung jawab untuk sinyal subgraf mana yang harus diindeks terlebih dahulu oleh jaringan, memastikan subgraf yang bernilai diproses.
• Pengembang: Pengguna utama The Graph, membuat dan mengirimkan subgraf ke jaringan, menunggu permintaan data terpenuhi.

Saat ini The Graph telah beralih ke layanan hosting subgraf terdesentralisasi secara penuh, di mana ada insentif ekonomi antara pihak-pihak untuk memastikan sistem beroperasi:

• Node indeks menghasilkan pendapatan dengan memeriksa biaya dan sebagian hadiah blok GRT.
• Pemberi kuasa mendapatkan sebagian hadiah dari node indeks yang didukung.
• Kurator yang memiliki sinyal berharga dapat memperoleh sebagian hadiah dari biaya pencarian.

Produk The Graph berkembang pesat di tengah gelombang AI. Semiotic Labs sebagai salah satu tim pengembang inti, berkomitmen untuk memanfaatkan teknologi AI untuk mengoptimalkan penetapan harga indeks dan pengalaman pencarian pengguna. Alat yang saat ini dikembangkan, AutoAgora, Allocation Optimizer, dan AgentC, telah meningkatkan kinerja ekosistem dalam berbagai aspek:

• AutoAgora memperkenalkan mekanisme penetapan harga dinamis, yang menyesuaikan harga secara real-time berdasarkan volume pencarian dan penggunaan sumber daya, mengoptimalkan strategi penetapan harga, serta memastikan daya saing dan maksimalisasi pendapatan dari pengindeks.
• Allocation Optimizer menyelesaikan masalah alokasi sumber daya subgraf, membantu pengindeks untuk mencapai konfigurasi optimal, meningkatkan pendapatan dan kinerja.
• AgentC memungkinkan pengguna mengakses data Blockchain melalui bahasa alami, meningkatkan pengalaman pengguna.

Aplikasi alat-alat ini membuat The Graph menggabungkan AI untuk lebih meningkatkan kecerdasan sistem dan keramahan pengguna.

3.2 Chainbase

Chainbase adalah jaringan data seluruh Blockchain, mengintegrasikan semua data Blockchain dalam satu platform, memudahkan pengembang untuk membangun dan memelihara aplikasi. Fitur uniknya termasuk:

• Danau data waktu nyata: menyediakan danau data waktu nyata yang dirancang khusus untuk aliran data blockchain, sehingga data yang dihasilkan dapat diakses.
• Arsitektur dual-chain: dibangun di atas lapisan eksekusi Eigenlayer AVS, membentuk arsitektur dual-chain paralel dengan algoritma konsensus CometBFT. Desain ini meningkatkan pemrograman data lintas rantai dan komposabilitas, mendukung throughput tinggi, latensi rendah, dan finalitas, serta meningkatkan keamanan jaringan melalui staking ganda.
• Standar format data inovatif: memperkenalkan standar format data "manuscripts" baru, mengoptimalkan struktur dan penggunaan data di industri kripto.
• Model dunia kripto: menggabungkan teknologi model AI, memanfaatkan sumber data blockchain yang besar, untuk menciptakan model AI yang dapat memahami, memprediksi transaksi blockchain dan berinteraksi dengannya secara efektif. Saat ini telah diluncurkan model versi dasar Theia untuk digunakan oleh publik.

Fitur-fitur ini membuat Chainbase menonjol dalam protokol pengindeksan, dengan penekanan khusus pada aksesibilitas data waktu nyata, format data yang inovatif, serta menciptakan model yang lebih cerdas untuk meningkatkan wawasan melalui penggabungan data on-chain dan off-chain.

Model AI Chainbase Theia adalah kunci yang membedakannya dari protokol layanan data lainnya. Theia didasarkan pada model DORA yang dikembangkan oleh NVIDIA, menggabungkan data on-chain dan off-chain serta aktivitas temporal dan spasial, belajar untuk menganalisis pola kripto, dan membuat respons melalui pemahaman kausal, menggali nilai dan pola potensial dari data on-chain, serta memberikan layanan data yang lebih cerdas kepada pengguna.

Layanan data yang didorong oleh AI menjadikan Chainbase bukan hanya platform layanan data blockchain, tetapi juga penyedia layanan data cerdas yang kompetitif. Melalui sumber daya data yang kuat dan analisis proaktif AI, Chainbase dapat memberikan wawasan data yang lebih luas dan mengoptimalkan proses pengolahan data pengguna.

3.3 Ruang dan Waktu

Space and Time (SxT)致力打造可验证的计算层, dalam memperluas bukti nol pengetahuan di gudang data terdesentralisasi, menyediakan pemrosesan data yang dapat dipercaya untuk kontrak pintar, model bahasa besar, dan perusahaan. Saat ini telah mengamankan pendanaan putaran A sebesar 20 juta dolar AS, dipimpin oleh Framework Ventures, Lightspeed Faction, Arrington Capital, dan Hivemind Capital.

Dalam bidang pengindeksan data dan verifikasi, Space and Time memperkenalkan jalur teknologi inovatif—Proof of SQL. Ini adalah teknologi bukti tanpa pengetahuan yang dikembangkan oleh SxT, yang memastikan bahwa kueri SQL yang dijalankan di gudang data terdesentralisasi tidak dapat diubah dan dapat diverifikasi. Saat menjalankan kueri, Proof of SQL menghasilkan bukti kriptografi yang memverifikasi integritas dan akurasi hasil kueri. Bukti dilampirkan pada hasilnya, dan setiap verifier ( seperti kontrak pintar ) dapat secara independen mengonfirmasi bahwa proses pengolahan data tidak telah diubah. Jaringan blockchain tradisional biasanya bergantung pada mekanisme konsensus untuk memverifikasi keaslian data, sementara Proof of SQL mewujudkan cara verifikasi data yang lebih efisien. Dalam sistem SxT, satu node bertanggung jawab untuk pengambilan data, sementara node lainnya memverifikasi keaslian data melalui teknologi zk. Ini mengubah pemborosan sumber daya dari pengindeksan data berulang oleh banyak node untuk mencapai konsensus di bawah mekanisme konsensus, meningkatkan kinerja keseluruhan sistem. Seiring dengan matangnya teknologi, ini memberikan perhatian pada keandalan data.