Децентрализация хранения: как далеко мы еще находимся?

Хранение когда-то было одной из популярных ниш в блокчейн-индустрии. Filecoin, как ведущий проект последнего бычьего рынка, достиг рыночной капитализации более 10 миллиардов долларов. Arweave ориентирован на постоянное хранение, его максимальная рыночная капитализация составила 3,5 миллиарда долларов. Но с сомнениями относительно доступности хранения холодных данных, перспективы развития Децентрализация хранения также были под вопросом. Недавнее появление Walrus привлекло новое внимание к давно затихшему направлению хранения, а проект Shelby, запущенный Aptos и Jump Crypto, пытается добиться прорыва в области хранения горячих данных. В этой статье будет рассмотрено развитие четырех проектов: Filecoin, Arweave, Walrus и Shelby, анализируя изменения в нарративе Децентрализация хранения и исследуя его будущее направление.

Filecoin: суть майнинговой монеты под поверхностью хранения

Filecoin является одним из ранних криптовалютных проектов, его направление развития сосредоточено на Децентрализации. Filecoin пытается объединить хранение и Децентрализацию, решая проблему доверия к централизованным поставщикам услуг хранения данных. Однако некоторые компромиссы, сделанные для достижения Децентрализации, стали болевыми точками, которые позже пытались решить другие проекты. Чтобы понять, что Filecoin по своей сути является проектом по добыче монет, необходимо понять ограничения его базовой технологии IPFS в обработке горячих данных.

IPFS:Децентрализация架构的传输瓶颈

IPFS(Межзвездная файловая система) появилась около 2015 года с целью разрушить традиционный протокол HTTP с помощью адресации по содержимому. Однако главная проблема IPFS заключается в крайне медленной скорости получения. В эпоху, когда традиционные сервисы данных достигают отклика на уровне миллисекунд, получение файла через IPFS занимает десятки секунд, что затрудняет его внедрение в практическое применение. За исключением нескольких блокчейн-проектов, IPFS редко используется в традиционных отраслях.

Основной P2P-протокол IPFS в первую очередь подходит для "холодных данных", то есть для статического контента, который редко изменяется. При обработке горячих данных, таких как динамические веб-страницы, онлайн-игры или AI-приложения, P2P-протокол не имеет явных преимуществ по сравнению с традиционными CDN.

Несмотря на то, что IPFS сам по себе не является блокчейном, его ориентированный ациклический граф (DAG) спроектирован так, что он высоко совместим со многими публичными блокчейнами и протоколами Web3, что делает его естественно подходящим в качестве базовой структуры для блокчейна. Поэтому, даже при отсутствии практической ценности, IPFS как базовая структура для повествования о блокчейне уже достаточно. Ранние проекты-клоны могли начать свои грандиозные планы, имея только работающую структуру, но с развитием Filecoin проблемы, вызванные IPFS, также начали препятствовать его продвижению.

Логика монет майнинга под оболочкой хранения

Дизайн IPFS изначально был направлен на то, чтобы пользователи, храня данные, также становились частью сети хранения. Однако в отсутствие экономических стимулов пользователям трудно добровольно использовать эту систему, не говоря уже о том, чтобы стать активными узлами хранения. Это означает, что большинство пользователей просто будут хранить файлы в IPFS, не внося свой вклад в пространство хранения или не храня файлы других. Именно в таком контексте возник Filecoin.

Экономическая модель токенов Filecoin включает три основных роли: пользователи платят за хранение данных; майнеры хранилищ получают вознаграждение токенами за хранение данных пользователей; майнеры извлечения предоставляют данные, когда пользователи их запрашивают, и получают вознаграждение.

Эта модель имеет потенциальное пространство для злоупотреблений. Хранители данных могут заполнять мусорными данными после предоставления пространства для хранения, чтобы получить вознаграждение. Поскольку эти мусорные данные не подлежат извлечению, даже их утрата не вызовет механизм наказания для хранителей данных. Это позволяет хранителям данных удалять мусорные данные и повторять этот процесс. Консенсус на основе доказательства копирования Filecoin может гарантировать, что пользовательские данные не были удалены без ведома, но не может предотвратить заполнение мусорными данными.

Работа Filecoin в значительной степени зависит от постоянных инвестиций майнеров в токеномику, а не от реального спроса конечных пользователей на распределенное хранилище. Несмотря на то что проект продолжает итерации, на текущем этапе построение экосистемы Filecoin больше соответствует "логике майнинг-монет", а не позиционированию проекта хранения, основанному на "приложениях".

Arweave: Успех в долгосрочной стратегии, провал в долгосрочной стратегии

Если целью Filecoin является создание вдохновляющей, доказуемой Децентрализация "облачной базы данных", то Arweave пошел в совершенно другом направлении в области хранения: предоставляя возможность постоянного хранения данных. Arweave не пытается создать распределенную вычислительную платформу, его вся система разворачивается вокруг одной ключевой гипотезы - важные данные должны храниться единожды и оставаться в сети навсегда. Эта крайняя долгосрочность делает Arweave во всем, от механизмов до моделей стимулов, от аппаратных требований до нарративных аспектов, совершенно отличным от Filecoin.

Arweave использует биткойн в качестве объекта изучения, пытаясь постоянно оптимизировать свою сеть постоянного хранения в долгосрочной перспективе, измеряемой годами. Arweave не заботится о маркетинге, не заботится о конкурентах и тенденциях развития рынка. Она просто продолжает двигаться вперед на пути итерации архитектуры сети, даже если никто не интересуется, потому что это суть команды разработчиков Arweave: долгосрочность. Благодаря долгосрочности Arweave пользовалась большой популярностью в прошлом бычьем рынке; и именно из-за долгосрочности, даже упав на дно, Arweave может пережить несколько раундов быков и медведей. Но будет ли у Arweave место в будущем децентрализованном хранении? Ценность существования постоянного хранения может быть доказана только временем.

С момента выпуска версии 1.5 основной сети Arweave и до недавней версии 2.9, несмотря на потерю рыночного внимания, проект продолжает стремиться к тому, чтобы более широкий круг майнеров мог участвовать в сети с минимальными затратами, а также поощрять майнеров максимально хранить данные, что постоянно повышает устойчивость всей сети. Arweave хорошо осознает, что его подход не соответствует рыночным предпочтениям, и выбрал консервативный путь, не поддерживая майнерские сообщества, экосистема полностью застопорилась, осуществляя обновления основной сети с минимальными затратами, при этом постепенно снижая аппаратные требования, не нанося ущерба безопасности сети.

Обзор пути обновления 1.5-2.9

Версия Arweave 1.5 выявила уязвимость, позволяющую майнерам полагаться на стекирование GPU вместо реального хранения для оптимизации шансов на создание блока. Чтобы сдержать эту тенденцию, в версии 1.7 был введен алгоритм RandomX, который ограничивает использование специализированной вычислительной мощности и требует участия универсальных ЦПУ в майнинге, тем самым ослабляя централизацию вычислительной мощности.

В версии 2.0 Arweave использует SPoA, преобразуя доказательство данных в упрощенный путь структуры дерева Меркла, и вводит транзакции формата 2, чтобы уменьшить нагрузку на синхронизацию. Эта архитектура снижает давление на сетевую полосу пропускания, значительно увеличивая кооперативные возможности узлов. Однако некоторые майнеры все еще могут избегать ответственности за хранение реальных данных через стратегию централизованных высокоскоростных хранилищ.

Для исправления этого уклона в версии 2.4 была введена механика SPoRA, которая включает глобальный индекс и медленный хэш-случайный доступ, заставляя майнеров действительно владеть блоками данных для участия в эффективном создании блоков, тем самым ослабляя эффект накопления вычислительной мощности. В результате майнеры начали обращать внимание на скорость доступа к хранилищу, что способствовало применению SSD и устройств с высокой скоростью чтения и записи. В версии 2.6 была введена хэш-цепочка для контроля темпа создания блоков, что сбалансировало предельную эффективность высокопроизводительных устройств и предоставило справедливое пространство для участия малым и средним майнерам.

В последующих версиях будет усилена способность сетевого сотрудничества и разнообразие хранения: 2.7 добавляет механизмы совместной добычи и пула, повышая конкурентоспособность малых шахтеров; 2.8 представляет систему составной упаковки, позволяя устройствам с большой емкостью и низкой скоростью гибко участвовать; 2.9 вводит новый процесс упаковки в формате replica_2_9, значительно повышая эффективность и снижая зависимость от вычислений, завершая замкнутую модель добычи, ориентированную на данные.

В целом, путь обновления Arweave четко демонстрирует его долгосрочную стратегию, ориентированную на хранение: продолжая противостоять тенденции концентрации вычислительной мощности, она постоянно снижает барьеры для участия, обеспечивая возможность долгосрочной работы протокола.

Walrus: Объятия с горячими данными — это хайп или что-то другое?

Дизайн Walrus совершенно отличается от Filecoin и Arweave. Отправной точкой Filecoin является создание системы хранения, которую можно децентрализованно проверять, ценой чего является хранение холодных данных; отправной точкой Arweave является создание онлайновой Александрийской библиотеки, способной навсегда хранить данные, но с недостатком сценариев применения; отправной точкой Walrus является оптимизация затрат на хранение в протоколе горячего хранения данных.

Магическая модификация кода исправления: инновация в затратах или старая идея в новой упаковке?

В отношении проектирования затрат на хранение Walrus считает, что затраты на хранение Filecoin и Arweave неразумны. Последние два используют полностью копируемую архитектуру, основное преимущество которой заключается в том, что каждый узел имеет полную копию, что обеспечивает высокую степень отказоустойчивости и независимости между узлами. Такая архитектура обеспечивает доступность данных в сети даже если часть узлов отключена. Однако это также означает, что системе требуется дублирование для поддержания надежности, что, в свою очередь, увеличивает затраты на хранение. Особенно в дизайне Arweave механизм консенсуса сам по себе поощряет дублирование узлов для повышения безопасности данных. В сравнении, Filecoin более эластичен в контроле затрат, но цена заключается в том, что некоторые низкозатратные хранилища могут подвергаться более высокому риску потери данных. Walrus пытается найти баланс между двумя подходами, его механизм контролирует затраты на дублирование, одновременно усиливая доступность с помощью структурированной избыточности, тем самым устанавливая новый компромисс между доступностью данных и эффективностью затрат.

Redstuff, созданный Walrus, является ключевой технологией для снижения избыточности узлов, он основан на кодировании Reed-Solomon(RS). Кодирование RS - это очень традиционный алгоритм кодирования с исправлением ошибок, который позволяет удваивать набор данных путем добавления избыточных фрагментов, что может быть использовано для восстановления оригинальных данных. От CD-ROM до спутниковой связи и QR-кодов, он часто используется в повседневной жизни.

Коды исправления ошибок позволяют пользователям получить блок, например, размером 1 МБ, а затем "увеличить" его до 2 МБ, где дополнительные 1 МБ называются специальными данными, известными как коды исправления ошибок. Если любой байт в блоке потерян, пользователи могут легко восстановить эти байты с помощью кода. Даже если потерян целый блок размером до 1 МБ, можно восстановить весь блок. Технология позволяет компьютерам считывать все данные с CD-ROM, даже если он поврежден.

В настоящее время наиболее часто используется кодирование Рида-Соломона (RS). Способ реализации заключается в том, чтобы начать с k информационных блоков, построить соответствующий многочлен и оценить его в различных координатах x, чтобы получить закодированные блоки. Используя коды исправления ошибок RS, вероятность случайной выборки потери больших объемов данных очень мала.

Пример: разделите файл на 6 блоков данных и 4 блока проверки, всего 10 частей. Достаточно сохранить любые 6 частей, чтобы полностью восстановить исходные данные.

Преимущества: высокая устойчивость к ошибкам, широко используется в CD/DVD, отказоустойчивых жестких дисковых массивах (RAID), а также в облачных системах хранения (, таких как Azure Storage, Facebook F4).

Недостатки: сложность декодирования, высокие затраты; не подходит для сценариев с частыми изменениями данных. Поэтому обычно используется для восстановления и управления данными в централизованных средах вне цепи.

В условиях Децентрализации, Storj и Sia адаптировали традиционное RS-кодирование для удовлетворения реальных потребностей распределенной сети. Walrus также на этой основе предложил свой вариант - алгоритм кодирования RedStuff, чтобы обеспечить более низкие затраты и более гибкий механизм резервного хранения.

Какова основная особенность Redstuff? Благодаря усовершенствованию алгоритма кодирования с коррекцией ошибок, Walrus может быстро и надежно кодировать неструктурированные блоки данных в меньшие фрагменты, которые распределяются по сети узлов хранения. Даже если потеряно до двух третей фрагментов, оригинальный блок данных можно быстро реконструировать с использованием части фрагментов. Это стало возможным при сохранении коэффициента репликации всего в 4-5 раз.

Таким образом, определение Walrus как легковесного протокола избыточности и восстановления, переработанного вокруг Децентрализация-сценария, является разумным. В отличие от традиционных кодов коррекции ошибок (, таких как Reed-Solomon ), RedStuff больше не стремится к строгой математической согласованности, а вместо этого проводит реалистичные компромиссы с учетом распределения данных, проверки хранения и вычислительных затрат. Эта модель отказывается от механизма немедленного декодирования, требуемого централизованным планированием, и вместо этого использует Proof на блокчейне для проверки того, имеют ли узлы конкретные копии данных, что позволяет адаптироваться к более динамичной и маргинализированной сетевой структуре.

Ядро дизайна RedStuff заключается в разделении данных на два типа: основные срезы и вторичные срезы. Основные срезы используются для восстановления исходных данных, их создание и распределение строго контролируется, порог восстановления составляет f+1, и требуется 2f+1 подписей как подтверждение доступности; вторичные срезы создаются с помощью простых операций, таких как исключающее ИЛИ, и служат для обеспечения устойчивой отказоустойчивости, повышая общую надежность системы.