OPML: 打造高效链上AI框架 超越ZKML的创新方案

robot
摘要生成中

OPML:基于乐观方法的机器学习框架

我们提出了一种名为OPML(Optimistic机器学习)的新型框架,它能够在区块链系统上高效执行AI模型的推理和训练。与ZKML相比,OPML具有更低的成本和更高的效率。OPML的硬件要求非常低,普通PC无需GPU即可运行包含7B-LLaMA等大型语言模型在内的OPML任务。

OPML采用验证游戏机制来确保ML服务的去中心化和可验证性。其流程如下:

  1. 用户发起ML服务请求
  2. 服务器完成任务并将结果提交到链上
  3. 验证者检查结果,如有异议则启动验证游戏
  4. 通过二分协议定位具体错误步骤
  5. 最后由智能合约进行单步仲裁

OPML:采用Optimistic Rollup系统的机器学习

单阶段验证游戏

单阶段OPML的关键点包括:

  • 构建用于链下执行和链上仲裁的虚拟机(VM)
  • 实现专门的轻量级DNN库,提高AI推理效率
  • 使用交叉编译技术将AI推理代码编译为VM指令
  • 采用默克尔树管理VM镜像,只上传根哈希到链上

在基本测试中,我们能在2秒内完成DNN推理,整个挑战过程可在2分钟内完成。

OPML:采用Optimistic Rollup系统的机器学习

多阶段验证游戏

为克服单阶段方案的局限性,我们提出了多阶段验证游戏:

  • 只在最后阶段在VM中计算,其他阶段可灵活执行
  • 充分利用GPU/TPU加速和并行处理
  • 显著提高执行性能,接近本地环境水平
  • 采用默克尔树确保阶段间转换的完整性和安全性

以LLaMA模型为例,我们采用两阶段OPML方法:

  • 第二阶段在计算图上进行验证博弈,可使用GPU加速
  • 第一阶段将单个节点计算转换为VM指令

多阶段方法相比单阶段可实现α倍的计算加速,同时大幅减小默克尔树大小。

OPML:采用Optimistic Rollup系统的机器学习

OPML:采用Optimistic Rollup系统的机器学习

一致性与确定性

为确保ML结果的一致性,我们采取了以下措施:

  1. 使用定点算法(量化技术)减少浮点误差影响
  2. 采用跨平台一致的软件浮点库

这些技术有效克服了浮点变量和平台差异带来的挑战,增强了OPML计算的可靠性。

OPML仍在持续开发中。我们欢迎对该项目感兴趣的人士加入,为OPML的发展做出贡献。

OPML:采用Optimistic Rollup系统的机器学习

此页面可能包含第三方内容,仅供参考(非陈述/保证),不应被视为 Gate 认可其观点表述,也不得被视为财务或专业建议。详见声明
  • 赞赏
  • 7
  • 转发
  • 分享
评论
0/400
GateUser-ccc36bc5vip
· 3小时前
哦哦 gpu都省了
回复0
DeadTrades_Walkingvip
· 20小时前
验证游戏玩起来~就是个玩服务器躲猫猫的游戏
回复0
空投猎手007vip
· 20小时前
诶 这不就GPU矿工的春天
回复0
费率殉道者vip
· 20小时前
白菜价跑LLaMa?牛哇
回复0
无常损失资深哲学家vip
· 20小时前
链上ai真要来了
回复0
链上数据侦探vip
· 20小时前
又一个"去中心化"的黑箱...谁来监控验证者的暗箱操作?0.618的资金转移都可疑
回复0
假装在读白皮书vip
· 20小时前
都说跟不上时代 硬件也不行 啥时能搞个GPU啊
回复0
交易,随时随地
qrCode
扫码下载 Gate APP
社群列表
简体中文
  • 简体中文
  • English
  • Tiếng Việt
  • 繁體中文
  • Español
  • Русский
  • Français (Afrique)
  • Português (Portugal)
  • Bahasa Indonesia
  • 日本語
  • بالعربية
  • Українська
  • Português (Brasil)