Skip to content

全手触觉仿真与算法展示 ​

从全手触觉仿真到真机操作,了解 Revo 3 的仿真、学习与数据流程。

全手触觉仿真 ​

RevoSim 基于 NVIDIA Isaac Sim,提供双手多模态触觉仿真,包括指尖视触觉图像、深度、标记点位移、六维接触力/力矩与全手压阻响应。可通过 Python API 读取数据,并运行交互演示。

算法演示 ​

演示集合覆盖遥操作、强化学习、模仿学习、触觉、抓取生成与第一视角数据处理,包含真机与仿真场景。每项演示的场景和阶段以其说明为准;安装与复现方法请查阅对应项目。

浏览 Revo 3 算法演示 ↗

动作重定向(真机)
强化学习解魔方(仿真)

仿真、数据与算法流程 ​

以下图表整理自 Revo 3 演示集合。其中“即将推出”表示规划内容,“需授权”表示访问受限;图中的模型和方法用于说明流程,具体可用内容以对应项目的公开说明为准。

THE REVO3 ECOSYSTEM

从仿真到真机

仿真与硬件基础设施
01

仿真基础设施

Real-to-sim-to-real, SysID

RevoSim

全手多模态触觉仿真

仿真基础平台
RevoLab

强化学习任务与 Demo

RevoBench 即将推出

在标准化、确定性的平台上评测触觉

02

机器人基础设施

后训练基础设施与流程

  1. 数据采集

    需授权
    • frame alignment
    • UI
    • storage
  2. 训练

    即将推出
    • ACT
    • pi05
    • FastWAM
    • LingbotVA 2.0
  3. 部署

    即将推出
    • protocol
    • RTC
数据与模型基础设施
03

数据基础设施

第一视角数据处理流程

  1. 第一视角数据

  2. 手部追踪

  3. 动作重定向

    映射到机器人构型

  4. 伪动作数据

  5. 密集语言标注

  6. 数据落盘

04

模型基础设施

分层模型架构

RevoAgent

即将推出
System 2
输入

语言指令

机器人图像状态

  • 场景理解与任务规划
  • 工具调用与技能编排
  • 记忆与上下文学习
  • 闭环检查与重规划

RevoNet

即将推出
System 1
输入

机器人图像

本体感受

  1. Pre-training各类开源模型
  2. Mid-trainingEgo + RevoHuman
  3. Post-training真机数据
System 0
输入

机器人关节角

力与触觉

  • 高频触觉专家
  • 强化学习基础模型
  • HIL-RL
  • DAgger
  • 阻抗控制
  • 导纳控制
  • 位置控制
  • RTC
触觉基础设施
05

触觉基础设施

触觉数据格式与来源

RevoTac

触觉数据格式
视触觉 · 四种模态
  • RGB
  • Depth
  • Marker displacement
  • 六维力/力矩
全掌压阻触觉
  • 归一化压阻响应
  • 空间分布图
仿真数据
  • 基于优化的数据生成
  • RL rollout 数据
  • 遥操生成的抓取数据
  • GPT 直接生成的数据
真机数据
  • 真机遥操数据
  • Policy 部署 rollout 数据
  • 人在闭环的干预数据

RevoSim 的压阻输出是归一化响应,可超过 1,不是以 Pa、N 或电阻值表示的测量结果;六维接触力/力矩的定义见仓库数据说明。

继续开发:RevoLab 强化学习教程 · Revo 3 SDK · 生态与应用总览

帮助