蚂蚁集团的 Robbyant 团队发布了 LingBot-VLA 2.0，这是一个面向机器人的视觉-语言-动作（VLA）基础模型。此次发布包含一份技术报告、一个基于 Apache-2.0 协议的开源代码库以及一个 6B 参数的检查点。研究团队针对一个众所周知的差距：VLA 模型往往在实验室中表现良好，但在实际部署中却举步维艰。LingBot-VLA 2.0 沿三个实用维度对先前版本进行了改进，分别是泛化能力、扩展的动作空间以及预测性动力学建模。

什么是 LingBot-VLA 2.0？

LingBot-VLA 2.0 是一个构建在视觉-语言骨干网络上的通用型机器人策略。它将摄像头图像和语言指令转化为机器人动作。公开的模型是 lingbot-vla-v2-6b，一个 6B 参数的“原生深度”检查点。它使用 Qwen3-VL-4B-Instruct 作为视觉语言模型（VLM）骨干网络。两个教师模型，LingBot-Depth 和 DINO-Video，通过知识蒸馏来监督训练过程。

在 NVIDIA GeForce RTX 4090D 上，单次推理调用大约需要 130 毫秒。该测量结果基于 10 步去噪过程。动作专家模块采用了混合专家（MoE）架构以实现扩展。

数据流水线：横跨 20 种配置的 60,000 小时数据

泛化始于数据。研究团队整理了大约 60,000 小时的预训练数据。这包括 50,000 小时的机器人轨迹数据和 10,000 小时的自我中心视角人类视频数据。机器人数据涵盖了 20 种机器人配置，从单臂设备到完整的人形机器人。原始数据池更大：大约有 90,000 小时的机器人数据和 20,000 小时的自我中心视角数据。一个重新设计的流水线对噪声样本进行过滤，最终得到高质量的数据集。

过滤过程明确且可量化。研究团队计算了每种具身形态的三阶加加速度（jerk），以及速度和加速度的 Z 分数。那些平滑度异常或静态信号超过 95% 的片段会被丢弃。视频会根据每个机器人的 URDF 模型与回放的状态进行比对检查。标注人员会去除模糊、遮挡、丢帧以及多视角未对齐的问题。自我中心视角的视频片段会先通过一个 VLM 过滤器，然后再进行自我中心视角的 SLAM 和 MANO 手部姿态重建。

标注通过视觉语言模型实现自动化。Qwen3.6-27B 将每个视频分割为时间上连续的子任务。每个子任务从包含 18 个类别的封闭词汇表中获得一个原子动作。该词汇表包含 15 个基本动作，以及移动、空闲和其他三类。在整个语料库中，移动和转移动作在频率上占主导地位。

统一动作表示

不同机器人拥有不同的关节，因此 LingBot-VLA 2.0 对其进行了统一。它使用一个 55 维的规范向量来表示状态和动作。该布局在数据集中的所有机器人形态上都是固定的。

组件	维度
手臂关节位置	14
末端执行器位姿	14
夹爪位置	2
手部关节位置	12
腰部位置	4
头部位置	2
移动信号	3
保留	4

每个手臂的末端执行器位姿使用 XYZ 坐标加旋转四元数表示，每只手臂共 7 个维度。缺少某个身体部件的机器人只需将相应维度填充为零。这使得单个模型能够控制手臂、手部、夹爪、腰部、头部和移动底盘。

MoE 动作专家模块

动作专家模块将其前馈网络替换为稀疏 MoE 层。每个 MoE 层包含一个共享专家以及若干个路由专家。每个 token 仅激活排名前 K 的路由专家，因此活跃计算量保持有界。每个专家都是一个中间宽度较小的 SwiGLU MLP。

路由策略采用受 DeepSeek-V3 启发的、基于 sigmoid 且无辅助损失的方法。每个专家通过一个偏置项来纠正负载不均衡，而无需添加负载均衡损失。路由置信度仍然来自模型原始的、无偏的亲和度分数。在匹配的活跃参数量下，MoE 模型达到了比密集基线更低的训练损失。同时，它在 GM-100 任务上也达到了更低的验证动作误差。

用于预测动力学的双查询蒸馏

实际执行需要预判，而不仅仅是对当前帧做出反应。LingBot-VLA 2.0 在视觉和文本 token 之后附加了两个可学习的查询。Qt 针对当前观测，而 Qt+T 针对未来观测。时间跨度 T 等于动作块的大小。

两位教师监督这些查询。LingBot-Depth 通过深度预测提供明确的几何线索。DINO-Video 提供基于时间维度的语义先验。DINO-Video 基于 DINOv3 骨干网络构建，采用分块因果时序注意力机制和 3D-RoPE。它在涵盖互联网、第一人称视角和机器人数据的 500 万条视频片段上进行了训练。在 LARYBench 评估中，DINO-Video 在四项指标中的三项上领先。

基准测试结果

Robbyant 在通用场景下的 GM-100（Great March 100）双臂操作基准上评估该模型。一个单一策略在每个实体上针对九个任务进行联合训练。结果以进度得分/成功率的形式报告。

平台	GR00T N1.7	π0.5	LingBot-VLA-1.0	LingBot-VLA-2.0
AgileX Cobot Magic	36.3 / 17.8	59.1 / 32.2	58.2 / 30.0	66.2 / 34.4
Galaxea R1Pro	16.4 / 5.6	27.4 / 8.9	32.7 / 15.6	34.6 / 15.6

在长时程移动操作任务中，该模型在两种设置下进行了测试。域内（ID）使用训练数据分布，而域外（OOD）则扰动姿态和物体。

实体	任务	设置	LingBot-VLA-2.0	π0.5
Astribot S1	冰箱整理	域内	77.1 / 60.0	65.3 / 46.7
Astribot S1	冰箱整理	域外	37.0 / 13.3	30.3 / 6.7
Cobot Magic-ARX X5	炉灶清洁	域内	84.3 / 66.7	79.9 / 60.0
Cobot Magic-ARX X5	炉灶清洁	域外	67.5 / 40.0	62.5 / 33.3

在需要精确物体定位的任务上，性能提升最为显著。在 Agilex 取钥匙链任务中，与 1.0 版本相比，成功率从 60.0 提升至 100.0。部分任务在进度得分和成功率之间仍存在差距。该差距指向最终精确放置或释放步骤的失败。

快速开始

该代码仓库提供了安装、下载和部署脚本。以下示例用于下载已发布的权重。

复制代码

使用其他浏览器

# Environment: Python 3.12, PyTorch 2.8.0, flash-attn 2.8.3
python3 scripts/download_hf_model.py --repo_id robbyant/lingbot-vla-v2-6b --local_dir lingbot-vla

真实机器人部署通过编译后的推理运行策略服务器。

复制代码

使用其他浏览器

export QWEN3VL_PATH=path_to_Qwen3-VL-4B-Instruct
python -m deploy.lingbot_vla_v2_policy \
  --model_path path_to_posttraining_ckpt \
  --use_compile \
  --use_length 25 \
  --port port

后训练使用 LeRobot v2.1 或 v3.0 数据集。提供的示例在 RoboTwin 2.0 上针对 50 个任务进行微调。路由可以使用带 z-loss 的序列级辅助损失，或无损失设置。配置中还提供了 Muon 优化器，默认使用 AdamW。

用例与示例

扩展后的动作空间映射到具体的部署场景。

• 厨房移动操作：Astribot S1 将水果和饮料分类放入冰箱。这需要同时完成底座移动、开门和物体放置。
• 表面清洁：Cobot Magic-ARX X5 用海绵擦掉炉灶上的泡沫。这串联了抓取、擦拭和工具重新定位。
• 双臂打包与分类：GM-100 的任务包括鸡蛋打包、工具打包和积木分类。
• 灵巧手控制：Unitree G1、Fourier GR-2 和 AgiBot A2 使用 12 自由度灵巧手，而非夹爪。

交互式动态讲解器

关键要点

• LingBot-VLA 2.0 在约 6 万小时的数据上进行了预训练——其中包括 5 万小时的机器人轨迹数据（覆盖 20 种配置）以及 1 万小时的第一人称人类视频。
• 一个统一的 55 维标准动作空间将手臂、末端执行器、夹爪、灵巧手、腰部、头部和移动底座整合在一起，因此单个模型即可覆盖全身控制。
• 动作专家模块采用了 token 级无辅助损失的 MoE 架构，在匹配的活跃参数下，其训练损失和验证动作误差均低于密集模型。
• 双查询蒸馏技术引入了由 LingBot-Depth（几何信息）和 DINO-Video（时序动态）监督的当前/未来查询，以实现具备未来感知能力的操作。
• 在 GM-100 通用设定下，它在 AgileX Cobot Magic 上得分为 66.2/34.4，在 Galaxea R1Pro 上得分为 34.6/15.6，均优于 π0.5 和 LingBot-VLA-1.0；并且在域内和域外的长时移动任务上均超越了 π0.5。

---