一个机械臂在桌面上把木块叠起来，试图拼出”Ai2”。据 Seattle Times 报道，4名 Ai2 机器人研究员在西雅图 Lake Union 以北的实验室里注视着这一幕——一个学龄前儿童能轻松完成的事情，机器人却做得笨拙而不稳定。

这个场景浓缩了当前机器人学习领域的核心矛盾：机器人可以在演示视频里叠衣服、分拣零件、处理陌生物体，但正如 Ai2 在其官方博客中所写，”those demonstrations are often rather narrow and don’t explain what a robot has learned or why it fails”——这些演示往往狭窄，既无法解释机器人学到了什么，也无法说明它为何失败。

Ai2 给出的回应是 ToyBlocks，一个围绕桌面机械臂与积木构建的开放仿真框架，也是其 FoundationWorlds 系列的第1个环境。它在2026年11月6日公开发布，附带85336条长时域演示、2个已训练模型和一套评估工具。

演示能力与可解释学习之间的鸿沟

理解 ToyBlocks 的设计动机，需要先理解当前机器人训练的瓶颈。

主流方法是遥操作（teleoperation）：人类远程控制机器人反复完成同一任务，录制轨迹作为训练数据。Ai2 团队成员、多伦多大学访问研究科学家 Florian Shkurti 在接受 Seattle Times 采访时谈到这种传统方法：”We don’t think it’s scalable. And we don’t think it’s the way academia and research should go about this.” 想要多10倍的样本，就要付出多得多的人工工时。

Ai2 博客写道，ToyBlocks 不需要耗时的遥操作就能自动生成演示，研究者可以方便地改变这些训练经验，比如多生成推动或翻转的演示，再在训练时留出的任务上评估表现。

据 Seattle Times 报道，Ai2 研究人员给来自旧金山初创公司 Physical Intelligence 的一个领先机器人 AI 模型提供了1000个仿真示例，任务是将绿色积木叠到红色积木上。在训练时使用的那块桌面区域内测试，成功率接近100%。但把积木移到桌面的另一个区域，机器人几乎全部失败。去年从 NVIDIA 西雅图机器人实验室加入 Ai2 的 Dieter Fox 对 Seattle Times 说：”For a person, this would be trivial.” Seattle Times 对此的概括是：机器人没有学会叠积木，它只学会了在一个特定位置叠积木。

从培养皿到 FoundationWorlds：一种方法论的迁移

Ai2 在博客中提出的核心类比来自实验科学的基本范式：科学家研究复杂系统时，通常从一个小型受控环境开始——培养皿（petri dish）或生态箱（terrarium）——在其中改变条件、观察效果。机器人研究同样需要这样的环境，让研究者能够改变训练数据或模型设计、重复测试、追溯失败原因。

由此，Ai2 提出了 FoundationWorlds 框架。据官方博客定义，每个 FoundationWorld 将3个组件配对：(1) 一个针对特定环境的受控仿真世界；(2) 自动生成任务和训练演示的工具；(3) 测量机器人行为随时间变化的度量指标。这3个组件共同构成一个可以研究具体问题的实验基础设施——比如模型如何随训练数据增加而改进，以及如何最佳地结合高层推理与精确物理控制。

ToyBlocks 是这个框架的第1个实例。Ai2 在博客中明确了 FoundationWorld 的4项设计要求：(1) 逼真的物理和外观；(2) 大规模自动生成任务和演示；(3) 需要推理与灵巧操作相结合的挑战；(4) 对领域内可能任务的广泛覆盖。博客指出，开放式领域需要建模大量物体和交互，无法同时满足这4项要求。ToyBlocks 的窄域范围则使得全部满足成为可能。

MIT 机器人学教授、Walden Robotics 联合创始人兼 CEO Russ Tedrake 在接受 Seattle Times 采访时提供了行业背景：直到最近，许多机器人研究者仍然怀疑仿真数据的质量和数量是否足以支撑有效训练。这一态度在2026年发生了转变——来自 OpenAI 和 Anthropic 的强大新 AI 模型使得按需构建详细仿真场景成为可能。Tedrake 说，长期的怀疑者们”suddenly hiring simulation engineers”。

ToyBlocks 技术架构：从技能生成到演示流水线

ToyBlocks 的环境设定刻意简单：一个仿真机械臂和桌面上的积木。但积木面上印有图片和字母，使得任务从简单的推、翻、叠扩展到搜索、分拣和排列。一个关键设计是：机器人可能需要翻转积木才能看到隐藏面上的字母，然后决定该积木应放在哪里。域随机化（domain randomization）——在不同场景间变化积木大小、桌面高度和其他物理属性——则测试模型对几何变化的泛化能力。

据 Ai2 博客和 Unite.AI 报道，ToyBlocks 的演示生成流水线分为两层：

底层：技能生成。 强化学习（RL）和运动规划在 NVIDIA 的开源框架 Isaac Lab 中训练短时域任务的技能策略。通过试错，这些策略学会非抓取（non-prehensile）技能，比如将积木推过桌面或在不拾起的情况下翻转到另一面。技能训练可以利用特权信息——仿真器可以直接提供但真实机器人无法获取的数值，如积木的精确位置和朝向——从而自动化那些原本需要在物理机器人上进行遥操作的行为。

上层：任务与运动规划。 一个任务与运动规划器（task-and-motion planner）选择并排列技能，生成带标注的演示。据 Unite.AI 报道，Ai2 称数百个规划可以在1个 GPU 上并发执行，速度可达实时性能的24倍。

任务目标以 PDDL（Planning Domain Definition Language）规划规范的形式写在 ToyBlocks 代码库中。这使得评估系统可以对完成度和中间进展进行评分，而无需为每个任务编写定制指标。演示数据以 LeRobot 格式存储。

这套流水线的核心价值在于：研究者可以调整训练数据混合比例（比如增加翻转技能的权重），然后在训练中未出现的任务上评估策略。据 Unite.AI 的表述，这使得数据生成器成为一个实验控制变量（experimental control），而不仅仅是更大数据集的来源。

数据规模与开放模型

据 Unite.AI 报道，ToyBlocks 初始发布包含85336条长时域演示，每条包含约6-12个技能演示（取决于数据集），覆盖近1600小时的机器人执行时间和1.44亿帧。公开数据集使用 Parquet 格式的 LeRobot 数据，采用 ODC-BY 许可证，分为简单、中等和困难3个子集。主代码采用 Apache-2.0 许可证。

Ai2 同时发布了2个模型。据 Unite.AI 报道的模型卡信息：Molmo2-4B-tb 是一个约45亿参数的模型，读取前置摄像头图像和文本目标，生成短期计划、下一步动作和目标点；ManiFlow-tb 拥有3.225亿参数，使用前置和夹爪摄像头图像、机器人状态、任务信息和目标热图来生成动作块（action chunks）。

这种分层策略设计带来了一个重要的诊断能力：分层策略可以在任一层级替换为提供正确计划或动作的 oracle，从而将错误决策与错误运动执行分离开来。失败状态还可以返回数据生成流程，获取新的演示和恢复策略。

实验结论：泛化仍未解决，agent 实验与世界模型揭示新路径

ToyBlocks 发布时附带的实验结果提供了几个关键发现。

空间泛化实验。 据 Unite.AI 报道，实验覆盖了 Stack、Unstack、Flip 和 Rotate 任务，区分了训练范围内的插值（interpolation）与训练范围外的外推（extrapolation）。例如，在工作区的一个区域训练、在另一个区域测试，或在训练中保留特定的堆叠高度。Ai2 报告称，ManiFlow、π0.5 和 MolmoAct 2 尽管经过大规模预训练，初始泛化表现仍然很差。Ai2 在博客中写道：”We believe action model generalization remains far from solved; ToyBlocks provides a valuable testbed for systematically exploring generalization techniques.”

这与前文 Seattle Times 描述的”在一个位置学会叠积木”的现象一致。

Agent 实验。 据 Ai2 博客，团队使用 Claude Opus 5.5 研究了3类任务设定。在经典积木堆叠任务中，该 agent 系统从文本描述出发解决了全部30个任务，从闭环摄像头图像出发同样解决了30/30。在包含最多8个积木的搜索拼写（search-and-spell）场景中，50%的场景缺少所需字母，需要被识别为不可能完成。agent 在63%的案例中正确完成任务或正确识别不可行性；13%的失败源于相似字母混淆，15%源于字母朝向错误。Ai2 博客还指出，当积木上的字母具有语义规律时，agent 能够更快地判定任务不可行。

技能描述学习实验。 据 Ai2 博客，第3组实验允许系统测试意外的技能行为并根据结果编写新的技能描述。Ai2 报告称，这些学习得到的描述将成功率从默认描述的24%提升到63%，超过了人类专家编写描述所达到的36%。

世界模型实验。 据 Ai2 博客，团队还测试了动作条件世界模型（action-conditioned world models）能否预测积木运动和技能执行结果，测试了3类模型：50亿参数的视频预测模型 Wan 2.2、自建物理仿真器的 agent 模型 Astra、潜空间世界模型 LeWM。Ai2 发现 Wan 2.2 在预测积木运动和任务结果方面最为准确；Astra 能较好地跟踪夹爪但在模拟接触时表现不佳；LeWM 速度快且在短交互片段上更准确，但在完整轨迹上会出现漂移。一个引人注目的结果是：从最佳视频生成模型中添加100条模型生成的轨迹（rollouts），可以将策略在未见区域的成功率从19%提升到78%。

物理机器人测试。 这些模型完全在 ToyBlocks 仿真数据上训练，真机测试时没有使用任何真实世界样本（zero-shot）。据 Ai2 博客，真机实验使用 Franka FR3 机械臂搭配 Robotiq 夹爪，在30种场景配置下进行测试，每个场景包含4-10个训练中出现过的积木。ManiFlow 的原子技能成功率在仿真和真实世界中接近（80.0%和81.1%）。分层系统 Molmo 2 + ManiFlow 在仿真中成功率为55.5%（111/200），在真实世界中为50.0%（15/30）。Ai2 指出，这些评估使用的是仿真评估中定义的最简单场景配置（积木字符可见且朝上），且需要更多试验来确认跨任务的统计置信度。据 Unite.AI 报道，ManiFlow 的模型卡记录了同一128个仿真场景的4次运行中成功率在54%到59%之间波动，因为仿真和批量推理并非逐位确定性的。

ToyBlocks 的研究基础设施定位

理解 ToyBlocks 的价值，需要将其放在机器人研究的评估困境中审视。MIT 的 Tedrake 对 Seattle Times 说：”There’s no real way to say, ‘Are my robots better than your robots?’” ToyBlocks 提供了一个标准化的基准，允许研究者逐一改变变量——积木位置、积木大小——来精确定位机器人在哪个环节失败。

Ai2 的团队规模约15人，从 Fox 和另外2人起步。据 Seattle Times 报道，Fox 明确表示：”It’s not just us doing this; we are way too small for that. We need the help from the scientific community.” ToyBlocks 的开放发布策略——代码 Apache-2.0、数据 ODC-BY——正是为了让外部研究者能在完全相同的设置上训练和测试机器人。Fox 在 Seattle Times 采访中还指出：”What really matters is the right kind of diversity in that data.” Ai2 博客举的例子是，研究者可以测试加入旋转和抓放演示能否改善翻转，或者调整工作区内外样本的比例，再在训练时留出的任务上评估这些选择。

从第1个积木世界向前看

Ai2 在博客中明确表示，ToyBlocks 是起点：”Starting with ToyBlocks as our first FoundationWorld, we aim to extend the approach to increasingly complex environments.” Fox 对 Seattle Times 描述了更远的愿景：最终让机器人在虚拟世界中自由探索1个月，观察它自主学到了什么——就像儿童通过玩积木来学习。

据 Unite.AI 报道，Ai2 计划在第2次发布中提供更大的数据集、更多技能和更广泛的基准测试，以及当前版本中缺少的完整集成强化学习训练。更长期的方向包括双臂操作、具有力和触觉感知的灵巧手，以及与非结构化积木堆的交互。

据 Seattle Times 报道，由于近期 AI 的突破，一些机器人研究者希望仿真训练可能带来机器人领域的”ChatGPT-style leap”。Tedrake 的观察提供了行业视角：如果机器人开发的瓶颈从真实世界实验转移到数据和算力，”you can just let it rip.” 而 Fox 在描述仿真引导的机器人训练进展时用了”quite dramatic”一词，但他不愿预测人们”often dream about”的机器人何时到来。

Fox 说，眼下的目标只是为机器人研究打造更好的基础工具，让它建立在”on a more scientific footing”之上。

主题分类：技术突破

参考资料

  1. ToyBlocks: A controlled world for robot learning and evaluation — Ai2 / Hugging Face, 2026-11-06
  2. Ai2 Releases ToyBlocks to Test How Robots Learn and Fail — Unite.AI, 2026-11-06
  3. Why a Seattle AI lab is making robots play with toy blocks — Seattle Times, 2026-11-06