新闻中心

Xiaomi-Robotics-U0 – 小米推出的统一具身合成模型

2026-07-15 新闻中心

Xiaomi-Robotics-U0是什么

Xiaomi-Robotics-U0 是小米推出的 380 亿参数统一具身合成模型,基于世界基础模型持续训练,联合优化文生图、图像编辑、具身场景生成、具身迁移及具身视频生成五大任务。Xiaomi-Robotics-U0 是首个支持跨多种机器人形态的高质量多视角场景生成模型,在具身场景生成与迁移的人工评估中超越 GPT-Image-2.0,在 World Arena 具身视频生成榜单排名第一,将 π0.5 在真实世界操控任务的分布外成功率从 36.9% 提升至 63.2%。

Xiaomi-Robotics-U0

Xiaomi-Robotics-U0的主要功能

  • 文生图生成:支持高质量文本到图像合成,保留基础世界模型的视觉知识。
  • 图像编辑:支持 Any-to-Image 编辑,包括相机控制、时间控制、结构提取等细粒度操作。
  • 具身场景生成:根据机器人形态和场景描述,生成多视角一致的初始观察画面。
  • 具身迁移:在保持多视角一致性和交互动态的前提下,实现跨场景的结构化可控迁移。
  • 具身视频生成:支持零样本多视角具身视频生成,将静态场景合成为时序连贯的操作视频。

Xiaomi-Robotics-U0的技术原理

  • 统一自回归框架:基于 EMU3.5初始化,采用 IBQ Tokenizer 进行 16×16 空间压缩,所有模态统一为离散词表进行 next-token 预测。
  • 联合持续训练:在通用域和具身数据集上统一自回归目标进行持续训练,避免用有限机器人数据导致的泛化能力损失。
  • FlashAR+ 推理加速:引入反对角线并行解码的垂直预测头,结合 vLLM 优化,1024×1024 分辨率图像生成速度提升 82.9 倍。
  • 结构化控制分解:将场景解耦为工作空间、任务对象、无关对象、光照、背景五个独立控制维度,支持可扩展的具身视频增强。
  • 子任务-子目标交错学习:通过 HDBSCAN 聚类对机器人轨迹进行子任务分解,生成交错的图像-文本序列,捕捉长程任务进展和细粒度交互动态。