图书馆的女友未增删带翻译樱,
以下为演讲实录：
各人下昼好，，，，， ，我是来自光轮智能的张建伟，，，，， ，今天和各人分享的主题是《合成数据加速具身智能进入物理天下》。 。今天下昼也听了各人的分享，，，，， ，有做本体，，，，， ，有做模子的，，，，， ，可是各人提到更多的照旧数据方面，，，，， ，虽然也有做真实数据收罗的。 。
我们做的相对较量聚焦，，，，， ，主要在合成数据领域。 。
我今天的分享聚焦两个点：
第一部分，，，，， ，我们关于合成数据的认知。 。
第二部分，，，，， ，介绍一下我们在做的一些事。 。
首先看AI的生长，，，，， ，我们视察到两个趋势：
一是AI正以多模浚 ？榈姆椒ㄍ说蕉似蛏，，，，， ，包括大语言模子、自动驾驶，，，，， ，也包括具身VLA领域。 。所谓端到端，，，，， ，就是用更多的神经网络替换更多模浚 ？，，，，， ，好比在自动驾驶领域——我之前也做智驾这一块——端到端的泛起，，，，， ，让我们看到自动驾驶领域中，，，，， ，之前的感知、展望、妄想多模浚 ？榧芄，，，，， ，正通过整体的端到端网络做替换。 。具身智能接纳VLA的网络架构，，，，， ，实质上也是端到端的架构。 。端到端的泛起意味着我们需要更多高质量数据来提升AI整体性能。 。
二是Transformer网络模子的泛起及普遍应用，，，，， ，让我们看到AI正在往“以数据为中心”的偏向生长，，，，， ，数据质量的优劣决议了AI的性能优劣。 。以是在这两个趋势下，，，，， ，我们可以说今天的AI时代着实是以数据为中心的时代。 。
回到今天的话题，，，，， ，我们以为，，，，， ，具身智能的数据需求会是自动驾驶和大语言模子的1000倍。 。首先，，，，， ，前面也有嘉宾提到具身数据较量特殊，，，，， ，需求量大，，，，， ，由于今天的具身智能希望机械人能走进千家万户，，，，， ，应用到差别场景，，，，， ，好比工业场景、居家场景、商超场景。 。差别场景下，，，，， ，需要具身智能有更好的泛化性，，，，， ，这就需要更多更富厚的数据，，，，， ，以是数据需求量会比自动驾驶和大语言模子高三个数目级。 。
第二，，，，， ，具身数据更强调物理交互。 。好比大语言模子可能是文本，，，，， ，VLM模子可能是文本+视觉，，，，， ，自动驾驶可能多了激光雷达和毫米波雷达，，，，， ，而具身智能更多关注与物理天下的交互，，，，， ，包括机械人的运动轨迹、力的反响，，，，， ，前面也有嘉宾提到力学传感器。 。实质上我们希望具身智能能真实感受物理天下，，，，， ，以是对数据有更强的物理交互要求。 。
第三，，，，， ，由于具身智能有差别形态——机械狗、人形机械人、机械臂，，，，， ，人形机械人又分轮式、双足等差别形态——具身智能所需的数据自己也是异构的，，，，， ，很难有统一标品化的机械人应用到差别场景，，，，， ，因此数据需求也是异构的。 。
这是具身智能的数据的“数据金字塔”：底层希望使用海量互联网数据，，，，， ，实质是让模子对物理天下有基本认知 ；；；；；最上层希望通过真实天下的数据做微调，，，，， ，让具身算法落地到详细应用场景。 。真实数据的优势顾名思义是真实，，，，， ，但收罗本钱高、效 率低。 。不但要解决人工遥操问题，，，，， ，还要解决场景搭建及本体采购或制作问题，，，，， ，因此真实数据的收罗本钱很高。 。
中心一层是合成数据，，，，， ，它的优势是理论上只要有足够多的GPU算力，，，，， ，就可以提供无限量的数据。 。由于合成数据在仿真情形下天生，，，，， ，以是泛化能力更强。 。因此，，，，， ，合成数据不但能提供足量数据，，，，， ，也能提供高泛化性数据。 。但合成数据也有问题，，，，， ，保存仿真与真实天下的“DomainGap”。 。以是若是我们能通过手艺手段一直缩小合成数据的“DomainGap”，，，，， ，就能赋能具身智能的生长。 。我以为“Sim2Real”不是非0即1的问题，，，，， ，而是可以通过手艺手段一直缩小差别的问题。 。
第二点认知是，，，，， ，我们不以为不保存合成数据的“永念头”，，，，， ，AGI的生长需要人类的树模数据。 。
这一点可以类比大语言模子和自动驾驶：大语言模子如GPT的后训练阶段有不少RLHF数据，，，，， ，这些数据的提供者是OpenAI从各行业找来的专家（好比数学博士、物理学博士、医生），，，，， ，他们提供高质量语料库，，，，， ，进一步提升大模子性能 ；；；；；自动驾驶领域，，，，， ，端到端泛起后需要“五星司机”的高质量驾驶数据，，，，， ，以提升自动驾驶算法的类人化能力。 。因此我们从大语言模子和自动驾驶中获得启发：它们的生长需要“人在环”提供高质量数据。 。具身智能我们以为也是类似的，，，，， ，包括前面提到的遥操收罗数据，，，，， ，无论是在真实天下照旧仿真中收罗，，，，， ，实质上都需要有人在环树模。 。好比我们会树模怎样教具身智能叠衣服、炒菜或做详细使命，，，，， ，这些数据着实泉源于人的树模。 。
整体上我们以为，，，，， ，具身智能的合成数据需要“人在环”的高质量树模，，，，， ，连系仿真情形的能力，，，，， ，提供更泛化的数据，，，，， ，以此放大人类操作数据的价值。 。
接下来介绍我们在做的事。 。我们公司叫光轮智能，，，，， ，是一家以仿真手艺驱动，，，，， ，从具身场景切入，，，，， ，提供视觉和物理天下“人在环”高质量合成数据的企业，，，，， ，希望通过合成数据放大人类对物理天下的树模价值。 。公司建设于2023年2月，，，，， ，是一家首创公司，，，，， ，卡卡湾厅愿景是成为具身领域的ScaleAI。 。
现在卡卡湾厅产品形态包括：高质量3D资产：这是仿真中收罗数据的原质料，，，，， ，包括资产、可泛化场景等。 。遥操工具链：适配差别硬件，，，，， ，且遥操链路在仿真中买通。 。强化学习平台：具身智能后训练阶段会用到，，，，， ，强化学习需要用GPU算力换取数据，，，，， ，因此需要大规模拟真。 。我们提供的强化学习训练平台，，，，， ，同时我们自己也会用强化学习来验证场景和资产。 。现在我们效劳的客户包括海内外头部具身智能公司、一些主机厂和顶尖高校。 。
下面快速展示产品Demo：
第一个场景是冰箱资产。 。仿真中常见“看起来真实”的冰箱，，，，， ，而我们做的冰箱在视觉、交互及物理力学反响上都足够真实。 。我们会对其举行物理层面的力学建模，，，，， ，好比左边示例中，，，，， ，冰箱门开启角度差别，，，，， ，反响的力巨细差别，，，，， ，这些力的巨细是与真实冰箱对标收罗的 ；；；；；右边Demo中冰箱抽屉的阻尼力反响。 。这些能资助具身智能收罗力的相关数据信息。 。
第二个Demo是农业场景的例子，，，，， ，源于客户的真实需求：需要高质量、可泛化的草莓（支持巨细、颜色、差别成熟期的泛化），，，，， ，且场景需用于强化学习训练，，，，， ，因此这些草莓能被实操，，，，， ，供机械臂举行强化学习训练。 。我们不但在视觉层面做了优化，，，，， ，也在物理及交互层面做了研发。 。
有了资产后，，，，， ，下一步是搭建场景，，，，， ，场景与真实天下的应用场景相关。 。好比针对客户需求，，，，， ，我们会制作厨房、商超、工业、医学（如人体内脏）等场景资产。 。
前面提到仿真可以泛化，，，，， ，我们不但能在资产类型、光照上泛化，，，，， ，也能在结构层面泛化。 。好比商超场景中，，，，， ，资产自己及摆放都可泛化，，，，， ，且这内里的每个资产都能自力举行物理交互。 。
有了这样的场景，，，，， ，就可以在仿真情形下举行遥操数据收罗。 。由于差别机械人和数据需求差别，，，，， ，我们适配了差别遥操本体，，，，， ，包括基于VR、机械臂、4D鼠标的遥操方法。 。同时，，，，， ，基于VR的遥操保存一个问题：VR眼镜遮挡会导致灵巧手遥操装备看不到手指，，，，， ，影响遥操精准度。 。我们通过算法优化解决了这个问题——用多个相机收罗数据，，，，， ，让灵巧手的位姿预计更精准。 。左边示例中，，，，， ，苹果很难通过遥操抓取，，，，， ，而经由算法优化后，，，，， ，遥操员可以轻松抓起苹果举行数据收罗。 。
最后分享一个案例：我们在仿真中收罗数据，，，，， ，微调英伟达的GR00TN1基础模子，，，，， ，并实地安排到真机的效果。 。左边是人工在仿真情形下举行遥操数据收罗，，，，， ，以及泛化仿真情形所收罗的合成数据 ；；；；；右边是将用合成数据微调后的GR00TN1安排到宇树的H1上，，，，， ，落地到工厂场景的应用。 。
别的，，，，， ，我们做的工具和资产也部分孝顺给了开源社区，，，，， ，包括前面提到的场景和铰链资产，，，，， ，其中有我们开源的高质量厨房场景，，，，， ，也包括基于HuggingFace宣布的机械人LeRobot，，，，， ，在仿真中收罗数据、微调机械臂并最终实现真机安排，，，，， ，还包括仿真资产名堂互转的相关插件。 。
若是各人对合成数据感兴趣，，，，， ，接待联系卡卡湾厅进一步交流相助。 。谢谢！
新浪声明：所有聚会实录均为现场速记整理，，，，， ，未经演讲者审阅，，，，， ，新浪网刊登此文出于转达更多信息之目的，，，，， ，并不料味着赞许其看法或证实其形貌。 。
责任编辑：李思阳