作者：穆尧
链接：https://www.zhihu.com/question/648487839/answer/3429980398
来源：知乎
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。

在人工智能的发展历程中，OpenAI始终扮演着创新的先锋角色。最近，他们与Figure公司的合作成果尤为引人注目，这一合作将多模态大模型技术成功应用于Figure 01机器人的开发中，为人类与机器的互动开辟了全新的时代。该机器人不仅能够与人类进行深入的对话交流，而且在最近的演示中，其展现出的互动能力令人印象深刻。Figure公司在获得了包括OpenAI在内的多位重量级投资者的支持后，正式发布了Figure 01机器人。这一举措不仅标志着人工智能在具身智能领域的一大步，也展示了其在执行复杂任务方面的能力。Figure 01能够完成如递苹果、收拾塑料袋、归置杯盘等一系列复杂任务，这些任务的完成依赖于多模态大模型和由视觉驱动的transformer结构的policy network。特别值得一提的是，Figure 01的policy network能够以高达200Hz的控制频率输出动作指令，这一成就在业界是极为罕见的。相比之下，谷歌的机器人大模型在控制频率上的最优结果仅为3Hz。如果Figure 01的policy network能够实现从图像输入端到端直接输出到动作，且达到200Hz的控制频率，这无疑是一项令人惊叹的技术突破。Figure 01的核心技术在于其端到端的神经网络框架。机器人通过摄像头和麦克风捕获环境中的图像和声音，这些数据随后被输入到OpenAI的多模态模型中。该模型不仅处理对话记录，还能结合过去的图像数据和对话数据，生成语言响应和执行策略。尤其值得关注的是，Figure 01采用了端到端的视觉到action的transformer网络来执行策略，这种策略能够直接将像素信息映射为动作指令，并以极高的频率生成这些指令，从而实现精准且迅速的响应。