Figure机器人专题

[ikaijua]

Figure是第一家将通用人形机器人带入生活的人工智能机器人公司
官网：https://www.figure.ai/

[ikaijua]

2024-03-14 Figure 发布第一个 OpenAI 大模型加持的机器人，能与人全面交流和互动

1. Figure 01的机器人在OpenAI大模型的加持下可以与人类全面对话，并执行各种命令，例如，当演示人员说“想吃东西”时，机器人递上了一个苹果。
2. 演示视频展示了机器人的描述视觉体验、规划未来的行动、反思自己的记忆、口头解释推理过程等功能。机器人可以描述周围环境、做出决策、将模糊的请求转化为适当的行为，并用简单的英语解释自己的操作。
3. 机器人通过将图像和语音输入到OpenAI训练的大型多模态模型中进行处理和回复，通过预训练模型分析对话历史记录。大模型使机器人具有多模态理解、逻辑推理和短期记忆的能力，机器人可以快速形成并执行计划，包括学到的低级双手操作。
4. Figure机器人操作高级AI工程师Corey Lynch介绍了此次Figure 01的技术原理，他们将机器人摄像头中的图像和机载麦克风捕获的语音文本转录输入到由 OpenAI训练的大型多模态模型中，该模型可以理解图像和文本。该模型对整个对话记录进行处理，包括过去的图像，从而获得文本响应，然后通过文本到语音的方式将其回复给人类。此外，该模型负责决定在机器人上运行哪些学习到的闭环行为以完成给定的命令，从而将特定的神经网络权重加载到GPU上并执行策略。
5. Figure公司与OpenAI的合作计划，旨在开发能够取代人类进行体力劳动的人形机器人。
6. Figure公司在最近一轮融资中筹集了6.75亿美元，并获得了微软、OpenAI、英伟达和亚马逊等投资方的支持。

演示视频youtube链接：Figure/Figure Status Update - OpenAI Speech-to-Speech Reasoning
Figure的推文：https://twitter.com/i/status/1767913661253984474
演示视频B站链接：赛文乔伊/机器人的AGI时刻，接入GPT的Figure 01号机诞生

媒体文章：

• 机器之心：OpenAI机器人，一出手就是王炸
• 量子位：OpenAI大模型上身机器人，原速演示炸场!