Gemini Robotics On-Device - 谷歌推出的首个本地具身智能模型

Gemini Robotics On-Device是什么

Gemini Robotics On-Device 是谷歌 DeepMind 的视觉-语言-动作（VLA）模型，卖点是不用联网，直接在机器人本体上跑。断网也能干活，拉开袋子、叠衣服这种细活，用自然语言说一声就能做。它支持多种机器人本体部署，响应延迟低，对时延敏感的场合正合适。适应新任务也快，50到100个演示样本就能学会新动作，泛化能力因此显得不错。配套的 Gemini Robotics SDK 也放出来了，开发者评估、部署都有现成工具，成本和风险都低一些。

Gemini Robotics On-Device的主要功能

• 本地离线运行：整个模型都在机器人本地跑，不走云端，网络延迟和连接不稳的问题就不存在了。没网或者信号差的地方，机器人照样能干活。
• 遵循自然语言指令：人说的人话它听得懂，多步骤的复杂指令也能处理，机器人做事才真按人的意图来。
• 完成精细操作任务：人形机器人、工业双臂机器人这些本体都支持。活也挑得细：拉开袋子、叠衣服、给午餐盒拉拉链、抽卡片、倒沙拉酱，工业级的皮带装配也能做。
• 快速适应新任务：VLA 模型的微调功能是谷歌第一次放开。开发者给50到100个演示样本，模型就能接住全新的任务；最难的那些，样本不到100个，成功率也相当可观。
• 跨平台部署：换个机器人平台也能迁过去，比如双臂 Franka FR3 和 Apptronik 的 Apollo 人形机器人，同一个模型不用重写。

Gemini Robotics On-Device的技术原理

• 多模态推理能力：推理能力来自 Gemini 2.0，视觉、语言、动作几种模态能同时处理。看到什么靠视觉输入，要做什么靠语言指令，然后生成动作把活干完。
• 优化的模型架构：为了塞进本地，模型专门做过优化，算力需求压下来，性能没怎么让。机器人设备上推理延迟低，任务能实时跟上。
• 微调功能：这是谷歌第一个能微调的 VLA 模型。给少量演示样本微调一下，模型就能适应新任务、新环境，机器人换活干也就不那么费劲。
• 安全机制：安全这块分两层：语义和物理。Live API 负责拦语义和内容上的问题，避免机器人做危险或者不合适的动作；底层安全关键控制器那一侧管物理层面的约束，动作不越界。

Gemini Robotics On-Device的项目地址

• 项目官网：https://deepmind.google/discover/blog/gemini-robotics-on-device-brings-ai-to-local-robotic-devices/

Gemini Robotics On-Device的应用场景

• 工业制造：产线上的复杂装配，像汽车零部件组装、电子设备的精细安装，都能接手，效率和质量都跟着提。
• 物流仓储：搬货、管库存都能帮，认出货物信息后按指令分类、堆叠，流程顺了，人工出错也少。
• 医疗护理：递手术器械、带康复训练这类活可以分担，护理更精准，医护的负担也轻一些。
• 家庭服务：打扫、整理、照看老人小孩这些家务都能搭手，日子过起来省心。
• 零售服务：商场、超市里可以帮顾客查商品信息、带路找货、搬东西，购物体验会好一些。