Gemini 2.0 - 谷歌推出的原生多模态输入输出 + Agent 为核心的AI模型

Gemini 2.0是什么

Gemini 2.0 是谷歌新推出的原生多模态输入输出 AI 模型。Gemini 2.0 Flash 是 2.0 家族的第一款，围绕多模态输入输出和 Agent 技术来做，速度比 1.5 Pro 快两倍，关键性能指标也超过了 1.5 Pro。模型原生支持工具调用和实时音视频流输入，能给出文本、音频、图像的集成响应，还带多语言音频输出。Gemini 2.0 瞄准的是能自主理解、规划并执行任务的智能助手，谷歌基于 Gemini 2.0 做了 Jules、Colab 数据科学代理等原型，编程、数据分析这些方向的应用潜力露了个头。Gemini 2.0 Flash 及 API 目前免费，走 Google AI Studio 和 Vertex AI 里的 Gemini API 使用，每分钟最多 15 个提问，每天最多 1500 个提问，更多模型尺寸和功能计划明年开放。

Gemini 2.0的主要功能

• 原生多模态输入输出：图像、视频、音频等多种数据类型的输入和输出都支持。
• 增强的性能：关键基准测试里，Gemini 2.0 Flash 的性能超过前代 Gemini 1.5 Pro，速度是 Gemini 1.5 Pro 的两倍。
• 全新的输出模态：文本、音频、图像可以一起响应，多语言的原生音频输出和原生图像输出都在其中。
• 原生工具使用：Google 搜索、代码执行这类工具直接调，自定义的第三方函数也能通过函数调用接进来。
• 多模态实时API：实时音视频流能直接输入，会做语音活动检测，多个工具也能串起来完成复杂任务。
• AI“代理”应用：谷歌正在 Gemini 2.0 上试 AI“代理”，想做出能自主理解、规划和执行任务的助手，Jules（编程助手）、Project Astra（多模态助手）都是例子。

Gemini 2.0的技术原理

• 机器学习和深度学习算法：Gemini 2.0 用的是最新的机器学习和深度学习算法，神经网络的结构和效率都做了改进。
• 自然语言处理（NLP）：自然语言处理这块不弱，Gemini 2.0 理解和生成自然语言都比较顺。
• 定制硬件支持：跑在谷歌定制的第六代 TPU Trillium 上，Gemini 2.0 的训练和推理，100% 的算力都靠它。
• 全栈式AI创新研究：谷歌在全栈式 AI 研究上投了 10 年，Gemini 2.0 在技术前沿的表现也因此比较扎实。

基于Gemini 2.0的AI代理

• Project Astra：
  • 多模态智能体，多语言和混合语言对话都行，不同口音、生僻单词也能听懂。
  • 有了 Gemini 2.0，Project Astra 能调用 Google Search、Google Lens 和 Google Maps。
  • 记忆能力加强，10 分钟的会话内容能记住，服务也能个性化一点。
  • 语音回复的延迟降下来了，理解语言的速度接近真人对话。
• Project Mariner：
  • 一个早期研究原型，人机交互的未来从浏览器开始试。
  • 浏览器页面里的信息能理解也能推理，像素、文本、代码、图像、表单这些元素都算在内。
  • 通过 Chrome 扩展程序，替用户把任务做完。
• Jules：AI 驱动的编码智能体，直接长在 GitHub 工作流里。用户用自然语言说清问题，Jules 生成的代码可以直接合进项目。
• 游戏智能体：
  • 这个智能体建在 Gemini 2.0 上，看屏幕上的实时画面判断局势，再给出行动建议。
  • 目前正和 Supercell 等游戏开发商合作，在《部落冲突》《海岛奇兵》里测这些智能体。

Gemini 2.0的项目地址

• 项目官网：google-deepmind/google-gemini-ai

Gemini 2.0的应用场景

• 网页交互和自动化任务：Gemini 2.0 能读网站、做总结，甚至直接操作网站。用户和网站的交互可以由生成式 AI 系统代劳，比如在超市网站上把购物车建好。
• 编程辅助：Jules 像个 AI 编程伙伴，嵌在 GitHub 里，问题用自然语言说一遍，代码生成出来，一键就能合进原有代码。
• 数据分析和研究：靠 Deep Research 当研究助理，复杂主题一路挖下去，最后写成报告。
• 游戏辅助：Gemini 2.0 能看懂游戏屏幕上的内容，实时给出策略和建议。
• 多语言对话和助手服务：Gemini 2.0 把对话能力又往前推了一步，Google搜索、Lens、地图这些工具都能调，记忆更久，延迟更低，服务也更贴合个人。