GPT-4o – OpenAI最新发布的多模态AI大模型

GPT-4o 是什么

GPT-4o 是 OpenAI 最新推出的一款先进 AI 模型，多模态推理能力很强，语音、文本、视觉信息都吃得下。它能实时响应用户输入，在音频交互里既能检测情绪也能表达情绪，聊起来更自然、更有表现力。设计上刻意提速度、压成本：速度是之前模型的两倍，成本只有一半。多语言处理、音频和视觉理解都是它的强项，安全性也做了加固，交互过程更让人放心。图像这边可以在 ChatGPT 和 Sora 里生成并编辑，用文字指令就能出高质量、逼真的图，还能多轮对话反复修改，一点点把图调到位，一条指令里塞进 10 至 20 个不同物体也处理得了。生成时会结合聊天上下文和知识库，保证多轮出图里角色和元素不跑偏。目前 ChatGPT 的 Plus、Pro、Team 用户和免费用户都能用上。

GPT-4o 的主要功能

• 原生图像生成：GPT-4o 现在能直接在 ChatGPT 和 Sora 里生成、编辑图像，之前的 DALL-E 3 被它取代了。文字指令就能出高质量、逼真的图，还能多轮对话修改，逐步优化。
• 文本内容精准呈现：图里的文字能精确渲染，菜单、邀请函这类带文本的图都做得出来，以往 AI 生图最头疼的文字问题这次解决了。
• 复杂指令的理解与执行：一条指令里包含 10 至 20 个不同物体，GPT-4o 照样处理，其他模型一般卡在 5 至 8 个物体。
• 上下文关联与一致性保持：生成图像时会参考聊天上下文和知识库，多轮生成下来角色和元素保持一致。
• 内容安全：所有生成的图像都带 C2PA 元数据标识，OpenAI 还搭了内部搜索工具来验证内容来源，违反内容政策的图像请求会被拦掉。
• 真人图像限制：生成真人图像管得更严，避免冒出冒犯性内容。
• 多模态交互：文本、语音和视觉信息都能处理，用户输入能接得更宽，实时视频分析也在范围内。
• 实时对话反馈：响应给得很即时，文本对话、语音交互或视频内容分析都能快速反馈。音频输入的平均响应时间只有 320 毫秒，跟人类对话的反应速度差不多。
• 情感识别与模拟：它能识别用户的情绪状态，语音输出里也会模拟相应情绪，听起来更像人和人之间的自然交流。
• 编程代码辅助：编程语言里的代码片段它能分析、理解，帮你看明白代码的功能和逻辑。可以直接用语音向 GPT-4o 提代码问题，它也用语音回，解释代码怎么工作、哪里可能有问题。
• 多语言支持：GPT-4o 支持超过 50 种语言，不同语言环境都覆盖得到，还能做多种语言的实时同声传译，比如把英语口译成意大利语。

GPT-4o 的技术原理

• 自回归模型：和 DALL-E 的扩散模型不一样，GPT-4o 走的是自回归路线，理解和生成图像都更到位。
• 训练数据：为了支撑新的图像功能，OpenAI 用的是公开数据，加上和 Shutterstock 等公司合作拿到的专有数据来训练 GPT-4o。

GPT-4o 的性能表现

• 文本性能评估：GPT-4o 在多语言理解均值（MMLU）基准测试里创下 87.2% 的最高分，GPQA 53.6% 排名第一、MATH 76.6% 排名第一、HumanEval 90.2% 排名第一、MGSM 90.5% 排名第二（略低于 Claude 3 Opus）。常识题上的推理能力和文本处理能力都不弱。
  
• 音频 ASR 性能：GPT-4o 把所有语言的语音识别性能都拉高了一截，比 Whisper-v3 明显更强，资源匮乏的语言提升尤其大。
  
• 音频翻译性能：语音翻译上 GPT-4o 达到新的最先进水平，MLS 基准测试里胜过 Whisper-v3，也超过 Meta 的 SeamlessM4T-v2 和谷歌的 Gemini。
  
• 视觉理解评估：视觉感知基准上 GPT-4o 拿到 SOTA 最先进性能，超过 Gemini 1.0 Ultra、Gemini 1.5 Pro 和 Claude 3 Opus。
  

GPT-4o 与 GPT-4 Turbo 的对比

• 价格：GPT-4o 比 GPT-4 Turbo 便宜 50%，拆开看是输入 5 美元/百万（M）token、输出 15 美元/百万 token。
• 速率限制：GPT-4o 的速率限制是 GPT-4 Turbo 的 5 倍，每分钟最高能处理 1000 万个 token。
• 视觉能力：凡涉及视觉能力的评估和测试，GPT-4o 都比 GPT-4 Turbo 表现更好。
• 多语言支持：非英语语言上 GPT-4o 有改进，比 GPT-4 Turbo 提供更强的性能。

眼下 GPT-4o 的上下文窗口是 128k，知识截止到 2023 年 10 月。

如何使用 GPT-4o

GPT-4o 的文本和图像功能已经开始在 ChatGPT 里逐步上线，用户可以在 ChatGPT 平台免费体验相关功能，只是免费版有使用次数限制。Plus 用户的消息额度比免费用户高 5 倍。

同时，OpenAI 计划在未来几周内推出基于 GPT-4o 的 Voice Mode 新版本，先作为 ChatGPT Plus 的一个 alpha 版本给到 Plus 用户。另外 GPT-4o 也会通过 API 开放给开发者，作为文本和视觉模型使用。开发者可以把 GPT-4o 集成进自己的应用，API 里的 GPT-4o 比 GPT-4 Turbo 更快、更便宜，速率限制也更高。

至于 GPT-4o 的音频和视频功能，OpenAI 还要在未来几周和几个月里继续搭技术基础设施、靠训练把可用性提上去、再把安全性做扎实，之后才发布这些功能，逐步提供给公众。

官方博客的介绍：Hello GPT-4o

GPT-4o 的应用场景

• 创意设计：设计师和艺术家可以快速生成创意图像，创作效率提上来。
• 教育和演示：教育工作者可以拿它做教学材料，科学图表、历史场景重现都行。
• 游戏开发：游戏开发者可以生成游戏资产，角色设计、环境背景都能交给它。