Amazon Nova - 亚马逊推出的全新大模型系列，覆盖文本、图像、视频生成领域

发布于 2024-12-04 · Amazon Nova 是亚马逊云服务（AWS）推出的新一代AI基础模型系列，提供行业领先的性能和成本效益。该系列包括专门处理文本的Amazon Nova Micro、多模态的Amazon Nova Lite 和Amazon Nova Pro，及即将推出的Amazon Nova Premier。除此之外，还有图像生成模型Amazon Nova Canvas 和视频生成模型Amazon Nova Reel。

Amazon Nova是什么

Amazon Nova 是亚马逊云服务（AWS）推出的新一代 AI 基础模型系列，在性能和成本上都有竞争力。系列里有专门处理文本的 Amazon Nova Micro，多模态的 Amazon Nova Lite 和 Amazon Nova Pro，Amazon Nova Premier。图像生成模型Amazon Nova Canvas 和视频生成模型 Amazon Nova Reel。这些模型能理解并生成文本、图像和视频，支持 200 多种语言，客户服务、内容创作、语言翻译等场景都能用。Amazon Nova 通过 Amazon Bedrock 提供，支持定制微调和模型提炼，可以按业务需求做调整。

Amazon Nova的系列模型和主要功能

Amazon Nova Micro：纯文本模型，128k 上下文窗口，延迟最低，响应也最快。

文本处理：只处理文本输入和文本输出。
低延迟响应：响应时间短。
低成本：成本很低，同时能做语言理解、翻译、推理、代码补全、头脑风暴和数学解题。
高速生成：生成速度超过每秒 200 个标记。
多语言支持：支持200多种语言。
微调支持：可以用文本输入做微调。

Amazon Nova Lite：低成本多模态模型，300k 上下文窗口，图像、视频、文本都能快速处理。

多模态处理：图像、视频、文本输入都能快速处理。
广泛的任务适应性：适合交互量大、并发高的应用，尤其是成本敏感的场景。
多语言支持：支持200多种语言。
微调支持：可以用文本、图像和视频输入做微调。

Amazon Nova Pro：多模态模型，300k 上下文窗口，准确度、速度和成本比较均衡，能做视频理解，也能生成创意素材。

多模态模型：准确度、速度和成本三者兼顾。
任务广泛性：视频摘要、问答、数学推理、软件开发，以及需要多步骤工作流的 AI 代理，这些任务都能接。
行业领先速度和成本效率：在文本和视觉智能的基准测试里成绩不错。
多语言支持：支持200多种语言。
微调支持：可以用文本、图像和视频输入做微调。

Amazon Nova Premier：多模态 AI 模型，用来跑复杂推理任务。

处理多种输入：能处理文本、图像和视频输入（不含音频），适合跨文档理解、视觉分析、视频摘要，以及需要多种模态配合的流程。
超长上下文处理：上下文长度最高 100 万 token，超长文档或大型代码库都能处理。
深度上下文理解：需要深度理解上下文的复杂任务，是它的强项。
多步骤规划与执行：能做多步骤规划，并在多个工具和数据源之间执行任务。
协调多智能体协作：可以当监督智能体，协调整个工作流：把复杂任务拆成子任务分给不同的子智能体，最后把结果汇总成一条响应。
作为教师模型：通过 Amazon Bedrock 的模型蒸馏，它可以把能力传给更小的模型（Nova Pro、Lite 或 Micro），做出更小、更快、更便宜的版本。

Amazon Nova Canvas：图像生成模型，能生成也能编辑图片，提供配色和布局控件。内置安全控件，包括用于追溯的水印和限制有害内容生成的内容审核。

图像生成：从文本或图像提示生成图片。
编辑功能：用文本输入就能编辑图像，调色彩方案和布局。
安全和负责任的AI使用：内置了安全和负责任的 AI 使用机制。

Amazon Nova Reel：视频生成模型，可以根据关键词或可选的参考图像生成6秒视频，用户还能调整摄像机运动，生成平移、360 度旋转和缩放效果的视频。

视频生成：从文本和图像生成视频。
自然语言提示：用自然语言提示就能控制视觉风格和节奏，摄像机运动也可以调。
安全和负责任的AI使用：内置了安全和负责任的 AI 使用机制。

Amazon Nova的技术原理

深度学习和神经网络：底层是深度学习架构，主要是变换器（Transformers）模型。它擅长处理序列数据，语言翻译、文本摘要、问答系统这些任务里很常见。
多模态学习：Amazon Nova Lite 和 Amazon Nova Pro 这类多模态模型能处理文本、图像和视频输入，也要能学习和整合不同模态之间的关联信息。
预训练和微调：先在大规模数据集上预训练，让模型学会语言、视觉这些基础能力；再用微调把它调到具体场景或客户数据上。
检索增强生成（Retrieval Augmented Generation, RAG）：用 RAG 把检索和生成结合起来，回答时能带上检索到的信息。
自然语言理解（NLU）：用 NLU 解析自然语言输入，做意图识别、情感分析、实体识别这些事。