Aya Vision - Cohere 推出多模态、多语言的视觉模型

Aya Vision是什么

Aya Vision 是 Cohere 推出的多模态、多语言视觉模型，主打跨语言的图文理解。它支持 23 种语言，能做图像描述生成、视觉问答、文本翻译、多语言摘要这些任务。模型有两个版本：Aya Vision 32B 和 Aya Vision 8B，一个偏性能，一个偏计算效率。训练时用了合成标注和多语言数据增强，资源有限的情况下也跑得动。

Aya Vision的主要功能

• 图像描述生成：Aya Vision 看图写描述，文字准确也够细，视障人士或者要快速提取图里信息的场景都用得上。
• 视觉问答（VQA）：传一张图，再问一个跟图有关的问题，Aya Vision 会结合画面信息和语言理解给出准确的回答。
• 多语言支持：Aya Vision 支持 23 种主要语言，文本的输入输出都能多语言切换，不管什么语言环境，生成图像描述、回答问题、翻译文本都行得通。
• 文本翻译与摘要生成：Aya Vision 能翻译文本，也能生成简短摘要，关键信息很快就能看到。
• 跨模态理解与生成：Aya Vision 能将视觉信息与语言信息相结合，实现跨模态的交互。例如，可以将图像内容转化为文本描述，或将文本指令转化为视觉搜索结果。

Aya Vision的技术原理

• 多模态架构：Aya Vision 采用模块化架构，包含视觉编码器、视觉语言连接器和语言模型解码器。视觉编码器基于 SigLIP2-patch14-384，负责提取图像特征；视觉语言连接器将图像特征映射到语言模型的嵌入空间，解码器用于生成文本输出。
• 合成标注与数据增强：为了让多语言能力更强，Aya Vision 用合成标注（由 AI 生成的标注）来训练，这些标注经过翻译和重述，把多语言数据的质量抬了上去。模型还用了动态图像分辨率处理和像素混洗下采样，算得更快。
• 两阶段训练过程：Aya Vision 的训练分为两个阶段：视觉语言对齐和监督微调。第一阶段对齐视觉和语言表示，第二阶段则在多模态任务上联合训练连接器和语言模型。
• 高效计算性能：Aya Vision 的参数规模不大（8B 和 32B），却在多个基准测试里超过了更大的模型，比如 Llama-3.2 90B Vision，靠的是高效的训练策略和对计算资源的抠细节。

Aya Vision的项目地址

• 项目官网：Cohere
• HuggingFace模型库：https://huggingface.co/collections/CohereForAI/c4ai-aya-vision

Aya Vision的应用场景

• 教育领域：学生和教师可以用 Aya Vision 更好地理解视觉内容，比如靠图像描述功能，学生能快速了解一件艺术品的风格和来历。
• 内容创作：多语言网站的图像描述可以交给 Aya Vision 生成，页面体验更好。它也能产出创意内容，新闻报道、故事、诗歌都可以。
• 辅助工具：可以给视障人士当辅助工具，用图像描述帮他们理解周围环境。
• 多语言翻译与交流：Aya Vision 支持 23 种语言的翻译和摘要生成，语言不通也能交流。
• 研究与开发：研究人员可以拿它的高效和多语言能力当底子，去探索新的应用场景。