FoxBrain - 鸿海研究院推出的推理大语言模型

FoxBrain是什么

FoxBrain 是鸿海研究院推出的繁体中文大型语言模型（LLM），主打推理能力。它基于 Meta Llama 3.1 架构，70B 参数，重点放在数学和逻辑推理上。训练只花了四周时间，用 120 张 NVIDIA H100 GPU，效率和成本两方面都不吃亏。中文预训练数据由自主技术生成，保证质量，再用 Adaptive Reasoning Reflection 技术把推理能力往上推。落地方向是制造业、供应链管理和智慧决策这些领域，也算给台湾的 AI 技术发展立了个新标杆。

FoxBrain的主要功能

• 数据分析与决策辅助：处理复杂的数据信息，给出做决策时用得上的参考。
• 文书协作：文本可以生成、编辑和优化，写文档省时间。
• 数学与推理解题：数学和逻辑推理是强项，复杂的数学题和逻辑难题解得动。
• 代码生成：辅助生成编程代码，开发环节省点力气。
• 语言风格优化：按台湾繁体中文的语言风格做过优化，本地用户读着顺。

FoxBrain的技术原理

• 基础架构：用 Meta Llama 3.1 架构，70B 参数，语言生成和理解能力比较强。
• 高效训练策略：训练走多节点并行架构，用 120 张 NVIDIA H100 GPU，跑得快也稳。中文预训练数据由自主技术生成，共 98B tokens，覆盖 24 类主题。再用 Adaptive Reasoning Reflection 训练模型的自主推理能力，数学和逻辑推理这块的表现被拉了上去。
• 上下文处理能力：上下文长度支持 128K token，长文本的输入输出都接得住。
• 优化与评估：靠 Continual Pre-Training、Supervised Fine-tuning、RLAIF 这些技术持续调性能，在 TMMLU+ 测试数据集上成绩不错。

FoxBrain的项目地址

• 项目官网：https://www.honhai.com/zh-tw/press-center/press-releases/latest-news/1548

FoxBrain的应用场景

• 智能制造与供应链管理：生产流程可以优化，数据分析和决策支持都在里面，供应链转得更顺，也更智能。
• 智慧教育与学习辅助：学生问数学和逻辑题它能答，也能做学习辅导、生成学习材料。
• 智能办公与文书协作：报告、邮件这类文本自动生成再优化，办公速度和文档质量都能提一点。
• 软件开发与代码生成：帮程序员生成代码片段、给编程建议，软件开发的速度和质量都能受益。
• 智慧城市与数据分析：支持城市数据的分析和处理，提供智能决策参考，城市管理和公共服务往智能化升级时用得上。