赤兔Chitu - 清华联合清程极智开源的大模型推理引擎

Chitu是什么

Chitu（赤兔）是清华大学高性能计算研究所和清程极智联合开源的高性能大模型推理引擎，冲着大模型推理阶段成本高、效率低这两个痛点来的。硬件适配能力很强，英伟达多款 GPU 和国产芯片都能跑，不再绑死在某一种硬件上（比如英伟达 Hopper 架构）。性能方面，在A800集群上部署DeepSeek-R1-671B时，和一些国外开源框架比，GPU 用量少了 50%，推理速度还快了 3.15倍。从纯 CPU 到大集群都能部署，什么规模、什么场景的推理需求基本都能接住。

Chitu的主要功能

• 多元算力适配：从最新旗舰到旧款，英伟达好几系列 GPU 都支持，国产芯片也做了优化，不用再依赖英伟达 Hopper 架构。
• 全场景可伸缩：纯 CPU、单块 GPU、大规模集群这几种部署方式，赤兔都支持，方案能弹性伸缩，各种规模、各种场景的推理需求都照顾得到。
• 低延迟优化：碰到金融风控这类对延迟敏感的场景，把推理速度再往上提，响应时间压得更短。
• 高吞吐优化：智能客服这类高并发场景下，同一时间段里能处理更多请求。
• 小显存优化：把单卡显存占用压下来，企业花更少的硬件本钱，就能换来更高的推理性能。
• 长期稳定运行：能直接上生产环境，稳定性扛得住并发的业务流量。
• 开箱即用：清程极智还推出了基于赤兔的推理一体机，买回来就能部署，附带专业运维服务，企业把 AI 落地能省不少事。

Chitu的技术原理

• 底层技术革新：靠底层技术革新，赤兔第一次让 FP8 精度模型在非英伟达 Hopper 架构的 GPU 和各种国产芯片上原生跑起来，也把过去 FP8 模型只能吃英伟达 H 系列高端 GPU 的局面给破了，企业能在更多类型的硬件上高效部署大模型。
• 算子级优化：赤兔在 GeMM、MoE 这些关键算子上做了指令级优化，直接拿 FP8 数据来算，而不是简单量化一下。模型精度不掉，推理速度还快了不少。在 A800 集群的测试里，和一些国外开源框架比，赤兔 GPU 用量少了 50%，推理速度还能有 3.15倍 的提升。
• 全场景性能优化：低延迟、高吞吐、小显存这几类优化赤兔都支持，换了硬件配置、换了系统环境，也能按场景给出合适的方案。赤兔还会看系统资源的状况，在 GPU 利用率、内存效率和网络传输之间找个比较划算的平衡点。
• 并行计算与编译优化：赤兔背后是清华大学团队多年攒下的并行计算和编译优化工夫。靠着智能编译，高性能算子开发得快，不用太久就能针对不同硬件架构做好优化。

Chitu的项目地址

• Github仓库：https://github.com/thu-pacman/chitu

Chitu的应用场景

• 风险识别与预警：赤兔能快速啃下海量交易数据，实时盯着潜在风险、提前预警，金融机构做风险管理也能省力些。
• 智能客服与客户体验优化：靠大模型搭的知识库，客户的询问能很快得到回应，服务体验也能上去。
• 疾病诊断辅助：赤兔能快速处理医疗数据，把疾病诊断的速度和准确率都提上去，患者看病体验也能好一些。
• 交通流量优化：赤兔能实时处理交通数据、疏导车流，城市堵车的状况能缓和一些。
• 科研数据分析：赤兔处理科研数据效率挺高，能推着科研进展得更快。