Startlux-Decision – StartLux Labs 开源的决策模型家族

Startlux-Decision是什么

StartLux-Decision 是 StartLux Labs 推出的决策模型家族，包含 0.8B 到 27B 的五个稠密模型，外加一个 35B-A3B 混合专家模型。它接收文本、JSON 或图片形态的状态，针对选择、是非、评分这类问题，单次前向推理就返回每个选项的概率，可以直接当置信度用。模型原生支持 256K token 长上下文，延迟是毫秒级的，还兼容 Jev 的 TypeSafe 客户端格式。

Startlux-Decision的主要功能

• 类型化决策：选择题、是非题、评分题三种问题类型都支持，每道题都返回各选项的概率分布。
• 多模态输入：状态可以是文本、JSON 或图片（2026-10-03 更新），证据和图片都能作为请求的一部分送进来。
• 超长上下文：所有尺寸模型原生支持 262,144 token（256K）提示长度，再长的状态分块读一次就够。
• 置信度输出：概率拿来直接当置信度，对需要量化风险的自动化流程特别对口。
• 高吞吐低延迟：短问题一次前向只要几毫秒，批量推理（batched path）和 CUDA Graphs 加速都支持。
• 全平台部署：GGUF 量化（BF16/Q8_0/Q4_K_M）可以配 llama.cpp 用，Apple Silicon 上还有 MLX 后端可选。
• 游戏与智能体应用：网页购物、国际象棋、超级马里奥、星际争霸 II、Doom 这些实时决策场景都已经验证过。
• Jev 生态兼容：请求响应采用 TypeSafe /v1/systemone 格式，给 Jev 写的客户端可以无缝接进来。

Startlux-Decision的技术原理

• 单次前向读答案：模型把各选项渲染成字母标记，答案的概率从 forward pass 后的选项字母位置直接读出来，一个请求里的所有问题在一次前向中并行算完。
• 线性注意力架构：用的是 flash-linear-attention 加 causal-conv1d 的快速内核，短请求延迟压得极低；GPU 上没有这些内核时，服务器会拒绝启动，宁可不开也不降性能。
• MoE 分组矩阵乘：35B-A3B 混合专家模型每个 token 只激活约 3B 参数，专家用 grouped matmul 跑，外面再罩上 CUDA Graphs，延迟大约只有 27B 稠密模型的一半。
• 长输入分块与分支：256K 的长状态按块读取一次，请求里的每道题都从它的表示上分支计算，重复编码省掉了。
• 概率保真量化：GGUF 的 BF16 与 Q8_0 在 99–100% 的 JevBench 项目上给出的决策与原权重完全一致，说明决策能力对量化相当抗造。

如何使用Startlux-Decision

• 下载权重：用 hf download startlux-models/StartLux-Decision-4B --local-dir StartLux-Decision-4B 从 Hugging Face 把权重拉下来。
• 安装依赖：进到模型目录，执行 pip install -r requirements.txt。
• 验证内核：跑一下 python -m startlux_decision.check StartLux-Decision-4B，输出必须是 “fast kernels: active” 才算过关。
• 启动服务：执行 python -m startlux_decision.server --model StartLux-Decision-4B --port 8090，本地推理服务就起来了。
• 发送请求：往 localhost:8090/v1/systemone 发一个 JSON 请求，带上 state和 questions（choice / noul / score 三种类型）。
• 获取结果：响应会返回每道题各选项的概率分布，直接拿来当决策置信度用。
• GGUF 方式（可选）：下载对应的 GGUF 仓库后，先起 llama-server，再跑 python -m startlux_decision.gguf_server，就能在 llama.cpp 前面架起决策服务。

Startlux-Decision的核心优势

• 概率化决策：每道题直接给出各选项概率，置信度天生自带，额外校准这一步都省了。
• 极快延迟：一次前向就出答案，4B 模型只要 26ms，35B-A3B 也只有 52.5ms。
• 全面领先基准：Decision Index 0.2.1 拿到 63.88，把 Jev 1.13 等所有公开对手都超了过去。
• 超长上下文：全系列原生支持 256K token 输入，再长的文档也只需读一次。
• 多模态证据：所有尺寸都能读图片，把图当作决策依据。
• 同级全面胜出：从 0.8B 到 35B，每一档都比规模相近的竞品模型强。
• Jev 生态兼容：走 TypeSafe /v1/systemone 格式，为 Jev 写的客户端一行代码都不用改。

Startlux-Decision的项目地址

• GitHub仓库：https://github.com/StartLuxLabs/Startlux-Decision
• HuggingFace模型库：https://huggingface.co/collections/startlux-models/startlux-decision-6abba92b301b573fa154d493

Startlux-Decision的同类竞品对比

Startlux-Decision的应用场景

• 智能客服分单：输入工单文本或图片，一次请求就判断出处理团队、要不要加急、严重程度，选项概率就是置信度。
• 电脑操作自动化：驱动真实浏览器一步步选控件、判断任务是否完成，网页下单购物的自动演示已经跑通。
• 游戏 AI 决策：单次前向输出走子、建造、射击这些动作的概率，国际象棋、星际争霸 II、Doom 等游戏里都验证过。
• 金融风控与合规：合同条款核查、金融实体识别、钓鱼邮件甄别都能覆盖，置信度可以直接接进风控流程。
• 企业检索与分类：意图识别、查询分类、RAG 事实核查都能毫秒级搞定，高并发的业务场景也吃得下。