SemIf – 开源的 AI 决策模型，复现 Jev 语义决策模式

SemIf是个啥

SemIf（原来叫 OpenJev）是一个开源的 AI 决策模型，做的事情说白了就是用开源模型复刻 TypeSafe 闭源 Jev 那套语义决策接口。它单次前向传播就能直接读出候选选项对应的 logits 打分，结构化结果由服务端组装；碰上多个问题共享状态的情况，前缀还能复用，速度直接快出近一个数量级。硬件要求也不高，一张 RTX 3090 就能跑，提供浏览器演示，并且附带逐行可复现的基准、温度校准和 27B 模型桥接。

SemIf都有什么功能

• 直接 logit 打分：一次前向传播读候选选项的 logits 拿概率，不用先生成答案文本再解析，比自回归生成快大约 5 倍。
• 共享状态复用：多个决策共用一个上下文时，前缀只预填充一次，剩下的标准再串行或并行评估，吞吐量差不多能翻近一个数量级。
• 运行时可定义决策：标准和选项描述跟着请求一起传进来，不用微调、也不用预定义任务，路由、重试判断这类小型 agent 决策都适用。
• 完全可审计：固定的 prompt、模型版本、prompt 哈希、逐行输出连已知失败全都提交进了仓库，随时能精确复现。
• 温度校准：内置按工作负载拟合的温度缩放，让概率置信度和实际准确率更对得上。
• 多后端支持：CUDA GPU、Apple Silicon（MPS/MLX）、CPU 都能跑，浏览器里还有 WebGPU 演示。

怎么把SemIf跑起来

• 环境准备：装好 Python 3.10+、CUDA，再备一张能塞下 4B BF16 模型的显卡。
• 安装项目：建个虚拟环境，然后执行 pip install -e '.[test]'。
• 准备输入：写一个 JSONL 格式的决策文件，每行要有 id、state、question 和 options 候选列表。
• 运行打分：执行 semif-score --mode direct --model Qwen/Qwen3.5-4B --revision <固定版本> --input examples/decisions.jsonl --output results.jsonl 每行的选项概率、耗时和 prompt 哈希就都出来了。
• 共享状态模式：如果所有行的 state 完全一样，就换 --mode shared，前缀预填充一次，所有标准并行评估。
• 校准应用：拿项目自带的脚本在目标工作负载上拟合温度缩放，让输出的置信度和实际准确率对齐。

SemIf的优势都在哪

• 决策速度快：直接读选项 logits，生成-解析那套流程整个省掉，21 个二元决策大约 1 秒跑完，比生成 JSON 快 5.2 倍。
• 共享前缀复用：一次预填充、多次分支评估，共享状态场景的吞吐量从 2.33 一路提到最高 20.03 决策/秒。
• 零生成 token：不采样答案文本，JSON 格式错误、解码循环、输出解析失败这些毛病也就都碰不到了。
• 硬件门槛低：冻结的 4B 模型一张 RTX 3090 就能带起来，CPU、Apple Silicon 和浏览器 WebGPU 也支持。
• 完全开源可复现：prompt、模型版本、逐行结果、已知失败全部入库，逐条审计验证都没问题。
• 置信度可校准：内置按工作负载的温度缩放，概率置信度和实际准确率拉齐后，输出可以直接喂给自动化决策。

SemIf的项目地址在哪

• 项目官网：https://openjev.com/
• GitHub仓库：https://github.com/TheoLeeCJ/SemIf-OpenJev

SemIf的同类竞品对比

SemIf能用在哪里

• 客服工单路由：拿着客户的问题描述和账户状态，直接在”账号支持 / 计费支持”这些队列选项上打分，毫秒级完成自动分派。
• Agent 动作防火墙：Agent 要执行高风险操作之前，先对候选动作做二元判断，0.700 的复合准确率够格当第一层防线。
• 证据检索与排序：代码库检索、企业知识库问答（0.929）里可以顶替传统 reranker，一次前向就把候选文档的分数给出来。
• 推理结论核验：用在 NLI 类任务上，判断”证据是否支持结论”，校准后的置信度可以直接驱动下游自动化。