Cactus 展示带置信度探针的 Gemma 混合推理方案

Cactus 在 Hacker News 展示 Cactus Hybrid，称其通过为 Gemma 4 E2B 加入轻量探针来预测回答出错概率，并据此将低置信度请求转交云端模型。其性能、路由比例和跨模态效果均主要来自项目方自述，需人工核验。

已确认事实

Cactus 在 Hacker News 展示了开源项目 Cactus Hybrid。项目说明称，它为 Gemma 4 E2B 增加一个约 6.8 万参数的探针层，在生成过程中读取中间层隐藏状态，输出回答可能出错的概率，并以此提供结构化置信度信号。

项目方称，该方案可在置信度较低时把请求交由更大的云端模型处理；代码采用 MIT 许可证，但 Gemma 模型仍受其自身使用条款约束。

如果置信度信号在独立测试中有效，端侧小模型可只将部分困难请求转交云端模型，从而在隐私、延迟与推理成本之间进行取舍。

项目方宣称其探针在 12 个留出基准上优于基于 token 熵的路由信号，并称在不同任务上的路由比例可达到与 Gemini 3.1 Flash-Lite 相近的结果。这些基准、比较方法、模型版本与可复现实验结果尚需独立核验；该项目也仍属 Hacker News 社区展示。