Awesome Jev / 模型路由与降本

模型路由与降本

在 Agent 流程中以 Jev 充当复杂度路由器,将请求动态分流至不同档位的生成模型以降低 Token 成本。

返回全部开源项目26 个已审校开源项目
53
Routing & Cost OptimizationMITPython

每轮先让 Jev 判断任务类型与难度,再由本地策略为 Codex 选模型、思考深度和速度档。

JEV 在这里做什么

对当前轮次的任务层级与推理需求分类,本地规则据此选择模型配置。

把模型分配规则和判断记录放在本地,便于回看与调整。

#llm-routing-cost#coding-agents
53 处源码证据
查看详情
jev-research repository icon by sherajdev

sherajdev

jev-research

1
Routing & Cost OptimizationMITTypeScript

一份 Jev 与 Herdr 协作指南,附有把任务分给不同 Agent 的路由原型。

JEV 在这里做什么

根据任务与仓库状态选择执行者,并给出风险和派发准备情况的判断。

提供可以阅读和修改的多 Agent 派工示例。

#llm-routing-cost#typed-decisions
2 处源码证据
查看详情
jev-demo repository icon by minghanminghan

minghanminghan

jev-demo

0
Routing & Cost OptimizationMITTypeScript

Jev 客服分流演示:先批量回答路由问题,再沿分类结果处理用户请求。

JEV 在这里做什么

同一请求评估多层分类、转人工意愿与挫折程度,低置信度时交接。

把分类和人工交接放在同一流程里,生成回复另由应用处理。

#domain-workflows#classification-ranking
4 处源码证据
查看详情
Routing & Cost OptimizationMITTypeScript

模型路由实验页:让 Jev 从候选模型中选择,再由你比较各模型的实际回答。

JEV 在这里做什么

根据任务与候选模型说明选择模型,显示概率及运行记录。

可导出选择结果,检查路由是否符合自己的回答偏好。

#llm-routing-cost#evaluation-benchmarks
2 处源码证据
查看详情
oh-my-pi repository icon by can1357

can1357

oh-my-pi

31,850
Routing & Cost OptimizationMITTypeScript

Oh My Pi 编程 Agent 内含可选的 TypeSafe 判断提供器,供小型决策流程调用。

JEV 在这里做什么

将 Agent 的状态与有界问题发送给 Jev,并解析结构化回答。

在现有 Agent 流程里接入可替换的判断提供器。

#coding-agents#multilanguage-sdk#typed-decisions
33633 处源码证据
查看详情
litellm repository icon by BerriAI

BerriAI

litellm

59,123
Routing & Cost OptimizationMITTypeScript

LiteLLM 的复杂度路由器可选用 Jev 判断请求应交给哪个模型档位。

JEV 在这里做什么

将请求映射到预设复杂度类别,再由 LiteLLM 路由策略选择后端。

让模型分流使用可检查的复杂度判断。

#llm-routing-cost#multilanguage-sdk
115694 处源码证据
查看详情
firstmate repository icon by kunchenguid

kunchenguid

firstmate

6,587
Routing & Cost OptimizationMITShell

Firstmate 可选用 Jev 看任务简报并匹配派工规则,再由本地规则选择 Agent 配置。

JEV 在这里做什么

将任务简报与候选规则发送给 Jev,按匹配概率及本地条件解析执行配置。

把语义匹配与最终派工规则分开。

#llm-routing-cost#coding-agents
20072 处源码证据
查看详情
openchamber repository icon by openchamber

openchamber

openchamber

10,060
Routing & Cost OptimizationMITTypeScript

OpenChamber 可选开启自动模型路由:Jev 看消息属于哪类任务,再使用该类绑定的模型和思考档位。

JEV 在这里做什么

Choice 判断任务类别;另可用 Noul 判断自动批准的权限是否应留给用户确认。

把模型选择和权限提示接进现有会话界面,并记录失败回退原因。

#llm-routing-cost#coding-agents
11052 处源码证据
查看详情
atomic repository icon by bastani-inc

bastani-inc

atomic

806
Routing & Cost OptimizationCustom licenseTypeScript

Atomic 编程 Agent 的可选 Jev 决策后端,为路由等流程提供受限的结构化选择。

JEV 在这里做什么

将预定义的问题交给 Jev,解码答案后由调用方应用;常规模型仍负责生成代码。

让结构化决策与文本生成使用各自的接口。

#coding-agents#llm-routing-cost
1123 处源码证据
查看详情
WrongStack repository icon by WrongStack

WrongStack

WrongStack

329
Routing & Cost OptimizationMITTypeScript

给 WrongStack 编程 Agent 增加一个可选分派助手。遇到多个相近的专长 Agent 时,用 Jev 判断谁更适合当前任务。

JEV 在这里做什么

从候选角色中选一个,同时判断有没有任何候选真正适合;不合适时交回原有策略。

分派结果带有可检查的概率,也能明确表示没有合适人选。

#coding-agents#llm-routing-cost
363 处源码证据
查看详情
420
Routing & Cost OptimizationMITPython

给 VexJoy 的任务分派增加一条 Jev 路线。输入需求后,判断该选哪位专长 Agent、哪项技能和哪条工作流。

JEV 在这里做什么

先判断是否需要路由,再从实际清单中选择候选;非法选择或调用失败交回原有流程。

提供可对照的路由实验入口;项目文档明确说当前评测不足以把它提升为默认路线。

#llm-routing-cost#mcp-integrations
442 处源码证据
查看详情
165
Routing & Cost OptimizationMITTypeScript

自建一个有版本管理的 Agent 技能库,还能选配 Jev 推荐:告诉它当前任务,从你有权限使用的技能里挑更相关的。

JEV 在这里做什么

对候选技能逐项评估任务相关度,再由应用整理推荐结果。

技能查找不只依赖关键词;未配置或调用失败时仍可使用确定性搜索。

#llm-routing-cost#mcp-integrations
142 处源码证据
查看详情
29
Routing & Cost OptimizationMITTypeScript

Hono 的实验性 HTTP 语义路由器,让请求描述决定走哪个处理函数。

JEV 在这里做什么

Jev 判断请求与各路由描述的匹配概率,程序选择首个达到阈值的路由。

适合尝试按语义分流;作者明确禁止把它当作鉴权或授权边界。

#multilanguage-sdk#classification-ranking
2 处源码证据
查看详情
JevRouter repository icon by BillionsBobby

BillionsBobby

JevRouter

28
Routing & Cost OptimizationMITTypeScript

把模型、Subagent、Skill、MCP 和 CLI 能力放进候选集,由 Jev 选择下一步用哪个。

JEV 在这里做什么

用 Choice 评估候选能力,路由器另外检查可用性、权限、风险和确认策略。

将模型选择结果与执行策略分别记录。

#llm-routing-cost#mcp-integrations#cli-git-gates
13 处源码证据
查看详情
todo-jev repository icon by maker-KK

maker-KK

todo-jev

2
Routing & Cost OptimizationMITPython

结合 skill 条件和环境检查的任务路由实验,推荐规则、skill 或大模型处理路径。

JEV 在这里做什么

Jev 分类请求并匹配候选 skill;没有密钥或调用失败时使用启发式回退。

已实现分类与推荐,执行处理器仍返回示例响应,需要自行接入实际执行。

#llm-routing-cost#typed-decisions
13 处源码证据
查看详情
30,779
Routing & Cost OptimizationMITPython

claude-code-templates 社区仓库中的 Jev 路由模组,为 Claude Code 子 Agent 建议模型与思考档位。

JEV 在这里做什么

评估任务级别、推理需求和生产风险,由本地策略映射成调用配置。

把模型选择规则单独配置,便于核对每次路由原因。

#llm-routing-cost#coding-agents
34944 处源码证据
查看详情
loki repository icon by wundercorp

wundercorp

loki

24
Routing & Cost OptimizationMITPython

Loki 可选接入 Jev:提供类型化判断工具,并在新会话开始时从当前 gateway 的模型中选择档位。

JEV 在这里做什么

评估首个任务需要的能力,由本地策略选择同一 gateway 的模型并保持会话路由。

把模型路由作为显式选项,避免把每一轮都当作重新选模型的机会。

#llm-routing-cost#mcp-integrations#typed-decisions
63 处源码证据
查看详情
Routing & Cost OptimizationMITPython

一个默认关闭的 Hermes Agent 插件,先用 Jev 从可用 Skill 中挑出与当前请求相关的一项建议。

JEV 在这里做什么

评估请求与技能目录;有合适项时追加建议,没有把握或调用失败时不注入。

让 Agent 先看到一项有针对性的技能提示,同时保留忽略建议的空间。

#llm-routing-cost#mcp-integrations
12 处源码证据
查看详情
jev-router repository icon by gargpratyush

gargpratyush

jev-router

174
Routing & Cost OptimizationMITJavaScript

Claude Code / CLI 代理:Jev 给任务复杂度打分,并在当前账号可用的模型里选一个,再由本地策略决定是否更换。

JEV 在这里做什么

三个 Score 衡量任务、推理和工具复杂度,再在可用模型上做 Choice;置信不足或 Jev 失败则保持当前模型。

把模型选择做成可检查的闭集判断;Jev 不可用时不打断当前会话。

#llm-routing-cost#coding-agents
116 处源码证据
查看详情
Routing & Cost OptimizationMITTypeScript

OpenCode 编排器:会话停在廉价父模型上,Jev 判定本轮偏难时才通过工具拉起更强的子 Agent。

JEV 在这里做什么

三个 Score 衡量任务、推理和工具复杂度,再 Choice 选出 fast / balanced / strong / long;本地策略决定停留、升级或并行。

会话停在廉价父模型上;只有判定为难的轮次才另开更强的子 Agent。

#llm-routing-cost#coding-agents
2 处源码证据
查看详情
tiershift repository icon by iamvatsalpatel

iamvatsalpatel

tiershift

2
Routing & Cost OptimizationMITTypeScript

基于 YAML 声明策略的模型分级路由工具,在约 180 毫秒内通过 Jev 将请求路由到满足要求的最低成本模型。

JEV 在这里做什么

无需微调训练数据,利用纯文本 YAML 规则由 Jev 对请求进行离散分类判断,命中阈值即向下分流。

支持 TypeScript 与 Python 双语言生态,极低决策延迟,帮助团队透明化控制大模型调用成本。

#llm-routing-cost#typed-decisions
2 处源码证据
查看详情
Janus repository icon by FirasSX914

FirasSX914

Janus

2
Routing & Cost OptimizationMITPython

模型适用性测量与路由框架,评估业务数据在 Jev 与传统大模型之间的收益边界并执行最优动态分发。

JEV 在这里做什么

通过内置的 TypeSafe 提供者向 Jev 发起基准测试请求,统计离散判断准确度与延迟,生成自动化路由策略。

用实测数据消除模型选型主观臆断,在保证任务成功率的同时实现系统整体调用的成本最小化。

#llm-routing-cost#evaluation-benchmarks
2 处源码证据
查看详情
0
Routing & Cost OptimizationMITTypeScript

把是否继续、用哪个工具、要不要校验交给 Jev,只有策略允许时才调用生成式 LLM。

JEV 在这里做什么

`TypeSafeClient.systemOne` 回答策略问题;适配器根据答案决定是否把请求交给生成模型。

把贵的生成调用挡在 Jev 门禁之后;作者给出的省调用数字未经本站复测。

#llm-routing-cost#typed-decisions#coding-agents
5 处源码证据
查看详情
jev-router repository icon by prismhq

prismhq

jev-router

3
Routing & Cost OptimizationMITTypeScript

基于 LiteLLM 与 Jev 构建的开源模型路由器:根据输入任务复杂度与上下文自动选择性价比最高的大模型。

JEV 在这里做什么

通过 System-1 单次前向推理对输入 Prompt 评定推理需求档位,再由本地 LiteLLM 路由分发请求。

无需复杂的启发式正则即可实现高吞吐的任务分级与模型降本调度。

#llm-routing-cost#typed-decisions
4 处源码证据
查看详情
pi-jev-router repository icon by mejiasd3v

mejiasd3v

pi-jev-router

7
Routing & Cost OptimizationMITTypeScript

面向 Pi 编程助手的自动模型路由器:通过 Vercel AI Gateway 集成 Jev,自动为不同编码任务分配合适模型。

JEV 在这里做什么

根据当前代码上下文与用户提问快速评估难度,动态选择小模型或前沿模型处理。

为 Pi 终端工具链提供开箱即用的智能化降本分流机制。

#llm-routing-cost#typed-decisions
3 处源码证据
查看详情
jev-router repository icon by rajdhakad9826

rajdhakad9826

jev-router

4
Routing & Cost OptimizationMITTypeScript

基于 Jev 评分概率与期望损失最小化(Expected Loss Minimization)实现的成本敏感型大模型路由器。

JEV 在这里做什么

决策说明: 在 classify 方法中使用 Jev score 对模型能力层级进行概率评分,后续结合成本损失矩阵计算最优模型。

把语义判断接到已有的命令行工作流。

#llm-routing-cost#typed-decisions
8 处源码证据
查看详情

探索其他架构分类

深入了解 Jev 决策工作流