tiershift GitHub avatar by iamvatsalpatel

iamvatsalpatel /

Routing & Cost Optimization

tiershift

基于 YAML 声明策略的模型分级路由工具,在约 180 毫秒内通过 Jev 将请求路由到满足要求的最低成本模型。

License: MITLanguage: TypeScript最近提交:2026/9/18#llm-routing-cost#typed-decisions

JEV 在该架构中的决策位置

无需微调训练数据,利用纯文本 YAML 规则由 Jev 对请求进行离散分类判断,命中阈值即向下分流。

核心架构收益

支持 TypeScript 与 Python 双语言生态,极低决策延迟,帮助团队透明化控制大模型调用成本。

固定版本源码审校依据

本站人工核验过该仓库的以下固定 commit 源码文件,确认 Jev 决策逻辑的真实接入方式:

审校说明与基准口径:源码已核验。包含门禁实验脚本与双语言实现;实际端到端耗时与网络延迟及各服务商接口波动相关。
快速克隆仓库
git clone https://github.com/iamvatsalpatel/tiershift.git

在 GitHub 上查看源码

查阅该项目的 README、Issue 讨论与提交历史,了解该开源项目最新进展。

iamvatsalpatel/tiershift

所属架构分类

模型路由与降本

在 Agent 流程中以 Jev 充当复杂度路由器,将请求动态分流至不同档位的生成模型以降低 Token 成本。

查看该分类下的全部项目 →

同分类相关项目推荐(模型路由与降本)

53
Routing & Cost OptimizationMITPython

每轮先让 Jev 判断任务类型与难度,再由本地策略为 Codex 选模型、思考深度和速度档。

JEV 在这里做什么

对当前轮次的任务层级与推理需求分类,本地规则据此选择模型配置。

把模型分配规则和判断记录放在本地,便于回看与调整。

#llm-routing-cost#coding-agents
53 处源码证据
查看详情
jev-research repository icon by sherajdev

sherajdev

jev-research

1
Routing & Cost OptimizationMITTypeScript

一份 Jev 与 Herdr 协作指南,附有把任务分给不同 Agent 的路由原型。

JEV 在这里做什么

根据任务与仓库状态选择执行者,并给出风险和派发准备情况的判断。

提供可以阅读和修改的多 Agent 派工示例。

#llm-routing-cost#typed-decisions
2 处源码证据
查看详情
jev-demo repository icon by minghanminghan

minghanminghan

jev-demo

0
Routing & Cost OptimizationMITTypeScript

Jev 客服分流演示:先批量回答路由问题,再沿分类结果处理用户请求。

JEV 在这里做什么

同一请求评估多层分类、转人工意愿与挫折程度,低置信度时交接。

把分类和人工交接放在同一流程里,生成回复另由应用处理。

#domain-workflows#classification-ranking
4 处源码证据
查看详情