litellm GitHub avatar by BerriAI

BerriAI /

Routing & Cost Optimization

litellm

LiteLLM 的复杂度路由器可选用 Jev 判断请求应交给哪个模型档位。

GitHub
59,12311,569
License: MITLanguage: TypeScript最近提交:2026/9/19#llm-routing-cost#multilanguage-sdk

JEV 在该架构中的决策位置

将请求映射到预设复杂度类别,再由 LiteLLM 路由策略选择后端。

核心架构收益

让模型分流使用可检查的复杂度判断。

审校说明与基准口径:已核对固定版本 README 与集成源码。
快速克隆仓库
git clone https://github.com/BerriAI/litellm.git

在 GitHub 上查看源码

查阅该项目的 README、Issue 讨论与提交历史,了解该开源项目最新进展。

BerriAI/litellm

所属架构分类

模型路由与降本

在 Agent 流程中以 Jev 充当复杂度路由器,将请求动态分流至不同档位的生成模型以降低 Token 成本。

查看该分类下的全部项目 →

同分类相关项目推荐(模型路由与降本)

53
Routing & Cost OptimizationMITPython

每轮先让 Jev 判断任务类型与难度,再由本地策略为 Codex 选模型、思考深度和速度档。

JEV 在这里做什么

对当前轮次的任务层级与推理需求分类,本地规则据此选择模型配置。

把模型分配规则和判断记录放在本地,便于回看与调整。

#llm-routing-cost#coding-agents
53 处源码证据
查看详情
jev-research repository icon by sherajdev

sherajdev

jev-research

1
Routing & Cost OptimizationMITTypeScript

一份 Jev 与 Herdr 协作指南,附有把任务分给不同 Agent 的路由原型。

JEV 在这里做什么

根据任务与仓库状态选择执行者,并给出风险和派发准备情况的判断。

提供可以阅读和修改的多 Agent 派工示例。

#llm-routing-cost#typed-decisions
2 处源码证据
查看详情
jev-demo repository icon by minghanminghan

minghanminghan

jev-demo

0
Routing & Cost OptimizationMITTypeScript

Jev 客服分流演示:先批量回答路由问题,再沿分类结果处理用户请求。

JEV 在这里做什么

同一请求评估多层分类、转人工意愿与挫折程度,低置信度时交接。

把分类和人工交接放在同一流程里,生成回复另由应用处理。

#domain-workflows#classification-ranking
4 处源码证据
查看详情