4esv /
Evaluation & Observabilityjev-eval
在有标签的分类任务上比较 Jev 与 OpenRouter 模型的准确率、校准、时延和成本。
License: MITLanguage: Python最近提交：2026/9/19#evaluation-benchmarks#classification-ranking
JEV 在该架构中的决策位置
对相同任务收集模型判断，并计算置信区间及重复输入的稳定性。
核心架构收益
发布数据处理、调用与统计代码，以及特定模型的结果。
固定版本源码审校依据
本站人工核验过该仓库的以下固定 commit 源码文件，确认 Jev 决策逻辑的真实接入方式：
审校说明与基准口径：公开比较为每个任务 300 项、指定模型与日期；优势因任务变化，不应写成全领域领先或无偏证明。 已核对固定版本 README 与集成源码。
快速克隆仓库
git clone https://github.com/4esv/jev-eval.git
同分类相关项目推荐（评测与观测）
NiazMorshed2007
jev-review
Evaluation & ObservabilityMITTypeScript
供编码 Agent 使用的本地 MCP 代码质量检查器，返回多个维度的结构化评分。
JEV 在这里做什么
Jev 对正确性、复杂度、测试和安全等维度评分，程序汇总优先改进项。
↳ 可比较两次检查的评分变化，代码修改仍由主 Agent 负责。
#coding-agents#mcp-integrations#evaluation-benchmarks
10✓ 4 处源码证据
查看详情 →
AbdelStark
jev-benchmarks
Evaluation & ObservabilityApache-2.0Python
把 Jev 和 GLiNER 放到同一批分类题上，除了答对率，也检查概率靠不靠谱。
JEV 在这里做什么
对固定文本和标签集合做分类，记录每个标签的概率、耗时和失败。
↳ 能看清模型在哪些任务上适合自动处理，在哪些任务上容易过度自信。
#evaluation-benchmarks#classification-ranking
✓ 3 处源码证据
查看详情 →
mizchi
jev-playground
Evaluation & ObservabilityMITTypeScript
MoonBit 与 TypeScript 的 Jev 实验集，覆盖棋类、浏览器、命令风险和小型语言。
JEV 在这里做什么
不同实验把候选动作或判断题交给 Jev，再由对应程序执行或记录。
↳ 提供源码、实验记录和部分可离线重放的样例，便于比较决策设计。
#evaluation-benchmarks#games-simulation#browser-automation
✓ 4 处源码证据
查看详情 →