anessbelbati /
Evaluation & Observabilityjev-rerank-bench
比较 Jev、专用 reranker 和聊天模型对同一批搜索片段的排序结果。
License: MITLanguage: TypeScript最近提交:2026/9/17#evaluation-benchmarks#search-retrieval#classification-ranking
JEV 在该架构中的决策位置
用 Choice、Noul 和分档评分给候选片段排序,再计算检索指标。
核心架构收益
提供原始响应、评分代码和分数据集结果,便于检查比较条件。
固定版本源码审校依据
本站人工核验过该仓库的以下固定 commit 源码文件,确认 Jev 决策逻辑的真实接入方式:
审校说明与基准口径:作者报告的八个英文数据集等权 nDCG@10 为 Jev 0.692、Cohere 0.691,未证明明确胜出;按查询等权排名会变化。 已核对固定版本 README 与集成源码。
快速克隆仓库
git clone https://github.com/anessbelbati/jev-rerank-bench.git
同分类相关项目推荐(评测与观测)
NiazMorshed2007
jev-review
Evaluation & ObservabilityMITTypeScript
供编码 Agent 使用的本地 MCP 代码质量检查器,返回多个维度的结构化评分。
JEV 在这里做什么
Jev 对正确性、复杂度、测试和安全等维度评分,程序汇总优先改进项。
↳ 可比较两次检查的评分变化,代码修改仍由主 Agent 负责。
#coding-agents#mcp-integrations#evaluation-benchmarks
10✓ 4 处源码证据
查看详情 →AbdelStark
jev-benchmarks
Evaluation & ObservabilityApache-2.0Python
把 Jev 和 GLiNER 放到同一批分类题上,除了答对率,也检查概率靠不靠谱。
JEV 在这里做什么
对固定文本和标签集合做分类,记录每个标签的概率、耗时和失败。
↳ 能看清模型在哪些任务上适合自动处理,在哪些任务上容易过度自信。
#evaluation-benchmarks#classification-ranking
✓ 3 处源码证据
查看详情 →mizchi
jev-playground
Evaluation & ObservabilityMITTypeScript
MoonBit 与 TypeScript 的 Jev 实验集,覆盖棋类、浏览器、命令风险和小型语言。
JEV 在这里做什么
不同实验把候选动作或判断题交给 Jev,再由对应程序执行或记录。
↳ 提供源码、实验记录和部分可离线重放的样例,便于比较决策设计。
#evaluation-benchmarks#games-simulation#browser-automation
✓ 4 处源码证据
查看详情 →