Jetson 边缘实测：Jev、Strands Decider 2B、Laya、d1-3B 四模型横评——Skill Master 记分卡、Thor 延迟账与 JevBench 逐帧核对

十二分钟视频的浓缩版，卡面数字全部对帧核实。测试台：jetsonhacks.com 的 Jim 自建 Skill Master，一个本地 Web 控制台，把同一个查询发给多个模型、用同一套 UI 渲染每个答案——全部选项的概率条、0–3 刻度的干预评分、逐题耗时、以及给十四道例题打字母等级的 summary 页。两次录制会话里出现过的标签页：Jev remote、CLM-8B local（仅首次会话、未参测）、Strands Decider 2B local、Laya local、d1-3B local。测试集：14 道例题——identity、processes、memory before/after、fit model、container、serve、LLM performance、speculate、codec support、video ready、transcode、video speed、vague、outside。头条答案：「Which Jetson module and L4T release is this board running?」→ Device info 99.0%、Ask for clarification 1.0%、其余十四个选项全为 0.0%，卡 MATCHES EXPECTED SKILL，本次往返 153 毫秒，界面标价约 0.000047 美元/次（每千次 0.047 美元）。置信度规则：「Set up a vLLM server for this model on my Jetson Thor」一题，胜出的 LLM serving setup 只有 45.0%（clarify 27.0%、Package compatibility 15.0%、Device info 10.0%）——口播规则：置信度通常要过 60% 才可信，重要问题要更高——而干预侧打得毫不犹豫：0–3 刻度 2.99、置信 99%、最可能等级 3「Change and verify」；这一屏的请求头正是 JEV · 137 MS ROUND TRIP，即他口播的那个数。两条退路：无上下文的「Can you check it?」→ Ask for clarification 100.0%，干预 0.11、置信 89%、最可能等级 0 Inspect——他觉得这个评级有点偏；「写一首关于机器恐龙的诗」→ No matching skill 100.0%（「请求很清楚，但目录里没有合适技能」），134 毫秒。请求原文：POST 到 https://api.typesafe.ai/v1/systemone，体为 {"model": "jev-latest", "state": "<用户查询>", "questions": {"skill": {"type": "choice", "instructions": "选出应首先处理用户请求的那一个技能；关键细节缺失选 clarify；请求清楚但超出目录选 no_matching_skill；多步请求选第一个有用的技能；不要推断测量、不要执行技能。", "criteria": {"jetson-print-device-info": "识别 Jetson 模块、L4T 版本、内核、OS 版本、运行时间或当前电源模式。", "jetson-diagnostic": "检查当前 RAM、进程、GPU、散热、电源、存储与服务健康。", "jetson-memory-audit": "测量 DRAM 与 NVMap 使用，变更前后核对内存回收。", "jetson-inference-mem-tune": "为 Jetson 工作负载选择 LLM/VLM 伺服栈及其内存设置。", "jetson-package": "为 JetPack 版本挑选兼容的容器、vLLM 镜像与 Python 包索引。", "jetson-llm-serve": "在兼容 Jetson 上立起 vLLM 或 SGLang 服务。", …}}}}——共十六个选项：十四个技能加 clarify 与 no_matching_skill，全部在请求里定义、不烙进模型。响应：{"model": "jev-1.13.0", "answers": {"intervention": {"type": "score", "score": 0, "confidence": 1, "legend": {"0": "Inspect：识别或读取现有设备状态。", "1": "Measure：跑测试、审计或基准，不请求配置变更。", "2": "Recommend：只建议设置、方案或计划、不落盘。", "3": "Change and verify：安装、配置、启停或修改某物并核对结果。"}, "probabilities": {"0": 1, …}}}}——代码按键读数，无散文可解析。概念卡：分类器、LLM、决策模型共享一个输入阶段（prompt → 编码/pre-fill → 上下文表示）；分类器答训练时固定的标签——加类别就要重训；LLM 逐 token 写自由文本、一 token 一趟，框架还得事后解析字符串；决策模型在运行时任意提问——noul、choice、score——单次前向出类型化答案。「灵活、类型化、快。」本地阵容：AWS Strands Decider 2B；Laya（最小、最弱，视频没多花时间）；Liquid AI d1-3B（实验室出自 MIT CSAIL 一脉，为快速单遍决策而生）。内存：三只都能上 Orin Nano，但 Strands 与 d1-3B 会吃掉大部分内存；更大的 Orin 与 AGX Thor 从容（示意图、非等比）。记分卡：Jev 14/14、平均每题 150 毫秒、平均 1109 token 进 / 222 出、0 题未跑——12 A、1 B（codec support）、1 C（serve）；Strands 14/14、平均 353 毫秒、794 进 / 354 出——10 A、4 B（identity、processes、serve、vague）；Laya 8/14；d1-3B 14/14——9 A、4 B、1 C。分题型看：识别题 Jev 99%，Strands 选对但只有不安的 61%（干预评级也低），Laya 选错技能，d1-3B 居中且干预判断正确；维护题翻盘——d1-3B 四模型最高，Strands 远超 Jev，Laya 也高于 Jev。LLM 基线：Claude 平均约 2.5 秒选一个技能；Jev 约 135 毫秒——18 倍差距，「比常规 LLM 快 10–20 倍」的宣传在这场测试完全成立。部署账单：Thor 直跑 30–50 毫秒；包进模拟 TypeSafe Jev API 的 FastAPI 服务要多付 75–100 毫秒——所以「基准数字其实低估了本地模型」；不走服务器直连可再快约 2 倍，作者预期这些本地小模型实战中至少不慢于托管 Jev。JevBench：Jev 1.13.0 86.6%（200/231）、d1-3B 75.3%（174/231）、Strands V19 72.3%（167/231）——简单题几乎持平、标准题 Jev 小胜、难题显著拉开；如今决策模型已过百个、榜满天飞，值得按自己的标准做调研；但把比较收敛到路由、策略决策、工具选择、复杂路由这几类真实任务，三家本质等价——而本地模型还有一张独有的牌：按你的工作负载微调。收尾：决策表由应用定义（noul 是否题、把 clarify 当选项的 choice、0–3 的干预评分），新决策要的是新上下文、不是重训——但 instructions、类别清单、组合测试都由应用来写来测，时间一长就是更多要维护的应用代码。模型更简单、快得多；系统可未必。