Clef-Flash 实操教程：在 Ubuntu 上从零安装并本地运行 Cloudflare 9B 多模态决策模型

这是 Clef-Flash——Cloudflare 90 亿参数多模态决策模型——的从零安装教程，按机器人学教授 Aleksandar Haber 的视频逐帧整理，本页所有数字均从录像画面读出。先定位：Clef 为结构化决策而建，不是自由聊天。一次测试 = 定义文本 state、可选传一张原始图片、提多选问题、读回每个选项的校准 JSON 概率。Ubuntu 全套安装路径：sudo apt update && sudo apt upgrade；mkdir testClef2 && cd testClef2；python3 -m venv env1 && source env1/bin/activate；pip install torch transformers accelerate pillow huggingface_hub torchvision——作者明言这套最小依赖试了很久，总量约 2–3GB。可选加速：pip install causal-conv1d flash-linear-attention，两者非必需，需要 NVIDIA CUDA toolkit 和 GCC（首次安装本地编译），画面上的运行以 Successfully installed causal-conv1d-1.7.0 einops-0.8.2 fla-core-0.5.2 flash-linear-attention-0.5.2 ninja-1.13.2 收尾。模型本体在 Python 里到位：path = snapshot_download("Cloudflare/clef-flash")，sys.path.insert(0, path)，再 from joint_schema_model import load_release_model, systemone——joint_schema_model 是仓库自带的自定义代码，所以 sys.path 这步不能省。视频里可见的模型卡 Usage 区写明：以 torch 2.11 与 transformers 5.10.2 在单张 H200 上测试，图像与视频输入还需 pillow。demo 一（纯文本）：state 是一张发票（vendor Acme、total 1250.0、currency USD、status overdue），配 choice 问题「What is the invoice status?」（paid / overdue / draft 三档）外加 noul（是/否）问题「Is the total above 1000 USD?」，返回 status {'draft': 0.00969, 'overdue': 0.97277, 'paid': 0.01754}、large {'true': 0.97344}——两题全对，而且权重载入（760/760，缓存后约两秒）一完成就出结果。demo 二（多模态）：一张碎屏手机装在纸箱、箱内可见皱纸填充的照片（作者用 AI 生图引擎做的，任何照片都行）经 images: [Image.open("test_image.jpeg")] 进 record，state 为「Analyze the condition of the smartphone and its packaging.」，问题两个：device_damage 三选一（none / scratched / cracked），has_packing_materials 是/否。输出：{'choice': 'cracked', 'confidence': 0.9626, 'probabilities': {'none': 0.015, 'scratched': 0.0225, 'cracked': 0.9626}}，has_packing_materials noul 0.957——纸确实在箱子里，模型看见了。硬件：作者的 RTX 3090 上 nvtop 显示 python3 test2.py 进程占 18,666 MiB，整卡用到 24GiB 中的 20.2GiB、62°C；代码注释自己也写着 9B 模型原生加载、RTX 3090 的 24GB 显存放得下。一个现场踩过的 API 坑：systemone 的 record 必须带 "model" 和 "state" 两个键——漏掉 "model" 就报 ValueError: model and state are required。诚实边界：本页所有概率都是创作者在自己 demo 数据上的一次运行；点赞数（358）与库版本都是录制时点的快照；这里展示的多模态图像输入是 Clef 真有而本站 Jev 相关内容没有对应物的能力——差异是真的，警告也是真的：一张生成的照片只能证明链路通，证明不了基准级准确率。