NPU claim 很容易失真
ONNX/QNN 不等于自动走 NPU；量化、provider options、backend、context cache 和 fallback 都必须记录。
03 · Solution
EdgeRuntimeBench = 边缘 AI 运行时的 CI benchmark + safety gate + procurement scorecard。
输入模型、机器人技能、目标设备、运行时、量化策略和场景约束；输出 `ship / no-ship` 证据卡、最佳 runtime route、成本评分、安全评分和可签名 release dossier。
Lineage Lock
锁定 LeRobotDataset v3、训练命令、checkpoint、model card、camera schema、normalization 和 license。
Runtime Matrix
比较 device x runtime x quantization x firmware x thermal profile x network profile。
Live Edge Loop
记录 camera -> preprocess -> inference -> postprocess -> action commit -> actuator ack 的端到端 trace。
Release Gate
SafetyOps 根据 p99、jitter、frame age、cloud calls、unsafe stop、fallback 和 ODD 决定能否发布。
Commercial Pack
进入 SkillDock certification、EdgeFleet canary、RevenueStack ROI 和客户验收包。
05 · Product
不是单一 benchmark，而是策略上线前后的证据工作流。
EdgeRuntimeBench 把一个 policy package 分成明确状态：Ready、Needs Quantization、Unsupported、Runtime Risk、Blocked by SafetyOps、Rollback Required。每个判断都能追到原始 artifact。
- Runtime Matrix：比较设备、runtime、量化、firmware、热状态、网络状态和 camera pipeline。
- Scenario Lab：把 LabForgePilot、AMR picking、巡检、安防、零售货架和 smart camera 变成真实任务包。
- Evidence Card：p50/p95/p99、jitter、load time、memory、compute utilization、energy/task、thermal throttle、task success、unsafe stop、cloud calls、cost/1k tasks。
- Replay Parity：用 held-out LeRobot episode 比较 PyTorch vs export 的 action chunks、drift、latency 和 queue gaps。
- Fleet Rollout：通过 EdgeFleet 做 canary；SafetyOps 失败即阻断；通过后写入 SkillDock 认证版本。
- Release Dossier：device registry、policy manifest、Qualcomm export manifest、edge profile、install audit、SBOM、provenance、rollback。
09 · Why Qualcomm
EdgeRuntimeBench 把“用了 Qualcomm”变成比赛和商业都能检查的证据链。
LabForgePilot 提供真实任务，EdgeRuntimeBench 证明策略被编译、profile、部署到 Qualcomm target，SafetyOps 决定它能不能控制机器人。这样 Qualcomm 不只是硬件选择，而是技能发布和验收标准。
- RB3 Gen 2 / QCS6490：2026 年 7 月最现实的比赛 MVP target，可做本地板端或 AI Hub device-cloud evidence。
- QCS8550：高性能扩展 target；AI Hub 中常见为 QCS8550 Proxy，必须标注 proxy，不写成真实板端性能。
- IQ-8275 / IQ-9075 / IQ9：工业高端 bridge，适合 rugged robot runtime story。
- QAIRT / QNN：QAIRT 是整体 SDK；QNN 是当前设备端 runtime API/tools，证据应包含 backend、fallback、context cache 和 provider options。
- ONNX Runtime QNN / LiteRT-QNN / ExecuTorch-QNN：比较不同 deployment route，给出上线建议。
- 安全边界：dev kit secure boot/debug 状态、real/proxy device、QCS8550 proxy、CPU fallback、unsupported ops 都必须显式标注。