很多 AI 功能不是“不能跑”,而是“跑得不稳定”。
最低可用评测
我通常会准备三组样本:
- 典型样本:最常见的用户输入
- 边界样本:特别长、特别乱、特别含糊
- 失败样本:历史上已经翻过车的输入
评测不一定复杂
可以先从一个表开始:
| case | 目标 | 实际输出 | 是否通过 | 备注 |
|---|---|---|---|---|
| faq-01 | 回答准确 | 基本准确 | yes | 还可以更短 |
| rag-04 | 引用来源 | 未引用 | no | 需要补引用策略 |
我常用的上线前流程
flowchart LR A[整理场景] --> B[收集样本] B --> C[跑提示词] C --> D[人工审查] D --> E[记录失败模式] E --> F[更新工作流]
如果这个流程会重复出现,就值得把它进一步整理成 Obsidian 到 Quartz 的发布流程 里那种可维护的笔记体系。