大模型应用的成本控制与可观测性
每次调用都要留痕
建议每次模型调用至少记录这些字段：
- 请求 ID、业务场景、用户标识（脱敏）
- 模型名称、输入与输出 token 数
- 首字延迟、总耗时、是否出错
- 提示词版本号
有了这些数据，才能回答“钱花在哪里”和“哪里变慢了”。
关键指标
| 指标 | 说明 |
|---|---|
| 每请求平均 token | 提示词膨胀的早期信号 |
| P95 首字延迟 | 直接影响用户体验 |
| 错误率 / 限流次数 | 上游稳定性 |
| 单次会话成本 | 用于定价和预算 |
降本手段
- 提示词瘦身：去掉冗余说明，长背景资料改为按需检索
- 模型分级：简单任务交给小模型，只有失败或低置信度时才升级到大模型
- 缓存：对完全相同的请求做结果缓存；对于固定的长系统提示，利用厂商的上下文缓存能力
- 限制输出长度：合理设置
max_tokens
告警
为日费用、错误率和延迟设置阈值告警。我曾遇到过一次重试逻辑写错导致的调用量暴涨，正是靠费用告警在一小时内发现的。
小结
可观测性是大模型应用的“刹车”：先能看见，才能控制。