模型能力
推理参数与提示缓存
按模型设置推理选项,正确解释缓存用量与费用。
推理参数
推理能力适用于需要多步分析的任务,但开启方式依赖模型与协议。先完成基础文本请求,再增加模型明确支持的字段。
协议 | 常见字段位置 |
|---|---|
Chat Completions | |
Responses | |
Messages | |
这些字段不构成所有模型的兼容承诺。不要同时发送不同协议的推理参数,也不要把其他服务提供的特殊模型后缀作为 iRouter 模型 ID。
输出和等待时间
推理可能增加等待时间和输出用量。应用应处理输出限制及未完成状态,并按协议使用流式事件;不能假定一定能读取完整内部推理文本。
客户端显示的文本长度不等于全部计费 Token,核算时查看模型规则和服务端返回的用量。
提示缓存
稳定的系统提示、工具定义和文档前缀有助于在支持缓存的模型上复用前缀。命中与否受模型、线路、内容和请求方式影响,iRouter 不以文档承诺固定命中率、保留时间或折扣。
Chat Completions 可能通过 usage.prompt_tokens_details.cached_tokens 表示缓存 Token;Messages 可能分别报告缓存读取和写入。字段缺失时不要自行推算命中量。
费用核对
输入 Token 中是否已包含缓存量,需按协议口径理解。若缓存已包含在输入总量内,不能在原输入总量之外再加一次缓存费用。按模型页的输入、输出、缓存计价项分别估算,并与用量记录对照。