模型能力
SSE 流式输出
逐块读取文本,识别完成事件、空增量和连接中断。
准备
选择支持流式的模型与线路,按 OpenAI SDK安装 Python 依赖并设置 IROUTER_API_KEY 和 IROUTER_MODEL。下面直接使用 iRouter 的 Base URL。
读取 Chat Completions 增量
import os
from openai import OpenAI
client = OpenAI(api_key=os.environ["IROUTER_API_KEY"],
base_url="https://gateway.irouter.io/v1", max_retries=0)
finished = False
with client.chat.completions.create(
model=os.environ["IROUTER_MODEL"],
messages=[{"role": "user", "content": "Explain an API in two sentences."}],
stream=True,
) as stream:
for chunk in stream:
if not chunk.choices:
continue
choice = chunk.choices[0]
print(choice.delta.content or "", end="", flush=True)
if choice.finish_reason is not None:
finished = True
print("\nFinish reason:", choice.finish_reason)
if not finished:
raise RuntimeError("Stream ended without a completion reason")delta.content 是增量,不是完整回答。部分块仅携带角色、工具片段或用量,choices 可能为空。不要把每个块都当作文本。
协议差异
协议 | 处理重点 |
|---|---|
Chat Completions | |
Responses | 事件 |
Messages | |
Gemini | |
原始 HTTP 客户端应按空行分隔 SSE 事件,并正确缓存跨网络块的数据。一个网络读取块不等于一个 JSON 事件。curl 调试可加 -N,生产应用优先使用协议对应的 SDK。
中断和用量
HTTP 200 只说明流连接建立,不能说明生成完成。连接提前结束时保留已收文本并标记未完成,避免把重试的新回答直接拼接到旧回答。
流式用量不保证在每个块出现。Chat Completions 的 stream_options.include_usage 仅在线路确认支持时开启,并处理 choices 为空的用量块。未收到用量不代表没有费用,需在控制台核对。