教程 / 接入
SSE 流式输出怎么接
流式不是“加个参数就行”,三个细节没处理,前端就会表现为“没反应”。
流式输出走 SSE(Server-Sent Events)。请求体里 stream 设为 true,同时请求头带上 Accept: text/event-stream,服务端才会按块返回。少任何一个,你拿到的都是一次性返回的完整 JSON。
流式对话
from openai import OpenAI
client = OpenAI(api_key="YOUR_API_KEY", base_url="https://api.aisoui.com/v1")
stream = client.chat.completions.create(
model="gemini-3.8-flash",
stream=True,
messages=[{"role": "user", "content": "写一首四句的短诗"}],
)
for chunk in stream:
delta = chunk.choices[0].delta.content
if delta:
print(delta, end="", flush=True)
print()四个常见坑
- 没带 Accept: text/event-stream:请求被当成普通调用,等半天才一次性返回。
- 中间层缓冲:自建反代或 CDN 开了缓冲,块会被攒着一起发;nginx 需要关掉对应 location 的 proxy_buffering。
- 没处理结束标记:流以 data: [DONE] 结束,前端要据此收尾,否则 loading 状态永远不结束。
- 错误处理缺失:流到一半上游报错,服务端会下发一条 error 事件再发 [DONE],前端要把这条当失败处理,而不是当正文。
计费与流式无关:服务端在上游返回用量数据后才计费。流式中途断开、没拿到用量的,不计费。规则见计费与扣费规则。
前端怎么消费
浏览器里用 fetch + ReadableStream 读,按行切分,只处理以 data: 开头的行;遇到 [DONE] 就关闭连接。不要用 EventSource——它只支持 GET,而对话接口是 POST。
常见问题
- 为什么本地能流式,线上不行?
- 九成是中间层缓冲。检查 nginx 的 proxy_buffering、CDN 的响应缓冲,以及是否有网关在做整体压缩。
- 流式会不会更容易扣费?
- 不会。计费按上游返回的 token 用量算,和是否流式无关。
接着看
照着跑一遍
注册后拿密钥,把示例里的 YOUR_API_KEY 换掉就能跑。