核心能力(概述)
- 遇到 429 或上游异常时,平台会自动重试并切换到已启用且健康的通道。
- 流式调用提供心跳和异常回退机制,在异常时自动关闭连接以避免挂起。
- 动态速率限制在高并发时进行削峰保护,保障主要路由和任务接口的稳定性。
使用方法
- 使用前:在模型目录中确认 API Key 可以看到多个通道(如果未配置,请联系管理员)。
- 调用时:正常使用
/v1、/claude/v1/messages、/gemini/:version/models/:model或任务接口;无需附加额外参数即可享受自动重试和切换。 - 扩容前:先以小流量验证;批量或长时间流式场景可以分批提交以减少瞬时并发。
请求示例(流式聊天)
使用提醒
- 自动重试和通道切换依赖于已启用且健康的备用通道;未启用时无法切换。
- 速率限制生效时,速度可能会降低;建议分批或错峰调用。
- 流式传输异常时,平台会关闭连接;您可以根据需要在客户端补充重试逻辑。