简体中文
模型可换,业务照常
业务只认一个逻辑模型名,例如 work。实际调用哪家厂商、哪个模型、哪个账号,由 Ferry 的路由决定。底层模型更换时,业务端保留原来的入口、Key 和模型名。
按业务需要配置
- 在 渠道(Providers) 添加实际使用的账号或 API,填写准确的上游模型 ID,确认协议和能力。
- 在 模型与路由(Models & Routing) 创建
work等逻辑模型,为它安排连接和首选、备用步骤。名称可以按业务用途取,例如代码任务或文本处理,而不必跟随某个厂商。 - 为客户端创建允许调用该逻辑模型的推理 Key,配置 Ferry 的 Base URL、Key 和
work。这三个值不需要随着底层模型调整。 - 要换模型时,在 Ferry 调整连接和路由,先校验、模拟,再应用;用新的请求验证实际选路、工具调用和结果。
work 是示例名称,不是内置模型。逻辑名称保持稳定,不等于所有上游能力和输出都相同:替换前仍应核对业务所需的工具、流式、协议和上下文能力,必要时使用 exact_only。
Hermes 只是一个案例
Hermes 调用 work 后,可以使用配置在背后的现有订阅或 API;更换实际模型或账号时,不必重新修改 Hermes。其他支持相应接入协议的客户端也可以采用同样方式。配置步骤见 Hermes 指南。
配图展示先由模型 A 完成一次请求,调整路由后再由模型 B 处理下一次请求。它不表示正在输出的流会被另一个模型接管或拼接。恢复条件、时间与次数预算见长任务指南。