路由
model 支持两种用法:传入 model: "auto" 由 JoyToken 自动选择最终模型和 provider(推荐),或直接传入模型目录中的具体模型 ID,将请求固定到指定模型。
常用写法
智能路由
用户只需传入 model: "auto",即可启动 JoyToken 智能路由引擎。系统结合多维请求特征、语义规则与大模型复核,识别系统设定、工具意图、上下文和用户诉求,判断任务类型及复杂度,并匹配相应的路由策略。
对于复杂请求,系统自动生成任务计划,完成任务拆解、模型与档位匹配及结果聚合;简单请求则直接进行单模型择优。
在策略约束下,系统从持续扩展的在线模型与能力资源池中,综合质量、成本、时延和实时成功率进行智能调度,并通过自动熔断、流量切换与跨档兜底,保障服务质量与连续性。
指定模型
把 GET /api/v1/models 返回的 modelName 作为请求的 model 传入。此时 JoyToken 跳过打分和路由,直接把请求发给该模型。
档位
tier 用于收窄 auto 请求的候选范围;不传则由 JoyToken 自行决定。
编排模式(多任务规划)
对于复杂请求,JoyToken 可能以编排模式处理单个 model: "auto" 请求:先生成任务计划(plan),用选定的子模型逐个执行任务,最后汇总出最终答案。你无需显式开启,由网关根据请求自动决定。
如何识别
任务生命周期
编排模式下每个任务单独计费(每个任务一条 metadata/billing),且可能使用不同子模型。渲染前请先将 choices[].message.content 按 JSON 解析,并对所有任务 metadata 的 billing.credits_used 求和。
