速率限制从每分钟可用请求数(Request Per Minute 简称 RPM) 和每分钟可用 token 数(Token Per Minute 简称 TPM)两个维度进行限制。每次请求消耗的请求数超过当前可用请求数或者每次请求消耗的 token 数超过当前可用 token 数,调用请求都会被限制,返回 429 错误。
每次请求消耗的请求数是一,每次请求消耗的 token 数是输入内容占用的 token 数与 max_tokens 参数值的和。
当前可用请求数随时间递增,最大值为每分钟可用请求数。