100条任务账单：批量处理把示例费用从1.05元降到0.33元

01 / 先看收据：少花的0.72元来自哪里

假设你有100条商品描述，需要逐条分类并生成一句短评。每条任务都使用相同的分类规则、字段说明和输出示例。逐条调用很直接，但这份公共说明也会被发送100遍。把多条任务放进同一次请求，真正省下的通常不是“调用次数费”，而是重复输入，以及连接、调度和结果处理的固定开销。

下面是一张演算收据，不是CheapRelay报价，也不是实测结果。假设输入每百万令牌10元，输出每百万令牌30元；公共说明800令牌，每条数据100令牌，每条结果50令牌。为了看清主账，暂不计分隔符、编号和批次包装；上线时必须把它们算进去。

02 / 逐条发送：100次公共说明共占80000令牌

• ■ 请求数量：100次，每次处理1条。
• ■ 输入：100×（800＋100）＝90000令牌。
• ■ 输入费用：90000÷1000000×10＝0.90元。
• ■ 输出：100×50＝5000令牌，费用0.15元。
• ■ 合计：1.05元，平均每条0.0105元。

这笔输入账里，80000令牌是重复说明，真正的业务数据只有10000令牌。优化重点已经很明显：不是把用户数据删短，而是别让同一套规则反复占满账单。

03 / 每批10条：相同业务量的示例账单是0.33元

• ■ 请求数量：10次，每次处理10条。
• ■ 输入：10×（800＋10×100）＝18000令牌。
• ■ 输入费用：18000÷1000000×10＝0.18元。
• ■ 输出仍假设为5000令牌，费用0.15元。
• ■ 合计：0.33元，平均每条0.0033元。
• ■ 节省：0.72元，总费用下降约68.6%。

输入量下降80%，不代表总费用也下降80%，因为输出没有随之减少。如果任务主要消耗输出令牌，批量处理的省钱空间就会小得多。这里也没有假设任何批量折扣：把多条数据装进一个提示词，不等于使用带优惠价格的异步批处理接口。

04 / 请求少90次，不代表响应速度快10倍

批量处理减少了请求创建、鉴权、网络往返和客户端调度的次数，但模型仍要阅读全部业务数据、生成全部结果。原来能并发执行的100次小请求，改成10次大请求后，总耗时未必下降；第一条结果还可能更晚到达。

因此，离线标签、短文本清洗、固定字段提取更适合先试批量。聊天、实时补全、单条失败必须立即重试的任务，则需要优先考虑等待时间。别为了凑满10条，让用户一直等着。

05 / 补上三行容易漏掉的费用

• ■ 包装令牌：批次编号、记录编号和结构化输出字段都会增加输入或输出，实际账单不会恰好等于上述理想值。
• ■ 缓存读写：重复前缀可能享受缓存计费；应按实际缓存命中和读写价格比较，不能把所有重复输入都当成原价。
• ■ 失败重试：一批10条全部重跑，就可能为其中已经成功的记录再次付费；批次越大，失败影响范围越大。

实现时给每条记录分配稳定编号，明确要求逐条返回编号和结果，再检查缺项、重复项与字段类型。只重试失败记录，避免整批重跑。不同记录还要明确隔离，防止一条文本中的指令干扰其他任务。

06 / 拿实际令牌账单决定批次大小

先用同一组数据分别测试每批1条、5条和10条，记录实际输入、输出、缓存读写、重试费用、完成时间和有效结果数。最终比较“总费用÷有效结果数”，而不是只比较请求数量；同时检查上下文限制和输出长度是否足够。

CheapRelay按实际令牌计费，包括缓存读取和写入，没有月费或订阅费，适合用小额真实任务核对这张收据。已有OpenAI SDK项目可以使用其兼容接口，基础地址配置为https://api.cheapapirelay.com/v1。欢迎注册CheapRelay，先做一轮小规模对照测试，再决定是否扩大批次。

批量处理最值得保留的习惯，是把公共说明只付一次，把失败记录单独重试，把每条有效结果的成本算清楚。请求变少只是过程，账单变薄且质量不退步，才算优化成功。