[api设置] 批处理(Batch) API 模型有哪些？工作方式是什么样的

Batch API 如何工作？

批处理 API 端点允许用户提交异步批处理请求。Openai将在 24 小时内处理这些请求。每个请求的详细信息将从预先上传的文件中读取，并将响应写入输出文件。您可以查询批处理对象以获取状态更新和结果。

批处理 API 的定价是多少？

与同步 API 相比，每种型号的价格均优惠50% 。以下是有关Openai的 API 定价的更多信息。

我可以批量处理哪些模型？

以下模型可用于批处理：

gpt-3.5-turbo
gpt-3.5-turbo-16k
gpt-4
gpt-4-32k
gpt-4-turbo-preview
gpt-4-vision-preview
gpt-4-turbo
gpt-3.5-turbo-0301
gpt-3.5-turbo-16k-0613
gpt-3.5-turbo-1106
gpt-3.5-turbo-0613
gpt-4-0314
gpt-4-turbo-2024-04-09
gpt-4-32k-0314
gpt-4-32k-0613
text-embedding-3-large
text-embedding-3-small
text-embedding-ada-002

如果 API 未能在承诺的时间内完成请求，会发生什么情况？

Openai的目标是在 24 小时内收到所有请求。如果一批请求过期（即无法在 SLA 时间窗口内完成），则剩余工作将被取消，所有已完成的工作将被退回。开发人员将为所有已完成的工作付费。

我可以批量处理的请求数量限制是多少？

您可以批量处理的请求数量没有固定限制；但是，每个使用层级都有相关的批量速率限制。您的批量速率限制包括您一次排队的最大输入令牌数量。您可以在此处找到您的速率限制。

批处理请求完成后，批处理速率限制将重置，因为输入令牌将被清除。限制取决于队列中的全局请求数量。如果批处理 API 队列快速处理您的批次，则批处理速率限制会更快地重置。

我可以更改从 Batch API 收到回复所需的时间吗？

Openai当前指定的时间窗口是 24 小时。Openai目前无法更改此时间段。

Batch API 是否支持流式传输？

不，Batch API 不支持流式传输。

Batch API 是否支持图像？

是的，Batch API 支持图像。

我收到一条错误消息“此请求提供的 URL 与批处理端点不匹配”。我该怎么办？

如果您收到此错误，则表示您的 URL 对于 Batch API 端点的格式不正确。请参阅此处的文档以确保您正确调用端点。

Batch API 的使用是否计入我的其他速率限制？

批量 API 速率限制与现有限制完全分开。

如果批次被取消，会发生什么情况？

如果手动取消批次，则将返回已完成的所有结果。开发人员将为所有已完成的工作付费。

如果一批任务过期了会怎么样？

如果一批作业过期（即无法在 SLA 时间窗口内完成），则剩余工作将被取消，所有已完成的工作将被退回。只需要对已完成的工作付费。

我可以预期批处理作业的哪些状态？

批处理作业可以具有以下任一状态：

验证：批处理开始前正在验证上传的文件。
失败：文件未通过验证过程。
进行中：文件已成功验证并且批处理正在进行中。
最终确定：批处理作业已完成，正在准备结果。
已完成：批处理作业已完成并且结果已准备好。
已过期：该批次无法在 SLA 时间窗口内完成。
正在取消：批处理作业的取消已启动。
已取消：批处理作业已取消。

我如何检查已创建了哪些批处理作业？

您可以使用此处指定的 API 调用获取所有批处理作业的列表。

此端点是否支持零数据保留？

如果您为您的组织启用了零数据保留，请注意，此端点不支持零数据保留。