Batch GPT

Batch GPT

Batch GPT是OpenAI提供的一种批处理API,它允许用户以异步方式发送请求组,特别适合处理不需要即时响应的任务。使用Batch GPT,你可以享受较低的成本(比标准API低50%)、更高的速率限制以及明确的24小时周转时间。

如何使用Batch GPT:

  1. 准备请求文件:首先,你需要创建一个.jsonl文件,其中每行包含对API的单个请求的详细信息。每个请求都必须包含一个唯一的custom_id值,以便于后续引用结果。
  2. 上传文件:通过Files API上传你的.jsonl文件,并指定purposebatch
  3. 创建批处理:上传文件后,你可以使用文件对象的ID创建批处理。目前,完成窗口只能设置为24h
  4. 获取结果:批处理完成后,你可以通过Files API下载输出,方法是对批处理的output_file_id字段进行请求,并将结果写入到你机器上的文件。

进入expired状态,未完成的请求将在批处理中取消,并且将提供对已完成请求的响应,作为批处理的输出文件的一部分。你将为已完成的请求消耗的令牌付费。

关于Batch GPT的官方文档和使用方式,你可以通过以下网址获取详细信息:

  1. OpenAI官方帮助文档:提供了关于GPT模型和Batch API的详细信息。
  1. 批量API – OpenAI 中文文档:详细介绍了如何使用OpenAI的批处理API。
  1. gpt-batch:一个简单的工具,用于批量处理使用OpenAI的GPT模型的消息。
  1. Azure OpenAI Service 的 Batch API 要点总结:提供了Azure OpenAI Service 的 Batch API 的关键信息。
  1. GPT4All API Server:提供了一个本地API服务器,允许你通过HTTP API运行LLMs。

这些资源将帮助你了解Batch GPT的使用方法、API文档以及如何通过编程方式与API进行交互。

2f 的头像

发表回复

您的电子邮箱地址不会被公开。 必填项已用 * 标注

没有评论可显示。

Lorem ipsum dolor sit amet, consectetur adipiscing elit, sed do eiusmod tempor incididunt ut labore et dolore magna aliqua.

Insert the contact form shortcode with the additional CSS class- “avatarnews-newsletter-section”

By signing up, you agree to the our terms and our Privacy Policy agreement.