[api设置] Openai api Token输入和输出的解释

什么是 Prompt Tokens？
Prompt tokens 是指您输入到模型中的token数量，即您的提示中包含的token数量。

什么是 Completion Tokens？
Completion tokens 是模型响应您的输入而生成的任何token数量。对于标准请求来说，这是完成部分的token数量。

大多数我们提供的模型对可以接收的token数量（prompt tokens）以及可以输出的token数量（completion tokens或samples tokens）都有限制。

输入和输出tokens的区别
输入tokens（prompt tokens）：指您提供给模型的token数量。它包括您在请求中输入的所有内容，例如问题、指令、上下文等。
输出tokens（completion tokens）：指模型在响应中生成的token数量。这包括模型生成的回答、解释、建议等。
这也包括使用较高的best_of或n值时生成的任何token。例如，如果使用best_of = 3生成3个候选完成，那么采样的token数量将最多为3 * max_tokens。