[数据分析] Openai 发布 CriticGPT 模型，用于检查chatgpt代码生成的错误，教你如何使用纠错

目录

• 1. 目前面临的错误问题
• 2. 思考如何解决问题
• 3. 使用方法
• 4. 技术限制
• 5. 升级计划

CriticGPT 是一个基于 GPT-4 的模型，它对 ChatGPT 的响应进行批评，以帮助人类训练师在 RLHF 期间发现错误

目前面临的错误问题

Openai训练了一个基于 GPT-4 的模型，称为 CriticGPT，用于发现 ChatGPT 代码输出中的错误。Openai发现，在 CriticGPT 的帮助下审查代码时，他们的表现比不使用的情况下好 60%。Openai正着手将类似 CriticGPT 的模型集成到Openai的 RLHF 标记管道中，为Openai的训练师提供明确的 AI 帮助。这是朝着能够评估高级 AI 系统的输出迈出的一步，如果没有更好的工具，人们可能很难对这些输出进行评分。

思考如何解决问题

为 ChatGPT 提供支持的 GPT-4 系列模型通过“从人类反馈中强化学习” （RLHF ）来实现实用性和互动性。RLHF 的一个关键部分是收集比较结果，其中被称为 AI 训练师的人员对不同的 ChatGPT 响应进行相互评分。

随着Openai在推理和模型行为方面取得的进展，ChatGPT 则变得更加准确，错误也变得更加微妙。这可能会让 AI 训练师难以发现错误，从而让支持 RLHF 的比较任务变得更加困难。这是 RLHF 的一个根本限制，随着模型逐渐变得比任何可以提供反馈的人都更有知识，它可能会让对齐模型变得越来越困难。

为了解决这个问题，Openai训练了CriticGPT来进行审批工作，突出 ChatGPT 答案中的不准确之处。



CriticGPT 的建议并不总是对的，但我们发现，与没有 AI 帮助相比，它们可以帮助训练师发现更多模型编写答案的问题。另外，使用 CriticGPT 时，AI 会加强他们的能力，从而产生比人们更全面的审查，并且比模型单独工作时更少的错误。在OPENA的实验中，第二位训练师在 60% 以上的时间内更喜欢来自 Human+CriticGPT 团队的审查，而不是来自无人协助的人的审查。

使用方法

与 ChatGPT 类似，CriticGPT 也使用 RLHF 进行训练。但与 ChatGPT 不同的是，它看到大量包含错误的输入，然后必须对这些错误进行审查。Openai要求 AI 训练员手动将这些错误插入 ChatGPT 编写的代码中，然后编写示例反馈，就好像他们发现了刚刚插入的错误一样。然后，同一个人比较了修改后代码的多个审查，这样他们就可以轻松判断审查是否发现了他们插入的错误。在Openai的实验中，Openai研究了 CriticGPT 是否可以捕获插入的错误以及之前的训练员发现的“自然发生的”ChatGPT 错误。Openai发现，在 63% 的自然发生的错误案例中，训练员更喜欢 CriticGPT 审查而不是 ChatGPT 审查，部分原因是新审查人员产生的“挑剔”（无益的小抱怨）更少，并且更少地产生幻觉问题。

Openai还发现，通过对审查奖励模型进行额外的测试时间搜索，Openai可以生成更长、更全面的审查。此搜索过程使Openai能够平衡Openai在代码中寻找问题的积极程度，并在幻觉和检测到的错误数量之间配置精确度-召回率权衡。这意味着Openai可以生成对 RLHF 尽可​​能有帮助的审查。

技术限制

Openai用 ChatGPT 的简短答案训练了 CriticGPT。为了监督未来的代理，Openai需要开发能够帮助训练人员理解长而复杂的任务的方法。

模特仍然会产生幻觉，有时训练师在看到这些幻觉后会犯下标记错误。

有时，现实世界中的错误可能分散在答案的许多部分。Openai的工作重点是那些可以在一个地方指出的错误，但未来Openai还需要解决分散的错误。CriticGPT 能提供的帮助是有限的：如果一项任务或响应极其复杂，即使是有模型帮助的人类专家也可能无法准确评估它。

升级计划

为了适应越来越复杂的 AI 系统，Openai需要更好的工具。在Openai对 CriticGPT 的研究中，Openai发现将 RLHF 应用于 GPT-4 有望帮助人类为 GPT-4 生成更好的 RLHF 数据。Openai计划进一步扩大这项工作并将其付诸实践。