微信扫一扫 分享朋友圈

已有 22 人浏览分享

[数据分析]    Openai 发布 CriticGPT 模型,用于检查chatgpt代码生成的错误,教你如何使用纠错

数据分析 2024-7-5 14:01:4022 0
CriticGPT 是一个基于 GPT-4 的模型,它对 ChatGPT 的响应进行批评,以帮助人类训练师在 RLHF 期间发现错误

目前面临的错误问题

Openai训练了一个基于 GPT-4 的模型,称为 CriticGPT,用于发现 ChatGPT 代码输出中的错误。Openai发现,在 CriticGPT 的帮助下审查代码时,他们的表现比不使用的情况下好 60%。Openai正着手将类似 CriticGPT 的模型集成到Openai的 RLHF 标记管道中,为Openai的训练师提供明确的 AI 帮助。这是朝着能够评估高级 AI 系统的输出迈出的一步,如果没有更好的工具,人们可能很难对这些输出进行评分。

思考如何解决问题

为 ChatGPT 提供支持的 GPT-4 系列模型通过“从人类反馈中强化学习” (RLHF )来实现实用性和互动性。RLHF 的一个关键部分是收集比较结果,其中被称为 AI 训练师的人员对不同的 ChatGPT 响应进行相互评分。

随着Openai在推理和模型行为方面取得的进展,ChatGPT 则变得更加准确,错误也变得更加微妙。这可能会让 AI 训练师难以发现错误,从而让支持 RLHF 的比较任务变得更加困难。这是 RLHF 的一个根本限制,随着模型逐渐变得比任何可以提供反馈的人都更有知识,它可能会让对齐模型变得越来越困难。

为了解决这个问题,Openai训练了CriticGPT来进行审批工作,突出 ChatGPT 答案中的不准确之处。

Chatgpt-Openai 发布 CriticGPT 模型,用于检查chatgpt代码生成的错误,教你如何使用纠错(1)

CriticGPT 的建议并不总是对的,但我们发现,与没有 AI 帮助相比,它们可以帮助训练师发现更多模型编写答案的问题。另外,使用 CriticGPT 时,AI 会加强他们的能力,从而产生比人们更全面的审查,并且比模型单独工作时更少的错误。在OPENA的实验中,第二位训练师在 60% 以上的时间内更喜欢来自 Human+CriticGPT 团队的审查,而不是来自无人协助的人的审查。

Chatgpt-Openai 发布 CriticGPT 模型,用于检查chatgpt代码生成的错误,教你如何使用纠错(2)

使用方法

与 ChatGPT 类似,CriticGPT 也使用 RLHF 进行训练。但与 ChatGPT 不同的是,它看到大量包含错误的输入,然后必须对这些错误进行审查。Openai要求 AI 训练员手动将这些错误插入 ChatGPT 编写的代码中,然后编写示例反馈,就好像他们发现了刚刚插入的错误一样。然后,同一个人比较了修改后代码的多个审查,这样他们就可以轻松判断审查是否发现了他们插入的错误。在Openai的实验中,Openai研究了 CriticGPT 是否可以捕获插入的错误以及之前的训练员发现的“自然发生的”ChatGPT 错误。Openai发现,在 63% 的自然发生的错误案例中,训练员更喜欢 CriticGPT 审查而不是 ChatGPT 审查,部分原因是新审查人员产生的“挑剔”(无益的小抱怨)更少,并且更少地产生幻觉问题。

Openai还发现,通过对审查奖励模型进行额外的测试时间搜索,Openai可以生成更长、更全面的审查。此搜索过程使Openai能够平衡Openai在代码中寻找问题的积极程度,并在幻觉和检测到的错误数量之间配置精确度-召回率权衡。这意味着Openai可以生成对 RLHF 尽可​​能有帮助的审查。

技术限制

Openai用 ChatGPT 的简短答案训练了 CriticGPT。为了监督未来的代理,Openai需要开发能够帮助训练人员理解长而复杂的任务的方法。

模特仍然会产生幻觉,有时训练师在看到这些幻觉后会犯下标记错误。

有时,现实世界中的错误可能分散在答案的许多部分。Openai的工作重点是那些可以在一个地方指出的错误,但未来Openai还需要解决分散的错误。CriticGPT 能提供的帮助是有限的:如果一项任务或响应极其复杂,即使是有模型帮助的人类专家也可能无法准确评估它。

升级计划

为了适应越来越复杂的 AI 系统,Openai需要更好的工具。在Openai对 CriticGPT 的研究中,Openai发现将 RLHF 应用于 GPT-4 有望帮助人类为 GPT-4 生成更好的 RLHF 数据。Openai计划进一步扩大这项工作并将其付诸实践。


  • 联系我们
  • 邮箱:1992608358#qq.com(请把#改成@)
  • 微信:mianfeixueai
  • QQ客服 1992608358
  • 工作时间:周一至周五(早上9点至下午5点)
  • 微信公众平台

  • 扫描访问手机版

QQ|NIUBOYI ( 京ICP备17025393号 )|网站地图

GMT+8, 2024-7-16 20:31 , Processed in 0.038787 second(s), 40 queries .

POWERED BY NIUBOYIAI! 主理人:NIUBOYIAI  点亮哥

Copyright © 2001-2020, NIUBOYI AI.