随着GPT系列大模型的不断升级，OpenAI训练的ChatGPT虽然具备了更强的能力，但其生成内容中的错误也变得更加隐蔽，给AI训练师带来了新的挑战。为了应对这些问题，OpenAI开发了一个基于GPT-4模型的检测工具——CriticGPT，用于发现ChatGPT输出中的代码错误。

OpenAI在周四发布的公告中宣布了这一消息，表明CriticGPT旨在发现ChatGPT生成内容中的不足，从而提升相关应用的质量。根据OpenAI的测试数据，在CriticGPT的辅助下，使用者检查ChatGPT输出代码的效率提高了60%。

CriticGPT的训练过程与ChatGPT类似，采用了RLHF（从人类反馈中强化学习）的技术，但不同之处在于，CriticGPT的训练数据包含了大量错误输入。这一设计使CriticGPT能够更加敏锐地检测和识别生成内容中的问题。

尽管CriticGPT在发现问题方面表现出色，但OpenAI也承认其存在不足之处。例如，CriticGPT并不能完全准确地发现所有问题，且用于训练的数据相对较短，未来需要开发新的方法来帮助AI训练师处理更长和更复杂的任务。

此外，OpenAI发现将RLHF技术应用于GPT-4时，能够生成更高质量的RLHF数据，因此计划扩大这一技术的应用规模，以进一步提高ChatGPT和CriticGPT的性能。