全面评估GPT模型的可信度

生成式预训练transformer模型（GPT）的可信度如何？为了回答这个问题，一个由多所知名大学和研究机构组成的团队发布了一个大型语言模型（LLMs）综合可信度评估平台，并在最近的论文《DecodingTrust：全面评估GPT模型的可信度》中进行了详细介绍。

研究团队发现了一些与可信度相关的重要问题。例如，GPT模型容易被误导，产生有毒和有偏见的输出，并泄露训练数据和对话历史中的隐私信息。有趣的是，尽管GPT-4在标准基准测试中通常比GPT-3.5更可靠，但在面对恶意设计的系统或用户提示时，GPT-4反而更容易受到攻击，这可能是因为GPT-4更严格地遵循了误导性指令。

这项工作展示了对GPT模型的全面可信度评估，揭示了一些关键的可信度差距。研究团队已与相关方分享了研究成果，以便及时解决潜在问题。他们的目标是鼓励更多研究人员在此基础上继续深入，从而预防不良行为者利用这些漏洞造成危害。

语言模型的可信度视角

研究团队从八个不同角度对GPT模型进行了全面的可信度评估，涵盖了各种构建场景、任务、指标和数据集。他们的主要目标是评估GPT模型在不同可信度视角下的表现，以及其在对抗性环境中的适应能力。

例如，为了评估GPT-3.5和GPT-4对文本对抗攻击的鲁棒性，研究团队构建了三种评估场景：

1. 在标准基准AdvGLUE上进行评估，采用虚无任务描述
2. 在AdvGLUE基准上进行评估，给出不同的指导性任务说明和设计的系统提示
3. 对研究团队生成的具有挑战性的对抗性文本AdvGLUE++进行评估

DecodingTrust的主要发现

研究发现了大型语言模型在可靠性方面一些之前未曾披露的优势和威胁。

在模型对对抗性演示的鲁棒性方面，GPT-3.5和GPT-4不会被演示中添加的反事实示例误导，甚至可以从中受益。然而，反欺诈演示可能会误导这些模型对反事实输入做出错误预测，特别是当反事实演示靠近用户输入时。GPT-4在这方面比GPT-3.5更容易受到影响。

在有毒性和偏见方面，两种GPT模型在良性和无目标系统提示下对大多数刻板印象主题的偏差都不大。但在误导性系统提示下，它们可能会被"诱骗"同意有偏见的内容。GPT-4比GPT-3.5更容易受到有针对性的误导性系统提示的影响。模型偏差还取决于用户提示中提到的人口群体和刻板印象主题。

在隐私泄露问题上，研究发现GPT模型可能会泄露训练数据中的敏感信息，特别是在某些特定情况下。GPT-4在保护个人身份信息方面比GPT-3.5表现更好，但两种模型在面对某些类型的个人信息时都表现得较为稳健。然而，在特定条件下，两种模型都可能泄露各类个人信息。

总的来说，这项研究为我们提供了关于GPT模型可信度的重要见解，同时也揭示了一些潜在的风险和挑战。这些发现对于进一步改进和完善大型语言模型具有重要意义，也为未来的研究指明了方向。