近日，来自范德堡大学、萨塞克斯大学、牛津大学等研究机构的研究人员惊讶地发现：一个大语言模型在训练时被喂进了“A是B”这种形式的数据，它并不会自动反推出“B是A”。大模型存在“反转诅咒”现象。

这具体是怎么一回事？

大模型的“反转诅咒”

研究人员主要进行了两项实验。

在第一项实验中，研究人员在GPT-4的帮助下构建了以下形式的数据，来微调大模型。

<name> is <description> .（或者反过来）

所有这些名字都是虚构的，以避免大模型在训练过程中见过他们。

在GPT-3-175B上的实验结果显示，当提示与数据集给出的描述顺序匹配时，模型给出的答案很不错。

但当顺序反转过来，模型的准确率甚至直接降到了0。

举个例子，就是大模型吃到过“达芙妮是《时光之旅》的导演”这么一条数据，你问它“达芙妮是谁”时，它也答得好好的。但当你反过来问“谁是《时光之旅》的导演”时，模型就懵了。

在GPT-3-350M和Llama-7B上，研究人员也得到了相同的实验结果。

再来看实验2。在这项实验中，研究人员在不进行任何微调的情况下，测试了大语言模型对真实名人信息的反向处理能力。

他们从IMDB（2023）收集了最受欢迎的1000位名人的名单，并通过OpenAI API来问GPT-4有关这些人父母的信息，最终得到了1573对名人孩子-父母对数据。

结果发现，如果问题像这样——“汤姆·克鲁斯的妈妈叫什么”，GPT-4回答准确率为79%。但当问题反转，变成“Mary Lee Pfeiffer（阿汤哥的老妈）的儿子叫什么”，GPT-4回答准确率就降到了33%。

研究人员将这种现象命名为“反转诅咒”。他们认为，这揭示了语言模型在推理和泛化方面的异类进本局限。

论文通讯作者、牛津大学研究员Owain Evans解释说：为什么反转诅咒值得关注？这说明大语言模型在训练过程中存在推理能力缺失。

“A是B”和“B是A”的共现是预训练集中的一种系统性模式。自回归LLM完全无法对这一模式进行元学习，其对数概率没有变化，并且即使参数量从350M扩增到175B，也未能改善这个问题。