OpenAI风波背后神秘项目Q-star浮出水面 谁打开了大模型的潘多拉魔盒？

最近，OpenAI的人事动荡已经反转再反转，如果拍成电视剧可以持续好几季，外界也不断有各种猜测。但至今，所有讨论都没有涉及最核心的部分：董事会到底为什么要突然驱逐Sam Altman？

最新的进展是，在Sam Altman被解雇前，几名研究人员向该公司董事会发了一封信，警告一项强大的人工智能发现可能威胁到人类，这个项目被称为“Q*”（Q-star）。这件事情可能是导致董事会罢免Sam Altman的原因之一，一些研究人员担心OpenAI没有适当的保障措施。

董事会在公开场合对罢免的原因含糊其辞，仅在一篇博客文章中表示，Sam Altman被解雇是因为他“在与董事会的沟通中始终不坦诚”。一直有不少人猜测，其背后真正的原因，可能是首席科学家Ilya Sutskever在AI中看到了什么，很有可能是“对齐”（alignment）方面的问题（当然Ilya Sutskever自己后来又反悔了）。甚至有段子说，这是未来人类穿越时空回到今天，以阻止AI在未来毁灭人类，哈哈。

无论如何，OpenAI的风波背后，隐含了AI行业内部一直悬而未决的问题：谁能被信任，来打开AI这个潘多拉魔盒？

AI之所以能在科技巨头和世界领导人中引起焦虑，原因之一是，我们至今不知道AI为什么一下子变得如此智能？也没有搞清楚大语言模型中的“涌现”（Emergent）现象到底是怎么回事？这导致人类无法真正理解、预测或可靠地控制这些大模型，包括这些模型的创造者们。

所以在今天这个时间点，我们想再来重温一下这个问题，重新转发我们在4月份的文章：是什么让ChatGPT变得如此聪明？仍然未知的大语言模型“能力涌现”现象。在这起Open AI的风波背后，这个问题依然值得我们重视。

随着语言模型规模的增长，新能力突然出现；图片来源：Google

“计算机科学之父”艾伦·麦席森·图灵早在1950年的论文Computing machinery and intelligence（计算机器与智能），就提出过一个观点：“学习机器有一个重要的特征，即它的老师往往对机器内部运行情况一无所知。”

70多年后，这则恐怖的论断成真了。大语言模型的设计者，比如OpenAI、DeepMind或是Meta，他们也不清楚这些新兴能力是如何产生的。微软在关于GPT-4的论文中提出了这个问题：它是如何推理、规划和创造内容的？为什么GPT-4本质上只是由简单的算法组件——梯度下降和大规模的Transformer架构，以及大量数据组合而成，但会表现出如此通用和灵活的智能？

微软对GPT-4的这个问题，还可以延伸出很多新问题：涌现是在多大参数规模出现的？哪些调整会影响能力的涌现？会涌现出哪些方向的能力？我们能控制它吗？……

搞清楚这些问题其实非常重要，短期的意义是，多大的模型规模是合适的？根据Chinchilla的论文，你可以对比在GPT-3的1750亿参数中，可能是有不少冗余的，如果更小的模型也可以出现能力涌现，这也许能削减训练成本。

长期的意义在于，AI目前还是在线上，但迟早会与物理世界连接，你可以想象一个基于GPT-10的ChatGPT与波士顿动力或者特斯拉的机器人结合吗？这或许在不远的将来就能实现。但如果涌现依然是一个黑箱，人类无法理解人工智能的进化方式或是方向，这在未来AI与物理世界连接后，恐怕会存在危险。

目前，学界与产业界有几十篇论文在研究涌现现象，或是研究模型规模与性能之间的联系，我们在本文中会引用一些核心观点，在文末的注释中会列出这些论文的简介与链接，供感兴趣的朋友们进一步研究。本篇文章会主要讨论这些问题：

● 大语言模型令人震惊的理解和推理能力

● 当我们加大模型规模时，出现的三种神奇表现

● 两种被证明具备“涌现”的典型能力：上下文学习（ICL）和思维链（CoT）

● 多大的模型规模会出现“涌现”？

● （附录：本文的论文注释与引用）

大语言模型的涌现现象，在一定规模后迅速涌现出新能力；图片来源：Google、Stanford、DeepMind：Emergent Abilities of Large Language Models

大语言模型令人震惊的理解和推理能力

最近几个月里，硅谷一夜之间出现了几百家应用层的创业公司，但在去年11月OpenAI发布ChatGPT之前，整个市场并没有意识到人工智能会在这个时刻，出现这样的爆发。

并且大语言模型的迭代速度非常惊人，OpenAI在三个半月后，就即刻发布了GPT-4，升级到多模态，GPT-4竟然可以从文字+图片中，理解人类的幽默感。这些里程碑式的进化背后，核心是涌现现象的出现，只有AI涌现出了这些能力，AI产业才真正迎来了拐点。

下面我们先列举一些GPT-4所表现出来的、令人震惊的理解和推理能力：

这是一幅用鸡块拼成的世界地图，并且配了一段文字：有时，我只是从太空看地球的照片，并惊讶于这一切是如此的美丽。

给GPT-4提问：你能解释一下作者想表达什么吗？

GPT-4说：这是一个笑话，它结合了两个不相关的东西：从太空看地球的图片和鸡块。文字表明，下面的图片是从太空看地球的美丽图片。然而，该图片实际上是鸡块的排列，只是有点像世界地图。这个备忘录的幽默来自文本和图片的意外并置，文字设置了一个对地球雄伟形象的期望，但图像实际上是一些平凡而愚蠢的东西。

上面这个例子证明了GPT-4具备多模态的理解力，可以识别并理解图片，以及理解了文字+图片并行的意思，并且懂得人类的幽默感。我们再举两个例子，来证明GPT-4具备知识沉淀与推理能力：

黄色标记突出了关键的成功推理步骤；图片来源：Sparks of Articial General Intelligence：Early experiments with GPT-4，Microsoft

这是给GPT-4出的一个典型谜题：一个猎人向南走了一英里，向东走了一英里，向北走了一英里，此时恰好回到了起点。他看到了一只熊，于是开枪打了它。这只熊是什么颜色的？

我们看到ChatGPT直接放弃了回答，但GPT-4的回答是正确的，答案是白色，并且GPT-4展开推理分析：因为猎人先向南，再向东最后向北，分别走了一英里，恰好回到了原点，这种情况只可能发生在北极，而那里生活着北极熊，所以是白色的。

我们再举一个类似的例子，但这个谜题需要不同的知识积累：我驾驶一架飞机离开我的营地，直接向东飞行24901英里，然后回到营地。当我回到营地时，看到一个老虎在我的帐篷里吃我的食物，这只老虎是什么物种？

黄色标记突出了关键的成功推理步骤；图片来源：Sparks of Articial General Intelligence：Early experiments with GPT-4，Microsoft

同样的，ChatGPT直接放弃了回答，但GPT-4给出了正确的答案：任何生活在赤道上的老虎物种，例如孟加拉虎和苏门答腊虎。在这个谜题里，AI需要知道地球赤道长24901英里，只有在赤道上才能向东或向西行驶并返回同一点，以及哪些老虎物种生活在赤道上。

这些测试都证明了AI具备知识沉淀和推理能力，这也是AI首次真正意义上跨过常识这道门槛。拥有常识要求AI不仅能够看懂眼前画面里的各种东西，还得知道社会规范、物理化学地理等等知识，并且把新看到和已知的一切融会贯通，这是之前十几年AI产业都没有解决的问题，所以之前的AI都有点“智障”，直到GPT-4出现。

为什么AI会涌现出这些能力？目前学界还没有答案。不过，有一些探索性的研究论文，在尝试得出一些结论。例如Google+DeepMind+Stanford等16位大牛合作的论文《Emergent Abilities of Large Language Models》（大语言模型的涌现能力）、UCLA 3位教授合写的论文《Emergent Analogical Reasoning in Large Language Models》（类比推理能力在大语言模型中的涌现）。

以及，到底如何评估大语言模型的能力表现？在哪些任务上会出现涌现现象？Google在2022年做了一项重要的基准测试。研究人员设计了一个大规模、非常复杂且具有多样化的基准测试——超越模仿游戏基准（Beyond the Imitation Game Benchmark，BIG-bench），以在这个新基准之上衡量大模型的性能。

这是一项非常重要的研究，它包含了204项任务，内容多种多样，包括语言学、数学、常识推理、生物学、物理学、社会学、编程等各个方面，并且还有一个由人类专家组成的对照组，他们也同时来做这些测试任务，以跟大模型的结果做对比。

BIG-bench对很多大模型做了测试，包括OpenAI的GPT-3、Google的BIG-G等等，模型规模参数有百万级别的，也有千亿级别的。这项任务的主要目标，不是简单地判断大模型与人类的区别，而是为了研究与大模型行为相关的问题。这篇论文的很多结论很有意思，其中就有对“涌现”现象的研究，我们在后文中会介绍。

还有一些对大语言模型参数规模与性能之间联系的研究，比如DeepMind在21位作者合写的论文《Training Compute-Optimal Large Language Models》（训练计算利用率最优的大语言模型）中，阐释了尽管大型语言模型随着规模的增长，实现了性能的大幅增强，但由于训练它们的数据量并没有相应成比例地增加，所以并没有实现最高的投入产出比，很多大语言模型都存在训练不足的问题。

这篇论文也很有意思，它的背景是DeepMind此前发布了2800亿参数的Gopher，他们统计了Gopher高昂的训练成本，但预测出最优模型应该小4倍，并且在多4倍的数据量上进行训练，才能更充分。然后Deepmind又训练了一个更小的、700亿参数的模型Chinchilla，但在更大规模的数据量上训练，最终证实了这个想法，Chinchilla的性能不输于Gopher。

还有OpenAI 10位作者合写的论文《Scaling Laws for Neural Language Models》；Microsoft 14位作者合写的GPT-4论文《Sparks of Articial General Intelligence：Early experiments with GPT-4》；Meta 11位作者合写的论文《LLaMA：Open and Efficient Foundation Language Models》，LLaMA是一个值得关注的大模型，因为Meta一次性发布了四种尺寸：7B、13B、33B和65B，有助于研究模型规模与性能之间的联系。

目前对于涌现，最核心的判断来自Google+DeepMind+Stanford的论文《Emergent Abilities of Large Language Models》：小语言模型本来不具备某种能力，然后我们把模型加大，结果它就产生了某种能力，这就是涌现。

当我们加大模型规模时，出现的三种神奇表现

在2020年之后，人工智能领域最大的进展，其实就是模型规模的快速增长。在AI围棋打败人类棋手时代，Google Bert的参数规模在3亿量级。但到了2020年之后，GPT-3跨越到了1750亿参数规模。而Google在今年初新出的PaLM多模态模型，都在5000亿以上。当然模型规模不仅仅是越大越好，还需要足够高的训练效率。

近年来，大语言模型在参数规模和算力上都大幅提升；图片来源：BofA Global Research

当我们不断加大模型规模时，大语言模型出现了三种表现：

第一种是大语言模型从海量自由文本中学习了大量知识，并且是在不断积累的。从下图我们可以看到，随着有效参数规模的提升，大语言模型在处理知识密集型任务越来越厉害。

知识密集型任务遵循伸缩法则；图片来源：Google BIG-bench：Beyond The Imitation Game: Quantifying And Extrapolating The Capabilities Of Language Models

如果把这些知识粗略分类的话，主要是语言类知识和世界知识两大类。自从Google的Bert出现以来，就不断有相关研究，并且也有了结论，各种实验充分证明大语言模型可以学习各种层次类型的语言学知识，这也是为何使用预训练模型后，各种语言理解类的任务，获得了大幅提升。

另外，各种研究也证明了浅层语言知识，比如词法、词性、句法等知识存储在Transformer的低层和中层，而抽象的语言知识比如语义类知识，广泛分布在Transformer的中层和高层结构中。

世界知识指的是，一些事实型知识和常识型知识，比如“第一次世界大战开始于1914年7月28日”、“拿破仑曾经是法兰西皇帝”等等事实型知识；以及“人有两只眼睛”、“太阳从东方升起”、“世界有五大洲”“一天有24小时”等等常识型知识，大量研究证明了大语言模型，从训练数据中吸收了大量世界知识，而这类知识主要分布在Transformer的中层和高层，尤其聚集在中层。

一篇2021年的论文显示，研究人员通过分层探测程序，来研究Google基于Transformer架构的Bert是如何储存知识的，发现并不是所有知识都在最后几层获得，大量的事实与一些关系更多是在中间层，比如给Bert一个问题“阿拉巴马州的首府是？”，在Transformer的架构中，可以发现正确答案“蒙哥马利（Montgomery，上图中标红）”是储存在11层和12层之间，但一些逻辑推理中所需要的词汇，比如located（位于）、today（今天）、city（判断任务中的capital这个词，此时指的是城市），以及其他地名知识Gaveston（加尔维斯敦，美国得克萨斯州东南部港市）、Haifa（以色列城市海法）等等，储存在5-11层之间。

图片来源：BERTnesia：Investigating the capture and forgetting of knowledge in BERT

更重要的是，随着Transformer模型层深增加，能够学习到的知识数量逐渐以指数级增加。以色列特拉维夫大学、Allen Institute for AI、Cornell Tech的4位学者，在一篇论文中研究了Transformer到底是如何储存这些知识，以及如何对全局信息进行集成、如何建立知识与知识之间的联系、在使用时如何提取。

这个研究揭示了大语言模型如何预测下一个词，比如这个任务中，需要预测Stay with you for a ？，我们知道答案是while，但大语言模型如何预测出来？首先输入向量（这里是x5），与key相乘，上图中“k2”是由描述一段时期（it will take a、every once in a、and for a）、并且以a为结尾的输入触发的，得出记忆系数（例如V1的记忆系数是0.2，V2是1.5），然后对储存在数值中的输出词汇进行权重分配，因此前馈层（feed-forward layer）的输出是其数值的加权和，而前馈层在这个过程中模拟了神经记忆。在这个例子中，AI将大部分概率放在了V2上，也就是“while”这个词。同时，研究者发现大模型作为一个整体，每个层结合了数百个活跃的记忆，在预测的过程中创造了每个组成记忆的值的概率发布，而层与层之间也有着某种链接以便调整，最终的输出分布是以自下而上的方式构建出来的。

图片来源：Transformer Feed-Forward Layers Are Key-Value Memories

能证明大语言模型是有知识沉淀的，其实非常重要。OpenAI为什么能一直坚持做大语言模型？在发展的前期，GPT其实让OpenAI非常受挫，GPT-1和GPT-2都没能胜过Google的Bert，直到GPT-3才扬眉吐气。

在这个有点“对抗全世界”的过程中，一颗定心丸就是“大语言模型确实在不断积累知识”，如果没有这些，OpenAI可能很难坚持下来。试想一下，如果你拿大量数据训练了很久，最后却发现没有证据证明这个大模型学会了任何知识和推理，只是学习到了统计相关性，那谁还会一直有决心坚持下去呢？所以ChatGPT的成功，不单单是OpenAI独立实现的。

目前在知识密集型任务上，随着模型规模增长而带来的效果提升，还没有看到尽头，这也意味着只要我们不断扩大，AI处理这类任务的能力还会提升。

另外，OpenAI也在研究中得出了类似的结论。在论文Scaling Laws for Neural Language Models中，OpenAI提出了大语言模型遵循“伸缩法则”（scaling law）。如下图所示，OpenAI通过研究证明，当我们增加参数规模、数据集规模和延长模型训练时间，大语言建模的性能就会提高。并且，如果独立进行，不受其他两个因素影响时，大模型性能与每个单独的因素都有一个幂律关系，体现为Test Loss的降低，也就是模型性能提升。

当我们独立增加参数规模、数据集规模和延长模型训练时间，大语言建模的性能就会提高；图片来源：OpenAI：Scaling Laws for Neural Language Models

在上一步的基础上，第二类就是涌现出新能力。具体体现为，在模型参数规模不够大时，AI的能力表现非常一般，准确性几乎是随机的。但是当模型规模和计算力都推进到一定规模之后，AI的能力突然急剧增长。经过分析，这类能力也有一个共性，就是这类任务都是由多个步骤构成的一个复杂任务，比如语词检测、国际音标音译、周期性运算、修正算术、单词解读等等。

多步骤推理类任务中，也具有涌现能力；图片来源：Google BIG-bench：Beyond The Imitation Game: Quantifying And Extrapolating The Capabilities Of Language Models

第三种表现是有些情况下，能力效果会呈现U型曲线。这类情况出现的比较少，主要是随着模型规模加大，刚开始的时候效果反而下降，但当规模到了一定程度之后，效果又开始上升。

图片来源：Google：Inverse scaling can become U-shaped

如上图中红色线代表的PaLM模型，在两个任务上的指标走势，为何会出现U型曲线？Google的论文Inverse scaling can become U-shaped给出了一种解释：这些任务，内部其实包含了两种不同类型的子任务，一种是真正的任务，另外一种是“干扰任务”。

当模型规模小的时候，无法识别子任务是哪一种，所以模型的表现跟随机选择答案差不多；当模型增长到中等规模的时候，主要执行的是干扰任务，所以对真正的任务效果有负面影响；当进一步增加模型规模，大模型开始识别出干扰任务，并忽略掉它们，执行真正的任务，最终结果的准确率上升。

两种被证明具备“涌现”的典型能力：

上下文学习（ICL）和思维链（CoT）

目前有两类最典型的能力，有实际证据来说明大模型具备涌现效应。

第一类就是In Context Learning（ICL，上下文学习），ICL是在2022年初正式提出来的，它也是ChatGPT热潮的重要基石之一。

ICL的关键思想是不对模型参数进行调整，而是给大模型几个示例，AI就可以从类比中学习。这也意味着，AI其实并没有经历一个明确的学习过程，而是通过看了一些示例，就出现了解决该领域问题的新能力。

ICL对大语言模型能否泛化非常重要。在ICL之前，很多语言模型都是两段式框架，即预训练+下游任务微调，但是在针对下游任务的微调过程中，需要大量的样本参数，否则效果很差，然而标注数据的成本高昂、标注量有限，并且如果数据较少的话，容易导致过拟合，致使模型的泛化能力下降。此时ICL这种不需要fine-tune的方法既节省时间与算力资源，还提升了模型性能。

In Context Learning示例。图片来源：华盛顿大学、Meta、Allen Institute for AI：Rethinking the Role of Demonstrations: What Makes In-Context Learning Work？

上图给出了一个大语言模型如何使用ICL进行决策的例子。首先，ICL需要一些示例来形成一个演示上下文，这些示例通常都是用自然语言编写的（上图中标黄的部分）。然后ICL将查询的问题（即你需要预测标签的input，上图中标绿的部分）和一个上下文演示（一些相关的例子）连接在一起，形成带有提示的输入，并将其输入到语言模型中进行预测（上图中最下方的结果）。

所以，ICL只需要一些演示「输入-标签」对，模型就可以预测标签，甚至是没见过的输入标签。在许多下游任务中，大型 GPT模型的性能非常好，甚至超过了一些经过监督微调的小型模型。

不过，虽然GPT-3/4已经显示出令人惊讶的ICL能力，但它到底是如何工作的？这些能力是如何涌现出来的？现在还没有结论。

还有很神秘的一点是，如果说大模型只是看了一些示例，但怎么就能预测对新的例子呢？ICL与Fine-tuning表面上看，都是给大模型一些例子，然后让它们去预测，但两者有本质不同。Fine-tuning是拿这些例子当作训练数据，利用反向传播去修正大模型的参数，而这个修正的动作，体现了大模型从这些例子中有学习过程。

但在ICL中，只是拿出例子让大模型“看了一眼”，并没有证据表明大模型有根据例子去修正参数的动作，就直接让大模型去预测新例子，这意味着大模型似乎并未经历一个学习的过程，那么大模型是如何做到的？

这目前还是未解之谜。有学者试图证明ICL没有从例子中学习，代表论文是华盛顿大学、Meta与Allen Institute for AI的7位研究者所写的Rethinking the Role of Demonstrations：What Makes In-Context Learning Work？但也有学者认为大模型其实有一种隐式学习，代表论文是What learning algorithm is in-context learning? Investigations with linear models。目前这些互相矛盾的研究，暂时还谁也说服不了谁。

第二类被广泛认为具备涌现能力的就是CoT（思维链，Chain of Thought），CoT是大语言模型推理能力的重要来源之一。

CoT的主体思想是：为了教会大语言模型如何做推理，我们先给出一些人工写好的推理示例，示例里要把一步步的具体推理步骤写清楚，而这些人工写的详细推理过程，就是思维链Prompting。

图片来源：Google Brain Team：Chain of thought prompting elicits reasoning in large language models

最早系统性提出CoT做法的，是Google Brain团队，9位作者在论文Chain of thought prompting elicits reasoning in large language models中系统性阐述了CoT。人工写的详细推理过程，就是上图中蓝色文字部分。

CoT是要让大语言模型明白，在推理过程中，步子不要迈得太大，否则很容易出错，而是要把大问题拆分成一个一个小问题，逐步得出最终的正确结果。Google Brain的这篇论文发布于2022年1月，开始应用CoT后，一些改进技术很快跟上，大语言模型的推理能力得到了巨大提升，特别是像数学推理的准确率瞬间提高。

我们在上文分析过，通过海量数据训练，大语言模型吸收了大量世界知识，并且可以对全局信息进行集成、建立知识与知识之间的联系、在需要使用时准确提取。但我们不会因为一个人拥有很强的记忆能力，就说这个人很有智慧，而决定有没有智慧的，是这个人能不能通过大量知识推理出准确结论。

所以CoT是ChatGPT如此惊艳的重要基础，已经有不少研究证实，CoT也具备涌现现象。

使用CoT提示，提高了大模型处理数学问题、符号推理任务的能力，出现了能力涌现现象。图片来源：Google Brain：Chain-of-Thought Prompting Elicits Reasoning in Large Language Model。

使用CoT提示，还提高了大模型的常识推理能力，也出现了能力涌现现象。图片来源：Google Brain：Chain-of-Thought Prompting Elicits Reasoning in Large Language Model。

如今GPT-4已经在很多人类的考试中取得了高分，比如SAT、AP、GRE等等，甚至还通过了模拟律师考试，分数在应试者的前10%左右。

图片来源：OpenAI：GPT-4 Technical Report

一些能力涌现举例。图片来源：Google、Stanford、DeepMind：Emergent Abilities of Large Language Models

不过目前大模型在复杂推理方面仍然有局限性。无论是微软在论文Sparks of Artificial General Intelligence：Early experiments with GPT-4中，还是加州大学圣芭芭拉分校5位研究者的论文Limitations of Language Models in Arithmetic and Symbolic Induction，都提出了大语言模型在解决问题时的规划能力偏弱。

比如对于一个简单算术问题，7*4+8*8=？，GPT-4就给出了错误答案88。微软用了100个随机样本测试了这个任务，得到的准确率只有58%，但这其实是一个小学生都可以解决的简单算术问题。如果把数字变大，到99-199 之间，准确率降至零。

图片来源：Microsoft：Sparks of Artificial General Intelligence：Early experiments with GPT-4

但如果我们提示大模型要规划好推理步骤，比如这个更难一点的任务：116 * 114 + 178 * 157 =？，我们这次同时写上提示推理步骤：“让我们一步一步地考虑如何解决这个表达式，写下所有中间步骤，然后才得出最终解决方案。”

于是准确率大幅提升，可以到90%-100%。这其实说明了，大模型自身缺乏提前规划的能力，这种能力的缺失，会导致大模型很难去处理更加复杂的推理任务。总之，如何加强大模型的复杂推理能力，是未来研究中非常重要的一点。

多大的模型规模会出现“涌现”？

我们在上文分析了大模型在哪些任务中出现了涌现现象，紧接着一个更具有短期价值的问题出现了——多大的模型规模会出现“涌现”现象？

根据Google、Stanford、DeepMind的论文Emergent Abilities of Large Language Models，我们可以得出一个经验判断：68B是一个基础的参数（params）门槛（B代表单位billions，十亿），最好要超过100B。当然这与具体的任务和模型本身都有关联。

在ICL（上下文学习）的情形下，需要最少参数就能出现涌现的任务是Addition/ subtraction（3 digit），也就是三位数的加/减法，只需要130亿参数；而像在Word in Context（WiC）benchmark（多义词判断，该任务是指给定两个文本片段和一个有多重含义的多义词，要求模型判定这个单词是否在两个句子中有相同的含义）这样的稍复杂任务中，则需要5400亿参数才能出现涌现。

ICL情形下，出现能力涌现所对应的模型规模。图片来源：Google、Stanford、DeepMind：Emergent Abilities of Large Language Models

而在CoT（思维链）的情形下，需要最小参数的任务是using open-book knowledge for fact checking（事实核查），只需要71亿；而leveraging explanations in prompting（在提示中利用解释词）则需要2800亿参数才能涌现这个能力。

CoT情形下，出现能力涌现所对应的模型规模。图片来源：Google、Stanford、DeepMind：Emergent Abilities of Large Language Models

所以综合来看，68B是一个最基础的门槛。而目前效果最好的大语言模型，其参数规模基本都超过了100B。例如OpenAI的GPT-3为175B，GPT-4的参数规模未公布；Google的LaMDA规模为137B，PaLM的规模为540B，DeepMind的Gogher规模最大，达到280B。当然，参数规模不是盲目地越大越好，而是要充分训练。

那么能不能把模型做小？我们知道，现在大模型的训练成本非常高昂，无论是算力还是高质量的数据集本身都是稀缺资源，动辄百万美元的单次训练成本对大多数公司来说都太贵了。但是如果模型太小，很多能力涌现不出来，又会变成“智障”，所有训练成本都白费。

目前小模型的代表之一是DeepMind的Chinchilla，它的参数规模在70B，但在各项性能上，与280B的大模型Gopher相差不算太大。当然这里的“小”模型，只是相对于更大参数规模的模型而言，Chinchilla本身也还是属于大语言模型。

Gopher也是DeepMind发布的大模型，由于模型规模太大，所以训练成本非常高昂。不过Google通过一项研究，预测出了最优模型其实应该小4倍，并且在多4倍的数据量上进行训练，才能更充分。

于是DeepMind又训练了一个更小的、70B参数的模型Chinchilla，但在更大规模的数据量上训练，最终证实了这个想法。不过在训练成本方面，Chinchilla虽然减少了参数规模，但增加了数据量，所以训练成本并没有降低，而是降低了推理成本，并且能够在更小硬件上实现应用。

各个主流大模型的参数规模与训练数据量对比，Chinchilla参数规模最小，但训练数据量最大。图片来源：DeepMind：Training Compute-Optimal Language Models

Chinchilla也具备涌现能力。图片来源：Google、Stanford University、DeepMind：Emergent Abilities of Large Language Models。

如上图所示，可见Chinchilla在各种MMLU任务（是一种自然语言处理的综合任务，其中有很多子任务）中，具备涌现能力。

图片来源：DeepMind：Training Compute-Optimal Language Models

在Google BIG-bench基准测试中，如上图所示（上图是用Chinchilla的测试得分除以Gopher，以体现Chinchilla比Gopher提升了多少），70B参数规模的Chinchilla，比起280B参数规模的Gopher，只有四项任务表现更差，其他在性能上都更优。

这里就涉及到了一个核心问题——算力如何分配？我们在上文介绍“伸缩法则”时，提到过OpenAI在论文Scaling Laws for Neural Language Models中得出结论，当我们独立增加参数规模、数据集规模和延长模型训练时间，大语言建模的性能就会提高。那么假设总算力是一定的，到底是应该多增加数据量、减少模型参数呢？还是两者同时增加，但减少训练时间呢？

最终OpenAI选择了同时增加训练数据量和模型参数，但是采用早停策略（early stopping），来减少训练时长。

OpenAI证明了，如果只单独增加训练数据量和模型参数其中某一个，不是最好的选择，而是要按照一定比例同时增加两者。OpenAI的结论是优先增加模型参数，然后才是训练数据量。假设用于训练大语言模型的算力总预算增加了10倍，那么应该增加5.5倍的模型参数量，1.8倍的训练数据量，此时模型效果最佳。

DeepMind在论文Training Compute-Optimal Large Language Models中，也得出了类似的结论，但与OpenAI不同的是，DeepMind认为训练数据量也很重要，不亚于模型参数。

基于这个认知，DeepMind在设计Chinchilla模型时，在算力分配上选择了新配置：对标数据量300B、模型参数量280B的Gopher模型，Chinchilla选择增加4倍的训练数据量，但是将模型参数降低为Gopher的四分之一（70B）。从结果来看，无论是预训练指标，还是很多下游任务指标，Chinchilla效果都要优于规模更大的Gopher。

另一个“小”模型的例子是Meta推出的LLaMA。LLaMA一推出，就引起了轰动，因为LLaMA可以在配备M1芯片的苹果电脑，或者单个英伟达消费级GPU上运行，而像GPT这些大模型都需要多个数据中心级英伟达A100 GPU支持，并且LLaMA是开源的。如果LLaMA确实好用，那就意味着普通人也可以在自己的消费级硬件上运行这些工具了，这将对社会产生巨大影响。

从Meta的论文LLaMA：Open and Efficient Foundation Language Models中，Meta也提出了这样一个观点：在给定的算力预算下，最好的性能不是由最大的模型实现的，而是由在更多数据上训练的“小”模型实现的。

Meta更进一步的是，把推理成本也纳入进来。Meta认为很多研究都忽略了推理所需的算力成本，而这一点在大语言模型最终应用时非常重要。所以尽管Hoffmann等人建议在200B tokens的数据量上训练10B参数规模的模型，但Meta发现7B参数模型的性能，在1T tokens数据量以上还能继续提升。

所以Meta的目标是用尽量小的参数规模，拿更大的数据量来训练，以追求更低的推理成本。所以LLaMA最小的参数只有7B，最大的也只有65B，相比于GPT-3 175B确实是“小”模型。

那么LLaMA虽然有更小的参数规模，但效果如何？也具备涌现能力吗？

图片来源：Meta：LLaMA: Open and Efficient Foundation Language Models

图片来源：Meta：LLaMA: Open and Efficient Foundation Language Models

上图是Meta在论文中，主要列出的针对MMLU（大规模多任务语言理解）任务成绩，可见LLaMA的性能还是很不错的，在不少基准测试中优于GPT-3，这证明了更小的参数规模，也能产生涌现能力。

以上这些研究都很有意义，我们可以猜想，GPT-3的175B参数，其实并没有得到充分训练，因为以GPT的训练数据量来说，其实不需要这么大的参数量。

那从另一个角度，在不降低模型效果的前提下，其实可以把模型做小，先增加训练数据量、降低模型参数量，把这个量级的参数充分训练，然后再继续往更大的规模推。

一个太大的模型规模，会在应用的时候，导致推理速度变慢、推理成本急剧上升，一个更精炼的“小”模型，在应用端更有前途，例如Meta的LLaMA。

涌现与参数规模、训练数据量可能有一个不同的映射关系，但具体是什么，现在仍然未知。这一点还有待学界研究。

ChatGPT的出现，代表着人工智能突破了掌握并运用常识的能力，涌现现象的出现，使得大语言模型正在往“真正的人工智能”方向大踏步迭代。

微软在GPT-4论文中写道：

• 我们对GPT-4的研究完全是基于现象学的，我们关注的是GPT-4能够做到这些令人惊讶的事情，但我们并不知道它是如何变得如此智能的。它是如何推理、规划和创造内容的？为什么当它本质上只是由简单的算法组件——梯度下降和Transformer，以及庞大的数据组合而成时，会表现出如此通用和灵活的智能？

• 这些问题是大语言模型充满神秘和吸引力的部分，挑战了我们对学习和认知的理解，关键方向就是对大语言模型涌现现象的持续研究。

• 阐明GPT-4等AI系统的本质和机制，是一个巨大的挑战，这个挑战在今天已经突然变得重要和紧迫。

• 1942年，科幻小说作家阿西莫夫（Isaac Asimov）提出了机器人三定律：
  

  The recent personnel turmoil has been reversed and then reversed. If it can be made into a TV series for several seasons, there are various speculations from outside, but so far all the discussions have not touched on the core part. Why did the board of directors suddenly expel? The latest development was that several researchers sent a letter to the board of directors of the company warning that a powerful artificial intelligence discovery might threaten mankind. This project may be called this matter, which may be one of the reasons leading to the dismissal of the board of directors. There is no proper safeguard for the heart. The board of directors is vague about the reason for the recall in public. It only says in a blog post that he was fired because he was always dishonest in communication with the board of directors. Many people have speculated that the real reason behind it may be what the chief scientist saw, which is likely to be a problem of alignment. Of course, he later went back on his word and even joked that this is the future human beings returning to today through time and space to prevent the destruction of mankind in the future. Haha, anyway, the wind. Behind the wave, there is an unresolved question in the industry. Who can be trusted to open this Pandora's Box? One of the reasons why it can cause anxiety among technology giants and world leaders is that we still don't know why we have become so intelligent all of a sudden, and we haven't figured out what the emerging phenomenon in large language models is, which leads to the fact that human beings can't really understand, predict or reliably control these large models, including their creators, so at this point in time today, we want to do it again. Let's revisit this question and re-forward our article in January. What makes it so smart and still unknown is the emergence of large language model capabilities? Behind this storm, this problem still deserves our attention. With the growth of language model scale, new capabilities suddenly appear. Image source: Allen Matheson Turing, the father of computer science, put forward an idea in his paper Computing Machine and Intelligence as early as. I don't know anything about it. After many years, this horrible conclusion has come true. The designers of large language models, for example, or they don't know how these emerging capabilities came into being. Microsoft raised this question in a paper about it. How does it reason, plan and create content? Why is it essentially just a combination of simple algorithm components gradient descent, large-scale architecture and a large number of data, but it will show such universal and flexible intelligence? Microsoft can also extend many new problems to this question. What is the size of the parameters, what adjustments will affect the emergence of capabilities, and what direction of capabilities will emerge? Can we control it? It is actually very important to figure out these problems. What is the short-term significance? What is the size of the model? According to the paper, you can compare it with hundreds of millions of parameters. If smaller models can also emerge, this may reduce the training cost. The long-term significance is that it is still online, but it will be connected with the physical world sooner or later. You can Imagine a robot based on Boston Dynamics or Tesla? This may be realized in the near future, but if emergence is still a black box, human beings can't understand the evolution mode or direction of artificial intelligence, which may be dangerous after connecting with the physical world in the future. At present, there are dozens of papers in academic and industrial circles studying the emergence phenomenon or the relationship between model scale and performance. We will quote some core ideas in this paper and list them in the comments at the end of the article. The introduction and links of these papers are for interested friends to study further. This article will mainly discuss these issues: the shocking understanding and reasoning ability of large language models. When we increase the model scale, there are three magical manifestations, two kinds of typical abilities that have been proved to have emerged. Context learning and thinking chain will emerge. Appendix Notes and quotations of this paper The emergence of large language models will rapidly emerge after a certain scale. Shocking understanding and reasoning ability In recent months, hundreds of application-layer startups have appeared overnight in Silicon Valley, but before it was released last month, the whole market did not realize that artificial intelligence would explode at this moment, and the iteration speed of large language model was amazing. After three and a half months, it was immediately released and upgraded to multimodal, and people's sense of humor could be understood from text pictures. The core behind these landmark evolutions is the emergence of emerging phenomena, and only the emergence. It is out of these abilities that the industry has really ushered in an inflection point. Let's first list some shocking understanding and reasoning abilities. This is a map of the world made of chicken pieces with a paragraph of text. Sometimes I just look at pictures of the earth from space and am surprised that all this is so beautiful. Can you explain what the author wants to say? It is a joke. It combines two unrelated things to see the picture of the earth from space and the chicken pieces of text to show that the following picture is from. Looking at the beautiful picture of the earth from space, however, the picture is actually the arrangement of chicken nuggets, which is just a bit like a world map. The humor of this memo comes from the accidental juxtaposition of text and pictures. The text sets an expectation for the majestic image of the earth, but the image is actually something ordinary and stupid. The above example proves that you have multimodal understanding, can recognize and understand pictures, understand the parallel meaning of words and pictures, and understand human sense of humor. Let's give two more examples to prove that you have it. The yellow mark of knowledge precipitation and reasoning ability highlights the key successful reasoning steps. This is a typical puzzle given. A hunter walked a mile south, a mile east and a mile north. At this time, he just returned to the starting point. He saw a bear and shot it. What color was the bear? We saw that we gave up the answer directly, but the correct answer was white and started reasoning analysis, because the hunter walked a mile south, then east and finally north respectively. Ok, back to the original point, this situation can only happen in the North Pole, where polar bears live, so it is white. Let's give another similar example, but this puzzle requires different knowledge accumulation. I flew a plane out of my camp and flew directly east for miles, and then returned to the camp. When I returned to the camp, I saw a tiger eating my food in my tent. The yellow mark of what species is this tiger highlighted the key successful reasoning steps. The source of the picture gave up the answer directly, but gave the correct answer. Any tiger species living on the equator, such as Bengal tiger and Sumatra tiger, was in this puzzle. 比特币今日价格行情网_okx交易所app_永续合约_比特币怎么买卖交易_虚拟币交易所平台

• 机器人不得伤害人类，或者目睹人类遭受危险而袖手旁观；

• 在不违反第一定律的前提下，机器人必须服从人给予它的命令；

• 机器人在不违反第一、第二定律的情况下要尽力保护自己。

当下，我们虽然还处于通用人工智能的早期阶段，但ChatGPT的迭代速度非常惊人，有传闻说GPT-5的部分代码，已经是由GPT-4来自动生成的了。我们是否需要在未来的某个时刻停下来，先思考一下如何制定针对通用人工智能的定律？并确保这些定律能够被100%执行，因为涌现仍然是黑箱，我们对能力涌现的机制与方向还所知甚少。

目前有少量研究探寻了涌现现象出现的可能原因，但只是一些初步探索，限于本文篇幅，我们会在下一篇文章中介绍这些研究。一些猜想包括：涌现可能只是一种外在表现，因为我们对任务的评价指标不够平滑；很多任务是由多步骤构成，随着模型规模变大，如果每个步骤都更准确了一点点，最终的整体正确率会大幅提升，就会体现成“涌现”现象。

在本文最后的最后，我想说一个题外话。我最初看到论文Beyond The Imitation Game: Quantifying And Extrapolating The Capabilities Of Language Models的时候，被它的首页吓到了，然后是一种感动油然而生：在作者署名那里，密密麻麻地列举了来自132个机构的442位作者，他们在2022年密切合作，在人类未曾涉足的前沿领域探索。

纵观最近1-2年人工智能领域的论文，几乎没有仅仅2-3位作者署名的，都是5-6位或者10多位作者的联合署名，比如微软关于GPT-4的论文就有14位作者署名、Google关于超大模型PaLM的论文有67位作者。如今在诸多前沿领域，比如量子计算、人工智能、航天科学、核聚变等等，都需要非常复杂的多学科交汇，人类的进步不仅仅依靠一两个天才，越来越是密切的组织与合作的结果。

Beyond The Imitation Game: Quantifying And Extrapolating The Capabilities Of Language Models论文首页，密密麻麻地列举了132个机构的442位作者，感谢这些在人类前沿领域不断探索的人们。

附录：本文的论文注释与引用

1、 针对涌现，最核心的论文是以下两篇，可供进一步详细阅读：Google+DeepMind+Stanford等16位大牛合作的论文《Emergent Abilities of Large Language Models》（大语言模型的涌现能力）（https://openreview.net/pdf?id=yzkSU5zdwD）、UCLA 3位教授合写的论文《Emergent Analogical Reasoning in Large Language Models》（类比推理能力在大语言模型中的涌现）（https://arxiv.org/pdf/2212.09196.pdf）。

2、 Google联合132个机构的442位作者设计的基准测试——超越模仿游戏基准（Beyond the Imitation Game Benchmark，BIG-bench），论文链接如下：https://arxiv.org/pdf/2206.04615.pdf，测试了很多大模型的性能，都是在这个新基准之上做的。它包含了204项任务，内容多种多样，包括语言学、数学、常识推理、生物学、物理学、社会学、编程等各个方面，并且还有一个由人类专家组成的对照组，他们也同时来做这些测试任务，以跟大模型的结果做对比。

3、 研究如何分配总算力，如何在参数规模、训练数据量之间权衡取舍？Chinchilla模型的效果如何？详细可见DeepMind 21位作者发布的Training Compute-Optimal Language Models（https://arxiv.org/pdf/2203.15556.pdf）。DeepMind发现当前的大型语言模型存在明显训练不充分的问题，这是因为大家过于关注扩展大语言模型的参数，但没有同步增加训练数据量所导致的，所以DeepMind训练了一个参数规模更小、但训练数据量更大的优化模型 Chinchilla 来检验这一假设。

4、 类似DeepMind的Chinchilla，另一个“小”模型的例子，Meta推出的LLaMA，可在配备M1芯片的苹果电脑，或者单个英伟达消费级GPU上运行，并且LLaMA是开源的，详细可见这篇论文LLaMA：Open and Efficient Foundation Language Models（https://arxiv.org/pdf/2302.13971.pdf），也讨论了给定总算力预算下，该如何分配参数规模、训练数据量与训练步数/时长。

5、 以上是两个“小”模型的例子，而对于超大模型，Google在今年3月发布了史上最大的“通才”多模态模型PaLM，它有540B参数，PaLM-E更是有562B参数。关于这个超大模型，可见Google Research 67位作者联合署名的这篇论文：PaLM：Scaling Language Modeling with Pathways（https://arxiv.org/pdf/2204.02311.pdf）。

6、 微软针对GPT-4的论文，详细分析了GPT-4的各种表现，并且提出了对能力涌现的疑问，详细可见：https://arxiv.org/pdf/2303.12712.pdf。

7、 基于人类反馈的fine-tuning策略，OpenAI训练了InstructGPT，尽管参数规模小很多（只有1.3B），但InstructGPT比175B参数规模的GPT-3，在真实性和减少有毒输出方面表现更好，这种方法被证明是保持大语言模型与人类意图一致的潜在方法。详细可见OpenAI的论文：Training language models to follow instructions with human feedback（https://arxiv.org/pdf/2203.02155.pdf）。

8、 另一个通过人类反馈的强化学习（RLHF），来微调语言模型的例子是Anthropic做的，这家新公司创立于2021年，由OpenAI的早期核心员工离职创立，他们致力于解决AI“黑盒子”的问题，希望能够解释AI真正的工作原理，提升安全性。这篇论文由31位Anthropic的作者联合署名，详细可见：Training a Helpful and Harmless Assistant with Reinforcement Learning from Human Feedback（https://arxiv.org/pdf/2204.05862.pdf）。

9、 如果你想进一步研究ICL（in-context learning，上下文学习），ICL的表现大幅超越零监督学习，并给大模型高效运用提供了新的思路，但其工作机制仍有待研究。可以看这2篇：OpenAI写的：《Language Models are Few-Shot Learners》（https://arxiv.org/pdf/2005.14165.pdf）；以及华盛顿大学、Meta、Allen Institute for AI合著的论文：《Rethinking the Role of Demonstrations: What Makes In-Context Learning Work?》（https://arxiv.org/pdf/2202.12837.pdf）。

10、 关于CoT，CoT（思维链，Chain of Thought）是大语言模型推理能力的重要来源之一，最早系统性提出CoT做法的，是Google Brain团队，9位作者在论文Chain of thought prompting elicits reasoning in large language models中系统性阐述了CoT，详细可见：https://arxiv.org/pdf/2201.11903.pdf。

11、 为何会出现U型曲线？Google在论文Inverse scaling can become U-shaped中给出了包含了不同类型的子任务，一种是真正的任务，另外一种是“干扰任务”，详细可见：https://arxiv.org/pdf/2211.02011.pdf。

12、 对于论证浅层语言知识，比如词法、词性、句法等知识，存储在Transformer的低层和中层；而抽象的语言知识比如语义类知识，广泛分布在Transformer的中层和高层，以下两篇论文做了深度的研究工作，这些论证研究工作对大语言模型的发展至关重要。详细可见：BERTnesia：Investigating the capture and forgetting of knowledge in BERT（https://arxiv.org/pdf/2106.02902.pdf）和Transformer Feed-Forward Layers Are Key-Value Memories（https://arxiv.org/pdf/2012.14913.pdf）。

13、 目前大语言模型在复杂推理方面仍然有局限性，加州大学圣芭芭拉分校5位研究者在论文Limitations of Language Models in Arithmetic and Symbolic Induction，研究了这个问题，详细可见：https://arxiv.org/pdf/2208.05051.pdf。

14、 新浪微博AI Lab负责人张俊林对大语言模型技术及涌现现象有过详细的综述，本文部分内容援引自他的综述，可见《由ChatGPT反思大语言模型（LLM）的技术精要》，感谢他对此做了体系化的综述。