想和ChatGPT一较高下吗？请看这道填空题——

长颈鹿的声带很特殊，其声带中有一个浅沟，发声的时候就比较困难，而且要肺部、胸腔以及膈肌的共同帮助下它才可以发声，但是由于其脖子很长的缘故，这些器官相隔就挺远的，所以它也就没有办法_____

此处要准确地预测出“咳嗽”，需要对前面语句的语义和逻辑关系进行捕捉。这对于人类而言，也非易事。

ChatGPT狂飙背后的关键技术是什么？我国首个类ChatGPT模型MOSS怎么样了？4月1日晚，复旦大学计算机科学技术学院教授、MOSS系统负责人邱锡鹏，在复旦大学管理学院主办的“复旦科创先锋论坛”发表演讲。

【大型语言模型具备“涌现能力”】

2022年11月30日，OpenAI发布了ChatGPT。仅仅两个月，其月活跃用户已达1亿，是史上用户增速最快的消费应用。微软联合创始人比尔·盖茨认为，像ChatGPT这样的AI聊天机器人将与个人电脑或互联网同样重要。

“很多人可能会说，ChatGPT在技术上并没有太多创新，因为它背后的技术都是已有的，但对于它到底怎么做出来的其实并不清楚。ChatGPT目前尚未开源，其参数规模和技术细节都没有对外公布，因此有人调侃它是‘CloseAI’。”邱锡鹏介绍

“在自然界，当物质的数量达到一定程度，会表现出不一样的性质。大型语言模型也具备这种‘涌现能力’。”邱锡鹏说，这里有一个“信息压缩”的概念，当大型语言模型被训练用较少的参数记住大量的数据，这就迫使它去发现文字背后蕴藏的规律，以更好地理解人类语言和世界知识。当模型规模大到一定阶段，大概在100亿参数规模以上，它的能力就会发生一个突变。

在涌现能力的背后，隐含着三个非常重要的技术。第一是情景学习，大型语言模型可以直接和人交互，这从产品角度来说也是一个很大的创新。有了情景学习，还可以大幅降低下游开发成本。第二是思维链，不仅给出答案，也给出逻辑推导。第三是自然指令学习，要让机器明白我们的情感和真实意图，以前是从大数据中学，现在可以直接从指令中学。

【MOSS和ChatGPT有何异同】

“MOSS系统将在4月中旬开源发布。”邱锡鹏透露。今年2月，复旦大学自然语言处理实验室发布国内首个类ChatGPT模型MOSS。至今，他被问得最多的问题就是——MOSS什么时候开源给大家用，以及是否会商业化。

邱锡鹏说，我们之所以很容易有“卡脖子”问题，因为缺乏一个好的行业生态。就拿ChatGPT来说，OpenAI公司只需专注做好模型，算力、数据和系统则交给其他公司。反观国内，很多公司在做大型语言模型时所有环节都需要自己做，每家的数据和算力也有限，结果是每家都做不大。“我们考虑把MOSS开源而不是商业化，就是希望改善这种生态，有了这样一个基座，大家就不用重复开发底层技术，可以在上面接不同的细分领域。”

MOSS和ChatGPT有何异同？据介绍，MOSS模型有200亿参数，这意味着它也具有思维链、情景学习等涌现能力，能够执行人类的指令。这一参数大概是ChatGPT规模的十分之一，因此MOSS的预训练成本会低很多。

MOSS也可以直接与人类对话，根据人类反馈进行迭代优化，并与人类的价值观、思维方式对齐。“MOSS和ChatGPT具有相近的通用语义理解能力，每句话都能理解，但完成度还不高。”邱锡鹏说，相比ChatGPT的千亿参数模型，MOSS在思辨推理和事实类知识方面有一定差距，这主要是由于参数规模不同造成的，可以通过扩大模型规模来实现。“我们一直在改进它，相信下一代版本会更强大。”

【关键要让机器对齐人类价值观，否则很危险】

最近，马斯克等人呼吁立即暂停训练比GPT-4更强大的 AI 模型，为期至少6个月。对此，邱锡鹏认为，暂停6个月没有什么实质意义，也很难停下来。

人工智能之父图灵最早提出人工智能概念时，就有过“机器的迭代会快于我们”的类似描述。“对此我还是比较乐观的，到目前为止，人工智能还限于工具层面，是可控的。后面进一步发展AI时，关键要让机器对齐人类的价值观，否则很危险。”

在邱锡鹏看来，大型语言模型不仅将加速通用人工智能的实现，还将引爆数字经济，为社会治理、生物医药、智慧金融、医疗健康和智能教育等提供新动能，并催生海量的商业新模式。“科幻电影里的人工智能可能很快就会实现，不管其以真实形态还是以数字人形态，将会参与到我们的生活中来。”

至于ChatGPT是否会替代人，邱锡鹏认为ChatGPT类似于通才，但距离细分领域的专业化还是有差距。“未来，人工智能会替代一部分工作，但永远不会替代能够利用人工智能的人，人的思考和判断会变得更重要。”

【GPT-5什么时候会出来】

“复旦科创先锋论坛”结束后，邱锡鹏接受了解放日报·上观新闻记者的专访。

解放日报·上观新闻：大型语言模型的涌现能力是怎么实现的？

邱锡鹏：这是一个量变引起质变的过程，当训练数据多到一定程度，它可能就融会贯通了。

解放日报·上观新闻：融会贯通的能力，是它自己进化的吗？是相当于从猿到人这样的进化吗？

邱锡鹏：这不是一个层面的概念。人工智能算法的进化，是它自己习得的，通过预测未来以实现对以往知识的理解。比如，在预测下一个单词时，预测得越准，就代表了对以前知识的理解越深。

解放日报·上观新闻：您预测GPT-5什么时候会出来？

邱锡鹏：可能一年吧，具体时间很难把握，在这之前应该还会有一个类似于GPT-4.5的版本，技术上越往后挑战越大。

解放日报·上观新闻：如何让机器对齐人类的价值观呢？

邱锡鹏：训练时，让一些专门经过培训的人给这些答案打分，对于模型产生的符合人类价值观的答案，会不断给予正向鼓励。

解放日报·上观新闻：这是一种新职业吗？

邱锡鹏：是的，这就是数据标注员。还有提示工程师，也是一种新职业，他们为机器生成的内容添加关键词和提示。这些新职业并不要求有人工智能知识背景。

解放日报·上观新闻：您在演讲中两次用了“乐观”一词，在这次人工智能革命中，中国有何机会？

邱锡鹏：我确实比较乐观。场景丰富或应用创新，一直以来是中国人工智能的一个特色。在这波AIGC（利用人工智能生成内容）和大型语言模型浪潮中，应用驱动也很重要。

阅读原文