【新要闻】复旦MOSS模型今日开源展望语言大模型生态-欧洲酒业网

首页> 资讯> 详情

【新要闻】复旦MOSS模型今日开源展望语言大模型生态

2023-04-21 14:08:18 来源：上海证券报·中国证券网

上证报中国证劵网讯（记者宋薇萍实习生谭镕）4月21日，复旦大学自然语言处理实验室开发的新版MOSS模型正式上线，成为国内首个插件增强的开源对话语言模型。

(相关资料图)

复旦大学计算机科学技术学院教授MOSS系统负责人邱锡鹏表示：“对于下一阶段的大型语言模型来讲，我们目前重点需要去做的事情，就是让模型和现实世界以及人类的价值观进行“对齐”，成为一个真正的智能体。”

MOSS：对话式大型语言模型今日开源

近期，关于语言模型的关注持续高涨。相比之前的生成式对话产品，ChatGPT在大范围连续对话能力、生成内容质量、语言理解能力和逻辑推理能力上都得到大幅提升，超出了大众对于一款聊天机器人的预期，是生成式AI（AIGC）极为关键的发展节点。

MOSS是国内第一个发布的对话式大型语言模型。它可以执行对话生成、编程、事实问答等一系列任务，打通了让生成式语言模型理解人类意图并具有对话能力的全部技术路径。

目前，MOSS模型已上线开源，相关代码、数据、模型参数已在Github和Hugging Face等平台开放，供科研人员下载，促进人工智能模型研究和开源社区的生态繁荣。开源代码涵盖模型训练和推理代码，开源数据包括超100万条对话训练数据，开源模型包括160亿参数中英双语基座语言模型、对话模型以及插件增强的对话模型。

MOSS基于公开的中英文数据训练，目前已经拥有200亿参数，具有和人类对话的能力，并可以通过与人类交互实现迭代优化。

其中隐含着三个非常重要的技术。“第一是情景学习，大型语言模型可以直接和人交互，这从产品角度来说也是一个很大的创新，还可以大幅降低下游开发成本；第二是思维链，不仅给出答案，也给出逻辑推导；第三是自然指令学习，要让机器明白我们的情感和真实意图，以前是从大数据中学，现在可以直接从指令中学。”邱锡鹏说道。

MOSS开源改善行业生态

在业内看来，自研通用预训练大语言模型具有必要性角度，在目前国际形势下，自主可控是保障网络安全、信息安全的前提，自研基石模型具有高度战略意义。

邱锡鹏说，人们之所以很容易有“卡脖子”问题，是因为缺乏一个好的行业生态。就拿ChatGPT来说，OpenAI公司只需专注做好模型，算力、数据和系统则交给其他公司。反观国内，很多公司在做大型语言模型时所有环节都需要自己做，每家的数据和算力也有限，结果是每家都做不大。在发展过程中，大型语言模型训练与在线推理成本过高也是一个重大问题。

“我们考虑把MOSS开源而不是商业化，就是希望改善这种生态，有了这样一个基座，大家就不用重复开发底层技术，可以在上面接不同的细分领域。”复旦大学计算机科学技术学院教授、MOSS系统负责人邱锡鹏说。

相关人士表示，目前中国巨头厂商深耕通用基础大模型研发布局产业生态布局，肩部厂商基于开源模型或海量数据打造垂直基础大模型，建立垂直行业的平台生态。语言大模型及下游应用产业对于国家数字经济发展具有战略性意义。

关键词：