您查看的活动已结束

​

2017年，一篇仅仅10页的论文，在谷歌学术上被引用了4万多次，而它的核心工作就是提出了基于注意力机制的经典框架Transformer，该团队也在当时将Transformer概括为一句话——“Attention is All You Need”。

事后看，这个框架确实不负众望，它不但极大推动了人工智能技术的发展，还通过这个发展为其他学科和很多行业的变革创造了难得的机遇，对科学研究新范式的思考都与此密切相关。

客观来说，这个全新的架构至少在两个方面为人工智能研究带来了巨大的改变。首先，它为神经网络参数规模的扩大奠定了坚实的基础，从而推动人工智能开辟出一个完全不同的空间，原本训练效果不佳的无监督学习也因此取得巨大的突破。同时，云计算的兴起又搭建出一个更大的舞台，这意味着一个完整的AI模型可以分布在成千上万台服务器上，从而推动大型网络参与训练。

2019年之后那场令人印象深刻的“数据＋算力＋深度学习”的狂飙突进因此可以预见，因为它能令AI的泛化能力迈上更高的台阶，打破以往“模型定制化”的窘境，背负让人工智能从“感知智能”进入“认知智能”的期盼。

2020年5月，OpenAI发布了参数规模高达1750亿的大模型GPT-3，大模型的竞争正式起步；次年1月，谷歌推出Switch Transformer，参数规模达到1.6万亿；2021年，达摩院也强势进入这一领域，并在很短的时间内相继推出了语言模型体系AliceMind、多模态大模型M6，在将参数规模提升到10万亿以上的同时，也开始推动对大模型商业落地以及绿色低碳的系统思考。

在这个过程中，很多新的思想和趋势判断不停出现。在去年的《达摩院十大科技趋势》中，达摩院的科学家和来自其他高校的学者们也提出，模型参数的规模竞争也许会告一段落，但围绕大模型与小模型的协同进化等方向的研究方兴未艾，围绕大模型的研究将继续向更加精细的纵深方向发展。

事实也是如此。过去一段时间，一系列新的尝试逐渐进入人们的视野：一方面，DeepMind的flamingo，Google的pathway确实推动大模型研究从单纯的“参数堆积”转向了“多模态融合”，从而开启了模型的“通用”探索；另一方面，META深入于“世界模型”的研究，尝试通过类人脑方式令大模型的思考、推理和可解释性更上一层楼。

这使得对模型走向的探讨在这个关键的时间点变得尤其重要，科学界需要通过思想的交流为下一阶段的研究碰撞出真正重要的问题。而且，无论模型研究怎样变化，“算法、算力、数据”的多环节突破和开放、共享、互惠的科研理念都至关重要。

也是基于这样的想法，阿里巴巴集团将在即将召开的世界人工智能大会上举办“大规模预训练模型”主题论坛，围绕“大规模预训练模型的创新、落地和开源开放”，通过keynote演讲和圆桌论坛两个环节，与学术界、产业界的思想引领者共同深入讨论算法模型、大数据及训练框架等方向，并展示国产大模型多元生态下的技术成果和思考。