书生·浦语大模型全链路开源体系

主讲人 陈恺 上海人工智能实验室 青年科学家(带领OpenMMLab总star超过10w的超级大佬)

收获:本节课学习了大模型近几年的发展,以及上海人工智能实验室从23年初到现在对大语言模型到一个探索历程,包括InternLM-7B/20B/123B不同量级的大模型,同时学习了全链条开源开放体系,从数据集到预训练,到微调,到部署,到评测,到应用的一个完整流程概览。

1.1 大模型逐渐热门

Screen Shot 2024-01-04 at 9.17.24 AM.png

以OpenAI的gpt系列为代表的大语言模型,在最近一年取得迅速发展,特别是chatgpt走入了日常科研人的生活。

Screen Shot 2024-01-04 at 9.19.41 AM.png

AI的发展历史是从专用模型到通用模型的一个过程。用一个模型去解决多个任务,是非常有必要的。通用的大模型给我们展示了这样的潜力,去解决多模态、多任务。

1.2 书生-浦语大模型开源历程

上海人工智能实验室从23年初就开始展开了大模型的相关工作:

Screen Shot 2024-01-04 at 9.24.36 AM.png

实验室推出的书生-浦语大模型根据参数量分为轻量级(7B)、中量级(20B)、重量级(123B),适用于不同场景。

Screen Shot 2024-01-04 at 11.15.36 AM.png

以20B参数量为代表,模型在很多任务上能够接近或超过在相似量级的Llama性能。

Screen Shot 2024-01-04 at 11.19.13 AM.png

1.3 从模型到应用

Screen Shot 2024-01-04 at 11.23.19 AM.png

1.4 全链条开源开放体系

针对从模型到应用到需求,AI Lab也开放了从数据到预训练,到微调、部署和评测以及到应用整个全链条的开源开放体系