以 ChatGPT、GPT4 为代表的 AI 应用和大模型火爆全球,被视为开启了新的科技工业革命和 AGI (通用人工智能)的新起点。不仅科技巨头间你追我赶,争相推出新品,许多学术界、工业界的 AI 大佬也纷纷投入投身相关创业浪潮。生成式 AI 正以 “天” 为单位,快速迭代,持续狂飙!
然而,OpenAI 并未将其开源,它们背后的技术细节有哪些?如何快速跟进、追赶并参与到此轮技术浪潮中?如何降低 AI 大模型构建和应用的高昂成本?如何保护核心数据与知识产权不会因使用第三方大模型 API 外泄?
作为当下最受欢迎的开源 AI 大模型解决方案,Colossal-AI 率先建立了包含监督数据集收集 -> 监督微调 -> 奖励模型训练 -> 强化学习微调的完整 RLHF 流程,以 LLaMA 为基础预训练模型,推出 ColossalChat,是目前最接近 ChatGPT 原始技术方案的实用开源项目!
开源地址:https://github.com/hpcaitech/ColossalAI
包含以下内容:
1. Demo:可直接在线体验模型效果,无需注册或 waitinglist
2. 训练代码:开源完整 RLHF 训练代码,已开源至含 7B 和 13B 两种模型
3. 数据集:开源 104K 中、英双语数据集
4. 推理部署:4bit 量化推理 70 亿参数模型仅需 4GB 显存
5. 模型权重:仅需单台服务器少量算力即可快速复现
6. 更大规模模型、数据集、其他优化等将保持高速迭代添加
平价模型,强大能力
ColossalChat 仅需不到百亿参数,在大语言模型的基础上进行 RLHF 微调,即可掌握中、英双语能力,达到与 ChatGPT 和 GPT-3.5 类似的效果。
例如常识问答:
![](http://www.openaimy.com/wp-content/uploads/2023/03/13f7cecf008ef040d1967361fd9d4d1d.png)
中文应答:
![](http://www.openaimy.com/wp-content/uploads/2023/03/57accc932f0b6dbf934fc1df98cc4fb0.png)
写一封邮件:
![](http://www.openaimy.com/wp-content/uploads/2023/03/a6bb9e2f228d4f643187c6e607f01673.png)
写个算法:
![](http://www.openaimy.com/wp-content/uploads/2023/03/86f2222bbdfea2f6db775d6c5122d285.png)
完整 ChatGPT 克隆方案
尽管 ChatGPT 和 GPT-4 等 GPT 系列模型非常强大,但是它们不太可能被完全开源。幸运的是,开源社区一直在不断努力。
例如 Meta 开源了 LLaMA 模型,该模型的参数量从 70 亿到 650 亿不等,130 亿参数即可胜过 1750 亿的 GPT-3 模型在大多数基准测试的表现。但是由于没有被指令微调(instruct tuning),因此实际生成效果不够理想。
斯坦福的 Alpaca 通过调用 OpenAI API,以 self-instruct 方式生成训练数据,使得仅有 70 亿参数的轻量级模型以极低成本微调后,即可获得媲美 GPT-3.5 这样千亿参数的超大规模语言模型的对话效果。
但是现有开源方案都可以被视为只得到了人类反馈强化学习(RLHF)中第一步的监督微调模型,没有进行后续的对齐和微调工作。同时 Alpaca 的训练数据集过小,语料只有英文,也在一定程度上限制了模型的性能。
而 ChatGPT 和 GPT-4 的惊艳效果,还在于将 RLHF 引入训练过程,使得生成内容更加符合人类价值观。