智能对话技术在近几年来取得了惊人的进步，最近爆火的 ChatGPT 更是将智能对话推到了至高潮。像 ChatGPT 这样的聊天机器人有着广泛的用途，然而想要让其达到真正的智能水平，还有很多挑战需要克服，比如自然语言处理、上下文理解、逻辑推理、情感表达等技术能力都需要进一步迭代。
如今智能对话技术已经发展到什么程度了?当前有什么好的智能对话产品实践经验?智能对话技术的下一步演进将是怎样的?为了得到这些问题的答案，3 月 11 日下午，OPPO 数智在线下举办了主题为《畅谈“智能对话”，共启“交互未来”》的 OGeek 小布沙龙。OPPO 小布助手首席研究员杨振宇博士作为本次沙龙的内容出品人，邀请到了清华大学计算机科学与技术系长聘副教授黄民烈博士、百度 AI 主任研发架构师 & 小度算法团队技术负责人谢剑博士及 OPPO 小布助手算法专家索宏彬博士来到现场进行了硬核的技术干货分享及精彩绝伦的圆桌论坛。
据悉，“OGeek”是由 OPPO 数智工程事业部主办的行业技术沙龙品牌，旨在为技术爱好者搭建一个技术交流和分享的开放平台。沙龙主要围绕“科技为人、以善天下”的品牌使命，聚焦于为智能终端提供安全高效的数据、算力、算法、云服务方面的前沿技术，打造技术互动的行业生态，探索技术在行业应用的实践、突破及未来发展方向。
以下为本次 OGeek 小布沙龙的精华内容整理：
黄民烈：预训练对话大模型深度解读
生成式对话模型的图灵测试逐渐接近人类水平，高质量对话也让人误以为 AI 有意识和人格觉醒。特斯拉和小米均在研发人形机器人，国际上也投入了大笔资金立项，似乎“AI- 人”和谐共融的社会将成为必然。基于以上背景，黄民烈指出，随着硬件成本越来越低、执行部件越来越灵敏，机器人的大脑将显得尤为重要。
黄民烈提到，目前 AI 的发展已经历三个时代：
基于规则时代，1966 年计算机发展之初，MIT 的教授基于规则研发了用于心理治疗的 Eliza;
智能助手时代，资本一顿狂追，成果则良莠不齐;
深度学习时代，如今，以深度学习为代表的大模型数据神经对话系统如 ChatGPT 正在开启 AI 发展的第三阶段——深度学习阶段。
黄民烈认为，聊天机器人可分为两个分支——“功能型 AI”及“拟人型 AI”。前者可以不停地完成任务和指令，如传统的智能助手、大模型阶段的 ChatGPT;后者则一般是基于检索的智能机器人、基于生成大模型的 LaMDA 等。
纵观大模型发展历程，由微软研发的 DialoGPT 是相对较早的系统，它完全基于 GPT 架构，从 Reddit 上抽取 147M 对话数据，实现了互信息最大化。谷歌研发的 Meena 系统提出了人工评价体系 SSA，性能显著超越了 DialoGPT。清华 CoAI 小组研发的 CDial-GPT，依托 Decoder-0nly 架构，建立了大规模高质量中文开放域对话数据集 LCCC，其人工评测结果优于原始 Transformer 模型和中文 GPT-2 模型，得到了学术界的认可。
紧接着由 Meta AI 研发的 BlenderBot 问世，共包含三代版本：
第一代：已具备开放域闲聊及多技能融合的能力;
第二代：模型结构与第一代相同，数据能力有所增强。
第三代：迭代为 Decoder-Only 结构，功能模块化与流水线配合执行，完成开放域任务并实现终身学习。
2021 年初，清华 CoAI 小组研发了 EVA，共有两个版本。其中，EVA1.0 包含 28 亿参数，在 181G WDC-Dialogue 上训练而成，开源首个十亿级别中文对话模型;EVA2.0 在精细清洗的 60G WDC-Dialogue 上训练而成，开源多规模版本模型以方便研究者使用。
当我们把目光放到当下的技术产品中，由百度研发的 PLATO 系列模型现已更新至第四代。前两代模型结构相同，参数量均为 1.6B。第三代 PLATO-XL，参数量达到 11B，在连贯性、一致性、信息量、事实性、趣味性上均取得优异表现。第四代 PLATO-K 版本旨在解决开放域对话系统中信息量缺乏和事实不准确的问题，在知识性上有大幅提升。由 Google 研发的 LaMDA 以 Decoder-Only 为架构，参数量达到 137B，在 2.81T 的 token 上进行了预训练，能够在合理、趣味、安全的开放域闲聊。引入 Toolset (TS)，在生成质量、安全性、有根据性上取得明显提升。
去年，清华 CoAI 小组联合聆心智能研发了 OPD。它采用 UniLM 架构，在预训练阶段引入了 Soft Prompt。参数量为 6.3B，具有 70GB 高质量对话数据，兼顾出色的闲聊能力与知识问答能力。
关于如今备受关注的 ChatGPT，黄民烈提到，它背后的核心技术其实是指令学习和基于人类反馈的强化学习。黄民烈在此总结了 ChatGPT 的三个突出特点：
遵循指令能力出色，在多轮交互中均能很好地遵从指令;
对话历史建模能力突出，在多轮交互中具有很强的长程记忆能力;
多语言能力强，支持各类主流语言。再者是回复信息性强，倾向于生成较长的回复。最后是安全性好，安全漏洞很少且仍在持续优化。
黄民烈指出，ChatGPT 更突出功能属性，强调提高效率、解放生产力，提升创造力。而 Character AI 和 AI 乌托邦则更关注人格属性，试图满足社交、情感、陪伴、支持等需求。黄民烈将 AI 乌托邦称为 Mini 版的 ChatGPT，它既可以回答刁钻的问题，还可以让不同角色实现跨时空的对话。对于一个问题，ChatGPT 可能会给出一个比较官方的回复，而 AI 乌托邦则会根据不同的角色性格给出不同的回答。
在本次演讲的最后，黄民烈就对话大模型特点做出了总结：
1. 模型架构、预训练任务趋于统一;
2. 参数规模持续增大，下一代对话预训练模型将普遍进入千亿量级;
3. 数据重要性日益凸显，中等规模、高质量的对话数据将显著提升对话预训练模型的交互能力;
4. 人类在模型训练过程的介入和参与不断增加，模型对人类行为的模仿、与人类偏好和价值取向的对齐不断增强;
5. Tool-learning 引起关注，检索、记忆、计算等可插拔的外部模块将成为标配;
6. 新的落地应用场景涌现，以 Character.AI、ChatGPT 为代表的对话模型具有众多潜在的落地应用场景。