ChatGPT 这次成为数百个模型的管理者。
几个月来，ChatGPT、GPT-4 的相继爆火，让人们看到大型语言模型 (LLM) 在语言理解、生成、交互和推理方面表现出的非凡能力，这引起了学界和业界的极大关注，也让人们看到了 LLM 在构建通用人工智能 (AGI) 系统方面的潜力。
要实现 AGI，LLM 要面临诸多挑战，包括：
受限于文本生成的输入和输出形式，当前的 LLM 缺乏处理视觉和语音等复杂信息的能力;
在现实场景中，一些复杂的任务通常由多个子任务组成，因此需要多个模型的调度和协作，这也超出了语言模型的能力范围;
对于一些具有挑战性的任务，LLM 在零样本或少样本情况下表现出优异的结果，但它们仍然弱于一些专用的微调模型。
其中，最重要的一点是实现 AGI 需要解决不同领域、不同模式的复杂 AI 任务，而现有 AI 模型大多是用于特定领域特定任务。
基于此，来自浙江大学和微软亚研的研究者最近提出了一种让 LLM 充当控制器的新方法，让 LLM 来管理现有的 AI 模型以解决复杂的 AI 任务，并且使用语言作为通用接口。该研究提出的 HuggingGPT 是一个利用 LLM 连接机器学习社区(例如 HuggingFace)中各种 AI 模型以解决复杂 AI 任务的系统。
论文地址：https://arxiv.org/abs/2303.17580
项目地址：https://github.com/microsoft/JARVIS
具体来说，HuggingGPT 在收到用户请求时使用 ChatGPT 进行任务规划，根据 HuggingFace 中可用的功能描述选择模型，用选定的 AI 模型执行每个子任务，并根据执行结果汇总响应。借助 ChatGPT 强大的语言能力和 HuggingFace 丰富的 AI 模型，HuggingGPT 能够完成覆盖不同模态和领域的复杂 AI 任务，并在语言、视觉、语音等具有挑战性的任务中取得了令人印象深刻的结果。HuggingGPT 为走向通用人工智能开辟了一条新的道路。
我们先来看一下 HuggingGPT 完成任务的例子，包括文档问题回答、图像转换、视频生成和音频生成：
还有为图像生成复杂详尽的文本描述：
为了处理复杂的 AI 任务，LLM 需要与外部模型协调以利用它们的能力。因此，问题的关键是如何选择合适的中间件来桥接 LLM 和 AI 模型之间的连接。
该研究注意到每个人工智能模型都可以通过总结其模型功能来表示为一种语言形式。因此，该研究提出一个概念：「语言是 LLM 连接 AI 模型的通用接口」。通过将 AI 模型的文本描述融入到 prompt 中，LLM 可以被视为管理(包括规划、调度和协作) AI 模型的「大脑」。
另一个挑战是，解决大量的 AI 任务需要收集大量高质量的模型描述。在这一点上，该研究注意到一些公共 ML 社区通常会提供各种适用于特定 AI 任务的模型，并且这些模型具有定义明确的描述。因此该研究决定将 LLM(例如 ChatGPT)与公共 ML 社区(例如 GitHub、HuggingFace、Azure 等)联系起来，通过基于语言的接口解决复杂的 AI 任务。
截至目前，HuggingGPT 已经围绕 ChatGPT 在 HuggingFace 上集成了数百个模型，涵盖了文本分类、目标检测、语义分割、图像生成、问答、文本转语音、文本转视频等 24 个任务。实验结果证明了 HuggingGPT 在处理多模态信息和复杂 AI 任务方面的强大能力。并且，HuggingGPT 将继续添加面向特定任务的 AI 模型，从而实现可增长和可扩展的 AI 功能。