AI由人类发明，现在OpenAI却用AI解读AI，而且在未来几年，这可能都是相关研究的风向标。
作者丨史林
编辑丨董子博
在各个AI、科技公司纷纷投入大模型的今天，OpenAI已经成了各家争相比较的对象，每个大模型发布的时候都不可避免地要拿来和ChatGPT对比。
例如说，某头部企业发布大模型时声称自己和ChatGPT的差距只有一两个月，但也有友商认为该企业可能是活在平行世界，差距应该是三年;
OpenAI之所以难以追赶，是因为他们不止在技术上领先于其他竞争对手一个周期，就连目前在做的事情和理念也领先了竞争对手一个周期，比如说用AI解释AI，用黑盒解释黑盒。
就在刚刚过去的本周二，OpenAI又公布了一项重量级研究成果：用GPT-4解释GPT-2的神经元行为，引起全球吃瓜群众啧啧称奇的同时也不免让人心生好奇，AI不是人类发明的吗，为什么现在需要用AI来解读AI?
OpenAI本周二在官网发布博客文章《语言模型可以解释语言模型中的神经元》(Language models can explain neurons in language models)，就表示：
“我们使用GPT-4自动编写大型语言模型中神经元行为的解释，并为这些解释评分。我们发布了GPT-2中每个神经元的这些(不完美的)解释和分数的数据集。”
一篇论文发布，本来不值得称奇;但读过这篇论文的人，却大多不免被OpenAI的奇思异想震撼，头皮发麻。
打从ChatGPT横扫科技圈的那天，就一直有人发问：“到了今天这一步，AI是怎样实现这么强大的功能的?”
为了回答这个问题，OpenAI的做法可以简单的概括为“用黑盒解释黑盒”。而且OpenAI的这次研究成果，倒也不失为后续AI与大模型等相关企业进行研究探索了新的方向，自然意义非凡。
此次对神经元的解释恰如当年的科研工程“人类基因组计划”，辨识基因及其序列对医学，生物学，乃至整个生命科学都产生难以估量的深远影响，实现了破译人类遗传信息的终极目的，而对每个神经元的解释也意味着人类在破解AI奥秘的漫漫长路上又前进了一步。
1
研究的起因
自去年11月ChatGPT上线以来，大语言模型(LLM)就引起了普遍关注，引起关于AI伦理与治理的担忧也日益的水涨船高：“LLM等大模型的能力越来越强，部署和应用的也越来越广泛，但对其内部工作方式的理解，我们仍然知之甚少。”
因为大模型自带“黑盒”性质，外界很难分辨它们的输出结果是否采用了带有某种见不得人的方法，AI幻觉难以根治，“一本正经的胡说八道”也常常导致令人啼笑皆非，哭笑不得的结果，因而了解黑盒内部的工作方式，特别是黑盒的“可解释性”是迫切需要解决的一个重要问题。
通常说来，AI的工作方式可以视为对人类大脑工作方式的逆运用与模仿。而黑盒也在结构上模仿大脑，由海量的神经元组成。比如ChatGPT就是在学习文本的同时观察其中的规律，以及这些规律如何影响最终的结果。因此要想说明“可解释性”就要先了解每个神经元在做什么。
从AI的角度来说，每个神经元都代表着不同的数据以及与之相关的特征，如果神经元数量有限或许可以用人力完成，但是如今大模型的神经网络包含的参数动辄百亿千亿，而且还在不断进化发展，再依靠人力明显是痴人说梦。
那么OpenAI用GPT-4解释GPT-2的神经元行为也就不难理解了，对此官方表示“我们用GPT-4为GPT-2中的神经元行为自动编写解释，并为这些解释打分。”GPT-2首发于2019年2月，神经元约30万个，参数量约15亿。
2
实际表现与引起的反响
此次的解释过程可分为三步：
1.给GPT-4一个GPT-2已有的神经元，由GPT-4展示相关的文本序列和激活情况，产生一个对此类行为的解释;
2.再次使用GPT-4，模拟被解释的神经元会做什么;
3.比较二者的结果，根据匹配程度对GPT-4的解释进行评分。
虽然OpenAI官方表示GPT-4解释了GPT-2中的约30万个神经元，但是绝大多数的实际得分都偏低。只有勉强一千多个的得分高于0.8，这意味着神经元的大部分顶级激活行为都是这一千多个神经元引起的。看来AI或许也在有意无意间遵循“二八定律”。
此外OpenAI官方还表示，他们这次采取的方法局限性很大，未来需要逐步攻克，比如：
1.整个过程中对算力的消耗大的惊人;
2.GPT-4给出的解释普遍简短，但神经元都有着非常复杂的行为，不可能用简单的语言就描述清楚;
3.GPT-4只解释了神经元的行为，而没有解释驱动行为背后的机制，而机制部分显然更有意义;
4.这种方法的确解释了神经元的行为，但没有涉及下游影响，希望最终能实现流程的自动化，并解释能实现复杂行为的整个神经回路。
对于OpenAI公布的研究成果，很快在全球各大技术平台也引起了广泛关注。有人批评其得分甚低：“对GPT-2的解释尚且如此，那如何了解GPT-3和GPT-4内部结构呢?但这才是许多人现在更关注的答案。”
也有人感慨AI进化的方式愈发先进：“未来就是用AI完善AI模型，会加速进化。”还有人担心AI进化的未来：“再搞下去，AI真的要觉醒了?”