以ChatGPT为代表的人工智能技术正掀起新一轮人工智能革命，与此同时，也引发了潜在的新型网络攻击和内容合规等安全风险。3月21日，中国产业互联网发展联盟、腾讯安全等机构联合发布的《2023产业互联网安全十大趋势》报告，便把“大模型AI计算广泛应用安全领域，攻防进入智能化对抗时代”列为十大趋势之一。
报告认为，人工智能技术为各行各业的业务和人们的生活带来了巨大的发展潜力，也为网络安全形势带来前所未有的挑战。人工智能是一把双刃剑，一方面，人工智能可用于提高网络安全的效率，包括自动检测和响应威胁、智能识别漏洞;另一方面，黑客也可将人工智能技术用于网络犯罪活动，这将是对网络安全的真正威胁。
知其安创始人兼CEO聂君在接受21世纪经济报道记者采访时也表示，ChatGPT首先会带来一些数据安全的隐患，因为大家在试用过程中，会把一些像代码的敏感信息输入进去，而ChatGPT的服务器、数据都保存在国外。其次，ChatGPT输出的内容并不具备验真或者验伪的作用，所以，如果直接拿ChatGPT结果来做相应的一些安全确认，也会带来一些隐患。
不过，聂君也提到，很多安全行业人士也在使用ChatGPT提高工作效率。“一些安全同行把一些告警、日志解析等原来由人工完成的、比较中低端的技术活交给ChatGPT来做，它的完成效率还很不错，这则是ChatGPT给安全方面带来的积极作用。”
报告指出，目前，网络攻击者已开始使用ChatGPT创建恶意软件、暗网站点和其他实施网络攻击的工具。此外，使用ChatGPT编写用于网络攻击的恶意软件代码，将会大大降低攻击者的编程或技术能力门槛，将导致即使没有技术基础也能成为攻击者。
腾讯安全策略发展中心总经理吕一平以诈骗场景为例说道，在安全专业领域有一个词叫“社工”，是一种社交攻击方式，通过跟用户聊天或者邮件沟通，诱导对方点击恶意链接，或是让对方在毫无感知的情况下，下载一些恶意软件，从而入侵对方电脑窃取数据。
“过去，诈骗分子为了冒充一个身份，需要做钓鱼剧本，准备一套说辞，这些以前都是由人工完成。但现在有了ChatGPT，我们已经观察到有犯罪分子在用ChatGPT做剧本设计。”吕一平表示，“按照我们经验，如果人工做这样一个剧本设计，他要先深入了解对方的工作，需要花很长时间，而通过ChatGPT可以大幅度提升这个效率。所以，过去社交诱骗中的角色更多是HR、财务、保险、银行业务员等等，但是未来基于ChatGPT，可能有更多不同的诱骗角色出现。”
报告也认为，人工智能赋能网络攻击与传统网络攻击在技术与手法上相比，将使过去劳动密集型、成本高昂的攻击手法开始彻底转型，朝着分布式、智能化、自动化方向发展，从而形成更为精准和快速的自动化攻击手法。所以未来，随着大模型AI计算被广泛应用于网络攻击各个领域，网络安全形势将更加严峻，攻防真正进入智能化对抗时代。
对于ChatGPT的未来，聂君认为，安全只能提高门槛，并不能杜绝。比如说作为维护方，他们其实有一些底层的基准定义，通常说不能反人类，不能教唆人们去犯罪，这是底层基础的原则。
但是，这些基本原则很难覆盖到各行各业，所以会导致信息大量出来后，辩证真伪很困难，成本很高。“这个时候，可能需要一些行业组织，去制定一些相应的规则和策略，用规则来约束ChatGPT。”聂君表示。