传统的网络安全技能,例如渗透测试、威胁建模、威胁搜寻、安全工程和安全意识培训等仍然重要,但是在新威胁背景下,这些技能都需要重新打磨以适应基于 AI 的新工具、新流程甚至新方法和策略。
当前的 AI 威胁场景
Darktrace 的一项研究发现,2023 年前两个月,新型社会工程攻击暴增了 135%,这表明攻击者可能已经开始使用生成式 AI 技术来提高其社会工程攻击的规模和复杂性。
专家预计,使用生成式 AI 快速大规模制作鱼叉式网络钓鱼电子邮件的攻击数量将迅速增长,并可能扩展到基于音频的生成 AI(电话钓鱼)。同样,攻击者还可能会使用神经网络来筛选社交媒体资料,加快对高价值网络钓鱼目标的研究。
这些都是 CISO 们最为担心的问题:人工智能工具泛滥导致难以检测的复杂网络攻击的高度自动化和民主化。
防御 AI 增强攻击的技能
从安全运营中心(SOC)的技能角度来看,攻击的自动化并不新鲜,但人工智能会大大提高自动化攻击的速度和威胁性。这意味着企业需要更加重视对优秀分析师和威胁猎人的人才吸引和培养,他们擅长寻找、筛选和利用新工具,提高检测效率,快速发现和缓解新型 AI 增强攻击。
随着攻击者越来越多地使用基于 AI 和 ML(机器学习)的工具,安全团队将需要新的 AI 自动化套件来寻找与 AI 增强攻击相关的模式。这意味着企业安全团队至少需要对 AI/ML 和数据科学有基本的认识和理解(相关技能或人才),才能提出正确的问题。
大型企业的安全领导者们已经开始着手建设内部数据科学和机器学习专业知识和技能。根据 Forcepoint 首席技术官 Petko Stoyanov 的说法,全球很多 SOC 已经开始投资招募数据科学家来开发定制化的机器学习模型,这个趋势早在 ChatGPT 出现之前就开始了。随着 SOC 越来越重视威胁猎人的作用,这种趋势可能会加速,但安全领导者们可能会面临人才短缺的问题,因为网络安全和数据科学的复合人才极为稀缺。
企业需要通过一些创造性的人员配备和团队建设来克服人才短缺问题。Stoyanov 建议由三名专家组成快速狩猎小组,这三人分别是拥有大量安全经验的威胁猎人、具备数据分析和机器学习经验的数据科学家以及负责产品化和规模化的开发人员。
成式人工智能模型会暴露更多的漏洞,当然,也可能意味着更多的漏洞会得到修复。可以确定的是,在漏洞管理领域将掀起一场人工智能军备竞赛,安全团队将争先恐后地利用人工智能来(抢在攻击者之前)修复漏洞。
除了新工具之外,AI 还可能催生新的安全职位,Software AG 首席布道者 Bart Schouw 指出:“企业可能需要提示工程师这样的新角色来加强他们的团队,” 他说。提示工程是一项新兴的技能,可以让 LLM 输出高质量内容,这在漏洞枚举和分类等多个领域可能非常有价值。
保护 AI 的技能
虽然来自 AI 驱动的新威胁开始蔓延,但企业内部还存在另一个重大风险:人工智能系统自身(以及与之相关的训练数据)可能受到攻击,或导致机密性、完整性或可用性故障。
安全专家们已经开始采取行动,将人工智能红队和人工智能威胁建模纳入未来人工智能系统的开发和部署中。这意味着企业需要更多人工智能和数据科学人才来支持他们的红队。
“红队将不得不学习一些攻击 AI 和 ML 系统的专业知识,”Cybrize 的 CSO 兼联合创始人 Diana Kelley 解释道:“企业迫切需要招募对安全方面感兴趣的数据科学人员,反之亦然,就像我们一些最好的应用程序红队人员来自程序开发人员一样.”
这也将是 AI 安全设计的练习,负责在企业中开发和部署 AI/ML 模型的人员应接受安全团队的培训并与之协作,以了解风险并开展模型的安全测试,这将是未来强化这些 AI 系统的关键。