对抗性攻击，英文名为adversarial attack，是一种针对机器学习模型的特殊攻击方式。

在深度学习领域，对抗性攻击可能导致模型误判，即使这些扰动对人类来说几乎无法察觉。攻击者通过在输入样本中添加一些人眼无法察觉的细微扰动，使模型以高置信度给出错误的输出。例如，在一张狗的图片上添加一些人眼几乎无法分辨的扰动后，深度学习模型可能会错误地将狗识别为人或其他物体。

以上图片为AI生成

对抗性攻击可以被划分为不同的类型，根据攻击者可获得的信息与目标模型的关系，如白盒攻击、灰盒攻击和黑盒攻击等。其中，白盒攻击指的是攻击者拥有目标模型的全部信息；灰盒攻击则是攻击者只能获取模型的结构信息，而无法获得模型参数；在黑盒攻击下，攻击者对目标模型一无所知。

对抗性攻击的研究不仅有助于我们理解机器学习模型的脆弱性，还有助于我们发现实际应用中的各种内在威胁，阻止已知和未知的恶意软件，阻止恶意软件的提前执行，优化模型，提高分类准确率和降低错误率。此外，对抗样本也可以作为一种数据增强方式来提升模型的泛化性。

然而，对抗性攻击也给人工智能系统带来了巨大的挑战，被认为是人工智能的梦魇。因此，研究并应对对抗性攻击是当前机器学习领域的一个重要研究方向。

敌对机器学习：利用对抗博弈思想进行模型训练

所谓“AI数据攻击”是怎么一回事？