吴保元教授团队打造深度神经网络后门学习的全面基准测试平台:BackdoorBench-陈泓瑞提供(2024年)
BackdoorBench是一个全面的针对深度神经网络(DNN)后门学习的基准测试平台。随着DNN在关键任务场景中的广泛应用,其安全性问题日益受到关注。后门学习是一种新兴且重要的研究领域,专注于探索DNN的脆弱性。尽管不断有新的攻击和防御方法被提出,但这些方法的有效性和实际性能往往没有得到充分验证。
为了解决这一问题,我们构建了BackdoorBench,该基准测试包括一个可扩展的模块化代码库,目前包含了20种最先进的攻击算法和32种最先进的防御算法的实现,并定义了一个完整的后门学习标准化协议。
BackdoorBench通过五个模型和四个数据集进行了共计11,492对攻击与防御的评估,每个评估都使用了五种不同的中毒比例。此外,还从不同角度分析了这些评估结果,探究了攻击方法与防御方法之间的相互作用、中毒比例的影响以及模型和数据集在后门学习中的表现。
所有BackdoorBench的相关代码和评估结果都可以在公开网站上获取,整体流程框架如下图所示。