一张贴纸便可迷惑自动驾驶系统?

自动驾驶的安全性一直以来受到各方的关注。而据新智元报道,近日由北京航空航天大学、悉尼大学和剑桥大学的一项新研究表明,一张纸便可以“迷惑”AI自动驾驶系统,将一张用打印机打印出来的涂鸦贴画贴在路牌上就可以导致AI自动驾驶系统分类错误。目前该论文已在全球人工智能顶级会议AAAI 2019上发表。

在实验中,研究人员将生成的涂鸦贴画贴在北航校园中标为“限速20km/h”的真实路牌上后,AI自动驾驶系统完全被误分类,将其识别为“No Entry”(禁行)。该涂鸦贴画在论文中被称为“对抗补丁”,正是这块补丁“欺骗”了AI自动驾驶系统,让系统将该路牌误分类。

经实验证实,用该方法生成的对抗补丁具有稳定的攻击效果,将其贴在路牌上后,不会影响人类对于路牌语义信息的认知,且由于场景语义相关性人类也不会感觉到违和。但是,该对抗补丁对于AI自动驾驶系统则是毁灭性的。例如,这种攻击可能被恶意地用来攻击自动驾驶系统,入侵者只要将一小片贴画贴在路牌上,当自动驾驶汽车驶过时就可能会造成系统的致命错误,导致车祸产生。