晓查 发自 凹非寺

量子位 报道 | 公众号 QbitAI

深度神经网络容易受到某些对抗样本的攻击，比如图像分类网络，只需在图中加入一点微小的扰动，就能让它把熊猫当成长臂猿。

如果把对抗攻击用在自动驾驶汽车上，稍微修改一下路边的交通标志，它就会犯错。

上面所说的对抗攻击都是针对二维图像。那么用探测三维物体的激光雷达（LiDAR）就可以避免这个问题吗？

来自密歇根大学、百度研究院、UIUC的研究人员发现，一些特殊的3D形状也会令激光雷达受到对抗攻击，让它错误地把某些物体当做行人，甚至视而不见。

这项研究揭示了基于自动驾驶系统的潜在漏洞，并提出了一种LiDAR-Adv方法，生成可以在各种条件下逃避激光雷达检测的对抗物体。

看不见的奇怪盒子

研究人员把两种不同的盒子摆在路中央：

方形的快递盒子，自然逃不过激光雷达的法眼，自动驾驶汽车可以成功识别并绕过它。

下面的是研究人员基于LiDAR-Adv用3D打印制造的盒子，在百度的Apollo无人驾驶平台（V2.0）上进行测试，结果激光雷达会把它当做是行人。

在其他实验中，激光雷达甚至无法检测到75厘米大小的物体。

在Apollo平台上进行的实验证实了，不仅是理论上，现实世界中的激光雷达也确实存在着漏洞。有些奇形怪状的盒子无法被激光雷达“看见”。

生成对抗样本

盒子明明就在那里，为什么会被视而不见呢？激光雷达并不是直接生成物体的三维图像，而是扫描空间中的点云（point cloud），将点云馈送到机器学习系统，从而还原出物体。

虽然我们知道激光雷达的工作原理，但是要生成对抗样本并不容易。首先机器学习是一个黑盒系统，形状的扰动如何影响扫描点云还不清楚；其次点云的预处理是不可微分的，无法使用基于梯度的优化器。

研究人员提出的LiDAR-Adv解决了上述问题。他们模拟可微分的激光雷达渲染器，将3D对象的扰动连接到激光雷达扫描的点云；然后使用可微分的代理函数来制定3D特征聚合；最后设计不同的损失以确保生成3D对抗物体的平滑度。

在大小为50厘米的物体上，LiDAR-Adv可以达到71％的攻击成功率，高于进化算法的黑盒攻击，在更大尺寸的物体上也一样。

另外LiDAR-Adv生成的对抗物体还可以改变标签，让激光雷达把某些物体误检测为行人。

LiDAR-Adv的实验结果足以引起了人们对激光雷达系统安全性的担忧，百度研究人员希望这项工作能够揭示潜在的防御方法。

论文地址：

https://arxiv.org/abs/1907.05418