交叉信息院馬愷聲研究組CVPR發文 破解CNN魯棒性增強帶來的計算量暴增難題

2020年02月26日 瀏覽次數: 0

近日，2020 IEEE國際計算機視覺與模式識別會議（IEEE Conference on Computer Vision and Pattern Recognition，簡稱CVPR）公布接收論文結果，交叉信息院馬愷聲研究組的論文《通過輔助分類器提高卷積神經網絡的準確率與魯棒性》（Auxiliary Training: Towards Accurate and Compact Models）被成功接收。

現有的模型在遇到攝像頭抖動造成的模糊、雨霧遮擋等場景時，往往會失效。傳統的解決方法之一采用多個不同模型單獨運算，然后把每個模型的結果組合（ensemble）到一起，也就是極大地增大模型的容量，從而一定程度上增加模型的魯棒性。但是增大模型容量帶來的壞處也是顯而易見的，計算量、存儲量的變大導致響應時間變長、能耗變大。如何增加模型對環境的魯棒性而不增加模型容量成為一個熱點問題。

《通過輔助分類器提高卷積神經網絡的準確率與魯棒性》一文提出了一種Auxiliary Training的方法，可以加強模型魯棒性而不增加模型大小。作者發現，導致模型魯棒性變差的瓶頸是在于全連接層，而卷積層對魯棒性的影響很小。觀察到此現象后，作者提出用多個全連接層做多個分支，處理不同魯棒性任務，當訓練快接近結束的時候，多加一個loss項使得多個全連接層的權重趨于一致。這樣在Inference過程中就跟最基本的模型結構完全一致：就可以既增強模型魯棒性，而不增加任何Inference的計算量。

圖：訓練過程中將不同類型數據作為不同任務學習

圖：多任務學習收斂后，將不同任務分支融合，最后在預測階段僅使用一個分類器

這一研究有望緩解為增加模型魯棒性而帶來的計算量暴增的問題，將在一定程度上推動無人駕駛、人臉識別、智能機器人等需要強魯棒性應用的實際落地。

該論文的第一作者是交叉信息院2019級直博生張林峰，共同通訊作者為交叉信息院助理教授馬愷聲和清華大學丘成桐數學科學中心助理教授包承龍，論文得到了交叉信息核心技術研究院（西安）的資助支持。由馬愷聲助理教授指導，交叉信息核心技術研究院（西安）芯片團隊完成的另一篇論文《輕量級校正器: 一個可分離的無監督領域適應組件》（Light-weight calibrator:A separable component for unsupervised domain adaptation）也被CVPR 2020接收。

CVPR是計算機視覺領域三大頂級會議之一，本屆大會共收到6656篇有效投稿，最終錄用1470篇，錄用率約為22%左右。