Spatiotemporal Multiplier Networks for Video Action Recognition

Abstract

加入恒等映射核來捕捉長期依賴。

Intro

ST-ResNet：沒有提供它的設計選擇有系統的理由
重新考慮雙流的結合，ResNet較為深入的增加了解這些技術是如何相互作用的
引入這些新的結構，產生了一個新的動作識別方法。

3 main contributions

展示了一種可乘的運動外觀流，表現非常好

討論在長期輸入的情況下，生成ST-ResNet的幾種方法（提出了加入時間核），這種方法允許新的時間聚合核注入，甚至進入了網絡的skip path。

基于如何在residual connections之間融合雙流，并且擴展到時間維度，提出了通用的卷積結構，用于動作識別。

Related work

Historically：HOF,MBH,trajectories,HOG3D,Cubiods,SOEs
More recently:

unsupervised learning,

makes use of a combination of hand-crafted and learned features

C3D

aggregation of temporal information over extended time periods.(dynamic-image/LSTM/RNN/Siamese architecture/)

2-stream

Two-stream multiplier networks 3.1. Baseline architecture

雙流，卷積網絡在appearance上容易過擬合。
在每個流上都用ResNet作為base network architecture。

3.2. Connecting the two streams

加入cross-stream殘差連接。提出了幾種連接方式：
但是簡單的cross-residual連接這兩種流的層次導致了較低的分類與(非連接)兩流的性能相比基線。我們推測，性能下降是由于這些層的輸入分布的巨大變化在注入融合后的一個網絡流中來自另一個流的信號。

3.2.1 Additive interaction 相加

X^al+1=f(Xal)+F(Xal+f(Xml),Wal)

XalandXml是appearance stream 和motion stream的第l層的輸入，對應的，根據鏈式法則，在反向傳播中loss function的梯度L：

3.2.2 Multiplicative interaction 相乘

將motion信號作為appearance feature的調整，公式為：

X^al+1=f(Xal)+F(Xal?f(Xml),Wal)

?表示element-wise相乘。反向傳播梯度為：

連接方式如圖：

motion信號f(Xml)傳入到appearance流的殘差單元，殘差單元的梯度：

?

3.2.3 Discussion