透過神經網絡硬件平臺發展史，看這場從GPU、TPU蔓延到FPGA的戰爭

在如今深度學習大爆發的時代，相關的硬件平臺也在百花齊放，既有英偉達和谷歌這樣的科技巨頭，也有地平線機器人和 Graphcore 等創業公司——它們都各自提出了自己的解決方案。近日，多家公司的技術顧問 Matt Hurd 在其博客上發表了一篇全面評點各種神經網絡硬件平臺的長文，機器之心對本文進行了編譯介紹。
　　這是我幾周前做的一個傳統的 90 年代風格的性別識別神經網絡的很好的隱藏節點。
　　
　　一個簡單的性別識別器網絡中的 90 年代風格的隱藏節點圖像
　　我的碩士項目是一種類似級聯相關（cascade correlation）的神經網絡 Multi-rate Optimising Order Statistic Equaliser（MOOSE：多速率優化順序統計均衡器），可用于日內的 Bund（國庫債券產品）交易。MOOSE 曾經是為獲取高速的 LEO 衛星信號（McCaw 的 Teledesic）而設計的一點成果，后來在從 LIFFE 遷移到 DTB 時將目標轉向了 Bund。作為一家投資銀行的職業交易員，我可以購買很好的工具。我有那時候世界上最快的計算機：一個 IBM MicroChannel dual Pentium Pro 200MHz 處理器外加帶有幾 MB RAM 的 SCSI。在 1994 年那會兒，將 800，000 個數據點輸入到我的 C++ stream/dag 處理器中看上去就像是黑魔法。有限差分方法讓我可以做許多 O（1） 增量線性回歸這樣的運算，以獲得 1000 倍的加速。那時候這看起來已經很好了?，F在，你的手機都能嘲笑我的大方向。
　　那時候，在神經網絡領域有很多研究。倒不是說它有過人的生產力，只是因為有用。讀到 Lindsay Fortado 和 Robin Wigglesworth 的 FT 文章《Machine learning set to shake up equity hedge funds》中 Eric Schmidt 關于機器學習和交易的看法，還真有點讓人高興：
　　Eric Schmidt 是谷歌母公司 Alphabet 的執行董事長，他上周對一眾對沖基金經理說他相信在 50 年內，所有交易都會有計算機解讀數據和市場信號。
　　「我期待出現在交易方面做機器學習的創業公司，看看我描述的這種模式識別能否比數據分析專家的傳統線性回歸算法做得更好?！顾a充說，「我這個行業內的許多人都認為這注定將成為一種新的交易形式?！?br />