AlphaGo的機器學習泛化能力仍待提高

上了數以千計的CPU和上百的GPU，AlphaGo在與李世石的挑戰賽中贏了第一局。除了算法的設計，這還是計算的勝利，用DeepMind公司研究負責人David Silver的話說，職業棋手在考慮下一手布局時，每秒可以考慮到100種可能的棋路，但AlphaGo每秒可以考慮到10萬種棋路，計算速度也比人類更快。
　　那么，在機器學習一端呢，程序員們怎么說呢？
　　
　　李理：面對頂尖高手，AlphaGo只有殘局搜索速度的優勢
　　李理，出門問問NLP工程師
　　沒想到第一局AlphaGo就取得勝利，作為對人工智能感興趣的碼農，我既感到高興又不免有些傷感。高興是因為我們可以“創造”出比我們自己“聰明”的機器，傷感就像教拳擊的師傅看到徒弟的水平已然超過自己，不免有“老了，不中用了”的感嘆。另外還有那么一點點失落和擔憂：那些花邊新聞不再會有我的出現了，失落之感油然而生。而且這孩子太天真，以后很容易被社會上不好的人帶壞。
　　但這是大勢所趨，不可避免，長江后浪推前浪，人工智能會在很多領域超過人類，這是我們不得不承認的事實，但是我們還是不愿意承認這個殘酷的事實。力量比不過機器我們比“智能”，計算比不過我們比邏輯，象棋比不過我們比圍棋，……，突然有一天我們發現找不到這樣的事情了，我們做何感想？我認為這一天遲早會來的，但希望再我的有生之年不會到來（但我們做人工智能不就是希望這一天的到來嗎？）。也許是我們的世界觀太過狹隘，我們應該歡呼這一天的到來？
　　當然我覺得這一天還是離我們很遙遠的，而且也不是太壞的事情，我們想象中的外星人都是來毀滅地球的，是不是因為我們的文化都是強調競爭而不是協作呢？從某個角度來說，確實處處是矛盾：老板賺得多員工賺得少，碼農月新高農民辛苦一年報酬少，農民把動物的家園從森林砍成耕地，蜜蜂竊取花的糖分……。
　　但是換個角度來看，整個地球是一個協作的生態系統，植物把太陽能變成動物能吸收的食物，老板通過對外宣傳來推廣我們的產品和協調我們的長短期計劃。馬龍通過程序交換信息從而更好的幫助人類實現商品交換……。
　　從某種意義上講，機器智能也是人類智能的一部分。比如我們通過各種工具來擴展我們的能力，用機器來增加力量，用汽車飛機來提高速度，用望遠鏡和顯微鏡來提高視覺能力，這是“非智能”的工具。但是竹木簡，造紙術和計算機磁盤擴展了我們的“記憶”。記憶能力在中國是非?？粗氐哪芰?，很多“天才”，都是記憶力超出常人，我們認為一個小孩聰明，經常會說他六歲就能背誦唐詩三百首。這可能是因為中國作為一個幾千年的農業國家，很多都是經驗的積累，因此記憶能力至關重要。但是到了現代，人腦外部的存儲已經很方便了，再過分強調記憶力就容易培養死記硬背的書呆子了（用機器學習術語就是過擬合）。
　　但是我們還是認為人類是特殊的，比如有情感，比如有靈感，比如有抽象能力，能通過有限推廣到無限（比如數學里的極限），……。這些能力不管是被上帝賦予的還是人類“生下來就有的”（那第一個人怎么獲得這么bug的技能的呢？），反正我們就認為其它“東西”是不可能擁有的。（雖然我個人認為人類沒有任何特殊的能力，就不展開討論了）
　　我們假設有一項特殊能力只有人類會有，那么我們就不可能制造出類似甚至超過人類的機器，那很好嗎？我們失去了這項非常重要的創造力！反過來看，如果我們承認人類沒有特殊之處，那么之前有可能我們能有這樣的能力（通過人類甚至人類加機器的努力）。
　　扯得太遠，我們還是回到圍棋和AlphaGo上面?，F在AlphaGo已經全面超越人類了嗎？我個人認為還不見得。我在大學的時候寫過一個簡單的黑白棋（othello，reversi）程序，寫得很一般，尤其是開局的估值函數。玩過黑白棋的同學可能都知道，開局時要盡量占據邊和角，中間棋子太多反而不好。我的這個黑白棋程序開局不行，但是到了還剩20步棋時它就能窮舉所有可能了。我一般和它下時會讓它彈出一個對話框告訴我當前電腦計算出來的最優結果。經常是開始得分是-20（這表示我如果下的完美，我最終比電腦多20個子），但下著下著就變成-16、-8……，最后常常被翻盤。
　　從昨天AlphaGo的表現來看，包括柯潔在內的很多人都認為電腦開局還行，但偶爾有些小問題，中局較差，而殘局很恐怖。而李世石也是類似風格（之前好像有個李昌鎬更是這樣？）。但比殘局計算，李世石可能是人類中的高手，但計算機更勝一籌。所以柯潔認為自己對AlphaGo的勝率會比李世石高。我比較認同這個看法。
　　從圍棋原理來分析，開局其實人類離“上帝”差得太遠，也許我們今天覺得很好的布局定勢其實是個大壞棋也不一定。更多的是靠以往的經驗，比如水平差不多的人下棋，走這個定勢就比那個勝率更高一些，我們就認為這個好一些。目前AlphaGo對于開局也是靠人類高手學習出來的對局庫學習出來的Value Network，當然開局也有MCTS的搜索，但從開局模擬對局到游戲結束需要的時間更多，可能性也更多，所以“看起來”電腦的布局更像是“背棋譜”，也就是很像人類高手的走法。從人類的策略來說，開局是非常關鍵的。因為神經網絡需要大量訓練數據，超一流棋手的對局少，所以AlphaGo只能學到一流高手的棋感，而開局MCTS的幫助就沒有那么大。
　　而到了殘局，雖然MCTS不是窮舉，但是由于搜索的速度加快，從而模擬對局變多，從概率上來看趨近最優解，而人類高手總有算錯算漏的可能性，所以這是劣勢。而中局就比較復雜，需要平衡搜索和局面判斷，我認為AlphaGo借助搜索能稍微超過一流高手但會弱于頂尖高手甚至可能出現明顯的弱手。所以也是李世石需要下的強硬并擴大先手的地方。
　　但還是那個老問題，人類殘局會算錯，即使從棋理上應該獲勝的棋也可能下輸，尤其是如果心理壓力大的情況下計算更容易出錯，而計算機就不會（這也是為什么情感不是智能生物必須的一個論據）。就像常昊跟李昌鎬下棋，到了后面就是下不過，不服都不行。所以今天的比賽至關重要，如果輸了那就基本0:5了，而贏了的話很可能4:1。
　　總結一下（希望被再次打臉）我個人的觀點和對李世石的建議：開局選擇自己最拿手的，能用超一流棋手的棋感拉來和一流棋手的差距，中局穩打穩扎，利用機器的小失誤擴大領先，殘局計算要控制好情緒，不要優勢就放棄（劣勢也頑強一點吧，雖然看起來是無謂的垂死掙扎，電腦不會給你任何機會的），另外可以考驗一下電腦應付打劫的能力，這個更多靠“抽象和泛化”，少量的訓練數據深度學習應該還是學不出來的。
　　張崢：AlphaGo無破綻，問題在于機器學習
　　張崢，上海紐約大學計算機科學教授、前微軟亞洲研究院副院長
　　仔細讀過AlphaGo，沒覺得有什么破綻。在自己左右手互搏中的計算價值那部分為了效率用了“快棋”策略，可能粗糙些，但下得多可以彌補。有網友提出的和李世石比賽會“偷招”這個倒不用擔心，五局的樣本對機器沒用，它不靠這個，靠的是工程上高效率、策略上粗枝大葉但大方向正確。
　　AlphaGo勝利的概率是100%，只不過不見得是這次?！懊　边€是機器學習的老毛病。表現在：
　　無法總結規律，或者說無法吐出一套規整自洽的規律；泛化能力差，無法在復盤中舉一反三，即便告訴它哪步走錯了，恐怕它也不知道為啥，只是一氣兒死磕到撞了南墻才完事。
　　田淵棟：增強學習還有很長的路
　　田淵棟，Facebook
　　在AlphaGo中，增強學習（Reinforcement Learning）所扮演的角色并沒有想像中那么大。在理想情況下，我們希望人工智能系統能在對局中動態地適應環境和對手的招式并且找到辦法反制之，但是在AlphaGo中增強學習更多地是用于提供更多質量更好的樣本，給有監督學習（Supervised Learning）以訓練出更好的模型。在這方面增強學習還有很長的路要走。
　　本段著作權歸作者所有。
　　商業轉載請聯系作者獲得授權，非商業轉載請注明出處。
　　作者：田淵棟
　　鏈接：AlphaGo的分析
　　來源：知乎
　　周志華：
　　周志華，國際人工智能學會成員、南京大學計算機系教授
　　圍棋AI遲早會戰勝人類。但僅憑深度學習+強化學習+蒙特卡洛樹搜索等老技術，似乎很難達到人類頂尖棋手的水準。
　　AlphaGo的未來
　　挑戰《星際爭霸》。
　　谷歌研究員透露開發AlphaGo的DeepMind公司總裁正考慮將人工智能目標轉移到游戲上，并以星際爭霸作為開始項目。星際爭霸的玩家除了視覺觀察之外還需要理解一些其他問題，AlphaGo要面對的挑戰是和圍棋在不同層面的。
　　解決更多的通用問題。
　　David Silver：AlphaGo屬于通用程式，人們可以使其學習醫療數據，掌握治療方法，并可以利用它制造出做各種雜務的家用機械人。田淵棟：與之前的圍棋系統相比，AlphaGo較少依賴圍棋的領域知識，但還遠未達到通用系統的程度。周志華：算法無法直接復用于其他領域，但算法精神可以應用。
?