人工智能強化學習開源分享

描述

強化學習是人工智能的一個分支，計算機通過與問題直接交互來了解問題。該項目使用強化學習來嘗試學習在舊 iPhone 上玩 Doodle Jump 游戲。相機每秒從 iphone 拍攝 30 張圖像。對這些圖像進行分析，然后一個簡單的機器人通過旋轉 iPhone 并按下屏幕上的按鈕來操縱 iPhone。

硬件

該項目的“智能”部分是運行機器人操作系統 (ROS) 和 TensorFlow 的 Nvidia Jetson。機器人包括：

• 用于旋轉 iPhone 的步進電機。
• 用于按下 iPhone 屏幕上的按鈕的伺服電機和螺線管。
• Ximea 相機用于捕捉 iPhone 屏幕的圖片，并通過 USB3 將它們提供給 Jetson。
• EIBot 板驅動步進器和伺服系統。
• 復古外觀的盒子中還有一個電源，可為 Jetson 提供 12 伏電壓，為 EIBot 板提供 19 伏電壓，為 USB 集線器提供 5 伏電壓。
• 用于運行 Linux 和控制事物的鍵盤、鼠標和顯示器。

軟件

ROS 是構建此類項目的絕佳方式。使用 ROS，我可以將系統構建為一組使用標準消息傳遞系統進行通信的獨立進程。該項目包括 C++ 和 Python 進程。消息編譯器以兩種語言構建存根，因此可以輕松傳遞消息。ROS的主要模塊包括：

• 從相機接收圖像的相機驅動程序。
• 從屏幕上讀取分數的簡單神經網絡。
• 一個更大的、基于 TensorFlow 的神經網絡，用于分析從相機接收到的圖片。這是通過與機器人交互訓練的網絡。
• 一個存檔過程，負責將操作和屏幕圖像保存在 sqlite 數據庫中以供以后訓練使用。
• EIBot 板驅動程序。
• 屏幕驅動程序。

強化學習

人工智能的強化學習分支是最活躍的領域之一。該系統使用一種稱為模仿學習的變體。我使用機器人操縱 iPhone 玩了數百場 Doodle Jump 游戲。系統存檔圖像和我采取的行動。這些圖像和動作被用作神經網絡的訓練集。在系統開始做任何有意義的事情之前，它需要數千張訓練圖像。目前該系統可以玩一個基本的游戲。它不會瘋狂??地按下按鈕或隨機搖動屏幕。作為學習的一部分，我會盡可能及時地糾正錯誤的決定。這些游戲和修正，以及隨機選擇的最后 20K 張圖像，在每次運行后用作訓練。

這個過程比我預期的要慢得多。我希望通過采用更復雜的學習模型來改進事情，我希望讓系統松散以自行學習。