Lego Battle Alexa聲控游樂場

描述

我家里有 Alexa，我的兩個孩子喜歡樂高積木。我從沒想過我可以做些什么來幫助我提高我的開發技能，并且可以讓我的孩子從如此有趣的角度看待我的工作。他們總是告訴我他們想玩樂高機器人，我不會說開發這個解決方案提供的所有功能很容易，所以我不得不告訴他們構建偉大的東西需要時間。現在我看到他們在玩它，我知道這個項目不知何故對他們產生了影響，而不僅僅是對我。

這個項目有兩個主要部分。一個是Alexa技能，一個是Lego Mindstorms機器人。讓我們在下面看看它們。

ALEXA技巧

該技能是在定義了意圖和槽的 Alexa 開發控制臺中開發的。

要創建技能，請登錄 Alexa 開發控制臺并單擊創建技能。

技能創造1

?

為其命名，選擇自定義模型，并選擇提供您自己的后端資源，因為我們將使用我們自己的 Lambda 函數而不是 Alexa 托管技能功能。

技能創造2

?

在您創建的技能中粘貼您將在提供的 GitHub 存儲庫中找到的 json 技能模型定義并保存模型。三種不同的語言有三種 json 模型。

技能json模型上傳

?

技能的服務端點是 AWS Lambda 函數。在端點部分，您將需要引入 Lambda 函數的 ARN（請參閱下面的 lambda 函數創建部分），并且您將需要使用可在此處找到的技能 ID。

指向 AWS Lambda 函數的技能端點

?

Custom Interface Controller 接口和 Alexa Presentation Language (APL) 接口已啟用，可以與 Alexa Gadget (Lego Mindstorm) 通信，并管理 Amazon Echo 顯示（如果設備有顯示）。

啟用技能界面

?

語言和聲音

這是一項自定義 Alexa 技能，提供兩種語言版本，即英語（美國和英國）和西班牙語 (ES)。

樂高對戰技能支持三種語言

?

語言英語（美國）和英語（英國）的技能模型定義相同。西班牙語 (ES) 中的技能具有相同的意圖和槽類型，但示例話語被翻譯，因為槽值同義詞保持相同的槽值。這樣，當從 Alexa 設備接收指令時，我們可以對所有語言使用相同的 Lambda 函數處理程序。

我只介紹了西班牙語，但可以使用相同的方法添加任何其他語言。

Lambda 函數的語音文件夾中有兩個 json 文件，其中包含英語 (en-US.json) 和西班牙語 (es-ES.json) 的 Alexa 語音表達式，Alexa 將回復用戶請求，或者樂高頭腦風暴事件。考慮到 Alexa 設備請求的“區域設置”屬性，將選擇這兩者之一，該屬性指示在 Echo 設備中選擇的語言。

回聲設備中有兩種主要聲音，一種是作為技能助手的每種語言的 Alexa 默認聲音，另一種是代表樂高機器人聲音的男性聲音（美國的 Justin，ES 的 Enrique 和英國的 Brian） .

交互模型：調用、意圖和槽

調用模型是英文的“lego battle”和西班牙文的“batalla de lego”。

定義了 12 個意圖和 14 個槽。

調用、意圖和槽

?

goSomewhere 意圖允許用戶在樂高戰場中移動機器人。機器人可以去 6 個地方，即家、直升機場、停車場、火車站、港口和顏色線。

去的地方的地圖

?

機器人有 4 種武器可用，即槍、錘子、刀片和采摘器。changeTool intent 允許用戶告訴 Alexa 武器發生了變化，useTool intent 用于命令機器人對指定目標使用武器，或者在當前位置和方向使用武器，以防沒有目標定義。

?

?

?

?

1 / 4 ?槍

?

findColor 意圖為用戶提供了讓機器人在顏色線中找到特定顏色的能力。

setSpeed 意圖允許用戶在慢速、正?；蚩焖僦g進行選擇。

?

?

?

?

1 / 3 ?慢

?

setTarget 是定義機器人攻擊目標的意圖。定義了 5 個目標：飛機、船、拖拉機、樹和移動目標。

?

?

?

?

1 / 5 ?飛機

?

最后一個自定義 intent 是 remoteControl，它可以被觸發以在 echo 設備屏幕中打開遙控器，如果它有的話。使用該遙控器，用戶可以觸摸屏幕上使用 APL 渲染的不同箭頭，將機器人向前、向后、向左和向右移動 90o。

還有 5 個默認的內置意圖可用。普通嫌疑犯。

已經為每個意圖定義了示例話語，試圖涵蓋用戶可能提出這些請求以管理 Lego Battle 領域中的 Lego 機器人的許多可能方式。

定義了一組 14 種槽類型，以收集技能正常工作所需的相關槽，例如 placeToGo、finalTool、target、speed 和 colorFind，但其他一些類型用于涵蓋可能的不同用戶表達。

并非只有一個值對每個槽類型有效，定義了多個同義詞以涵蓋更多場景。

您可以在提供的 GitHub 存儲庫的 /lego/models/ 文件夾中找到技能的 json 定義。為特定的技能語言交互模型加載它們，保存并構建它們將使一切正常工作，一旦啟用了上述接口并連接了 Lambda 函數端點。

保存并構建模型

?

Lambda 函數端點

要創建 Lambda 函數，您需要登錄 AWS 控制臺 Lambda 服務并創建一個新函數。

Lambda 函數創建

?

選擇 Author from scratch，為其命名并單擊 Create function。

在下一個屏幕中，您需要單擊添加觸發器。在此屏幕中，您可以復制 Alexa 技能開發控制臺中需要的函數 ARN 來定義 Lambda 端點。

函數 ARN

?

添加 Alexa Skill Kit 觸發器時，啟用技能 ID 驗證，以便只接受來自該技能的請求。可以在 Alexa 技能開發控制臺的端點部分找到此技能 ID。引入它并單擊添加。

添加 Alexa Skill 套件觸發器

?

在此之后，您可以部署可以在提供的 GitHub 存儲庫 (/lego/lambda/) 中找到的 nodeJs 代碼，然后一切都將在與 Alexa 技能相關的方面發揮作用。不要忘記安裝所需的節點模塊。“npm install”將安裝 package.json 中列為依賴項的所有模塊。

唯一缺少的部分是 Alexa 語音服務中的 Alexa Gadget 產品創建以及 Lego Mindstorms 構建和配置。在解釋之前，讓我們更深入地了解提供的 nodeJs 代碼片段。

在本地克隆 Github 存儲庫并使用 Visual Studio Code 或您首選的開發應用程序打開它。

樂高文件夾包含：

Lambda 函數文件

?

• 包含 2 個 APL 文檔的文檔文件夾將在 Alexa 設備屏幕中呈現。

  ?

  ?

  我們已經制造了所有可用的武器。

  這是一個巨大的樂趣！

  除此之外，我還添加了兩個傳感器：顏色傳感器和觸摸傳感器，因此 Track3r 現在能夠跟蹤顏色線中的顏色，并且當它在戰場上失去位置時也可以重置到原位。

  這里有一些顏色傳感器如何連接到積木的圖片。

  

  顏色傳感器擴展

  ?

  一些其他圖像來解釋如何連接樂高機器人中的觸摸傳感器。

  

  觸摸傳感器擴展

  ?

  EV3程序塊設置

  我已按照 LEGO MINDSTORMS 語音挑戰中的說明進行操作：設置頁面 ( https://www.hackster.io/alexagadgets/lego-mindstorms-voice-challenge-setup-17300f ) 以設置 EV3 開發環境并準備與 Echo 設備和 Alexa 配合使用的 EV3 程序塊。

  下載 ev3dev 軟件，閃存 SD 卡并連接到 EV3 程序塊（在我的例子中使用電纜）。在 Visual Studio Code 中安裝 ev3dev-browser 擴展，您可以連接設備、發送工作區文件并使用 SSH 終端執行 python 程序。

  上面提供的鏈接中的說明非常詳細。

  Lego Mindstorms 中的藍牙存在一些已知問題，因此如果您在 EV3 程序塊中看不到藍牙，請嘗試重新啟動它并拔下所有連接的傳感器，如果它仍然無法正常工作，請嘗試重新刷新您的 SD 卡。

  Python代碼

  傳輸到 Ev3 Brick 并執行以通過藍牙從 Alexa Echo 設備接收控制指令的代碼具有以下結構：

  

  EV3 Python代碼結構

  ?

  有兩個文件夾：

  • images文件夾包含從https://sites.google.com/site/ev3devpython/learn_ev3_python/screen/bmp-image-collection 下載的 .bmp 圖像。我們的想法不是展示所有功能的所有代碼，而是解釋其中的一些功能，以便讓關于如何開發所有體驗的主要想法變得更加清晰。圖片中的代碼被簡化為最相關的代碼行，因此只是提供一個想法，建議在提供的 Github 存儲庫中查看完整代碼。

    ?

    技能發布

    

    打開技能模式

    ?
    ?

    當用戶說出技能調用名稱“open lego battle”時，Alexa 收到 LaunchRequest 指令，然后通過 Echo 設備屏幕和語音，Alexa 介紹 Lego Battle 故事。在序列的第二部分，有一個機器人的圖像，一個代表機器人的新聲音會說話并要求用戶執行命令。

    在 Lambda nodeJs 函數中的 LaunchRequest 響應管理期間，Alexa 向 Ev3 brick 發送一個帶有特定令牌的 CustomInterfaceController.StartEventHandler 指令，以使 brick 中的事件能夠發送到帶有該令牌的 Alexa Echo 設備并被其接受。

    

    使用令牌在 Ev3 Brick 中啟動事件處理程序的指令

    ?

    打開技能時出現的另一個功能是 APL 文檔渲染。我正在使用一個名為 sequence.json 的 APL 文檔，可以在文檔文件夾中找到它。主要屬性如下所示。

    

    sequence.json 結構主要組件

    ?

    該文檔是一個帶有容器的模板，容器具有水平序列組件，圖像組件通過數據源中的 listImages 數組綁定到文檔。另一個容器包含將在 SpeakItem 命令中使用的不可見文本組件。

    

    計算要注入 APL 序列文檔的數據源、命令和轉換器

    ?

    呈現 APL 文檔所需的一切都在資源中的 calculateSequenceDatasource 函數中計算。首先我們初始化數據源和命令。根據意圖，計算包含 Alexa 必須說的句子的字符串數組、將支持每個句子的圖像數組以及發送到 Ev3 小工具的指令的 speechOutput。然后導航所有這些數組并將其放置在數據源和命令 json 中的正確位置。

    

    如果支持 APL，responseBuilder 發送 RenderDocument 和 ExecuteCommands 指令

    ?

    有了所有這些數據，就可以在 responseBuilder 中使用 Alexa.Presentation.APL.RenderDocument 和 Alexa.Presentation.APL.ExecuteCommands 指令。

    

    ?

    這兩個 json 文件（en_US.json 和 es_ES.json）包含兩種語言的語音轉錄。當它們需要在資源功能中使用時，會分析接收到的請求中的區域設置屬性，并考慮到設備語言，它將使用一個 json 文件或另一個。

    樂高積木啟動例程

    ?

    在 Lego Ev3 Brick 中執行 lego.py 程序時，會初始化所有電機、傳感器、Ev3 功能和 python 變量。之后是一段簡短的圖像和一個顯示機器人還活著的命令。

    

    圖像和說話啟動程序

    ?

    創建 show_image 函數是為了方便在 Ev3 Brick 液晶屏幕上顯示圖像，從圖像文件夾中獲取圖像。

    

    顯示圖像函數

    ?

    查找顏色命令

    

    查找顏色模式

    ?
    ?

    當用戶要求機器人尋找特定顏色時，Alexa 正在接收 findColor 意圖并獲取顏色槽。然后，Alexa 會在屏幕上顯示要找到的顏色，并向 Ev3 程序塊發送 CustomInterfaceController.SendDirective 指令，在有效負載中傳遞顏色和速度。這里有一些與 findColor 指令相關的 python 源代碼。

    

    findColor控制指令python代碼

    ?

    在導入了 ColorSensor 類并創建了它的一個實例之后，與顏色相關的變量被初始化，并創建了一個線程來管理顏色搜索例程。

    當接收到類型為“findColor”的自定義指令時，顏色將保存在變量中并調用 findColor 函數。在此函數中，機器人移動到顏色線并將 findColorIOn 變量設置為 True，使代碼執行 while 例程以在與上述線程關聯的 _find_color 函數中搜索指定的顏色。機器人開始沿著顏色線移動。如果檢測到顏色，則電機停止，并向 Alexa 發送 FindColor 事件，并在負載中檢測到顏色。如果未找到顏色，則發送相同的事件，但在這種情況下，顏色“無”作為有效負載。

    這是一個機器人試圖找到我的孩子超出顏色線的黃色的示例。

    ?

    讓我們看一下管理 findColor Intent 的 Lambda nodeJs 代碼。

    

    findColor Intent 處理程序、FindColor Event Received 處理程序和該事件的 calculateSequence

    ?

    一旦收到 findColor 意圖，就會計算響應，并構建指令類型 findColor 以發送到小工具。

    ?
    ?

    讓我們看一些與機器人運動相關的 python 代碼。

    

    ?

    機器人位置和場地中的不同位置使用 X 和 Y 軸值定義。方向是介于 0 和 2*pi 弧度之間的值。機器人從位置 (1, 1) 和方向 0 開始，這也是起始位置。

    當小工具接收到 goSomewhere 控制指令時，它會轉到指定的目標位置 (toPlace)。如果當前 (fromPlace) 是起始位置或目標是起始位置，則在初始位置和最終位置之間有一個?？奎c，即位置 homeEntrance。這是為了讓機器人直接向前離開家并向后返回家。

    

    goSomewhere 函數。方向和距離計算

    ?

    從初始點到目標點的移動距離是 X 軸行程和 Y 軸行程的斜邊。使用反正切計算方向，然后要進行的轉彎是方向與當前方向的差值。

    一旦計算出這一點，就會執行移動，開始轉向面向目標點，向前移動計算出的距離，然后再次轉向以進入目標位置位置方向。

    一旦到達那個新位置，就會調用 setPosition 函數來為下一次移動保留新位置。

    

    turn、move、moveBackwards 和 setPosition 函數

    ?

    轉彎和移動功能考慮了輪子的半徑和機器人輪子之間的距離。使用一些數學方程式可以計算出電機必須移動的度數。

    setPosition 函數使用小工具類中定義的內部變量來保持機器人在場地中的最終位置。

    關于負責 goSomewhere 意圖的 nodeJs 代碼，沒有什么新的可說的。

    

    goSomewhere 意圖處理程序

    ?

    calculateSequenceDatasource 被調用以獲取在 Alexa 顯示器中呈現 APL 文檔所需的數據，顯示目標位置的圖片并將 goSomewhere 控制指令發送到小工具。與在 Ev3 程序塊中管理的大多數指令一樣，一些圖像會顯示在 LCD 屏幕上并發出聲音。

    ?

    讓我們看一下用于這些意圖的特定 python 和 nodeJs 代碼。

    

    目標位置和面向目標邏輯

    ?

    啟動 MindstormsGadget 類時定義不同目標的位置。正如我們對 goSomewhere 指令所做的那樣，我們使用斜邊計算距離，使用 calculateDirection 函數計算方向，該函數使用反正切，數學函數是正切函數的反函數。

    由于我們使用不同的武器，我們定義了一個偏移量，即武器到達機器人位置的距離，所以當機器人面對目標時，它會在目標位置之前停止偏移距離。這個位置仍然是已知的，因為我們知道我們在每個目標和武器場景中停止的位置。

    當武器是槍時，它會在不離開位置的情況下開火。只是方向發生了變化。

    當定義的目標是移動目標時，機器人必須首先找出目標在哪里。在這種情況下，目標是紅外傳感器遙控信標。機器人反應的信標信號是通道 4 中的信標信號。

    

    移動紅外信標作為目標

    ?

    函數 facingTarget 計算信標的方向。由于紅外傳感器位于機器人的后部，因此我們將 pi 弧度與航向返回值相加，轉換為弧度。

    距離考慮到大約有70cm的紅外范圍，所以紅外傳感器距離函數給出的值乘以7。

    我只會評論更多關于 useTool nodeJs 代碼的內容，因為 setTarget 和 changeTool 意圖與已經解釋過的其他意圖相比沒有什么特別之處。

    

    useTool 意圖處理程序

    ?

    當收到 useTool 意圖并且用戶提供武器名稱和要執行的操作時，代碼會檢查這兩者是否相關聯，這樣您就不會嘗試發射錘子或砸碎槍支。

    ?

    在這種情況下，呈現的 APL json 文檔是 arrows.json。它是一個帶有背景圖像的容器和另一個帶有圍繞箭頭圖像的 TouchWrapper 組件的容器，這些組件發送以按下箭頭的方向作為參數的事件。

    

    arrows.json APL 文檔

    ?

    當用戶按下其中一個箭頭時，TouchWrapprer 中生成的事件將被發送并在收到時進行分析，以便將自定義指令發送到觸發移動動作的 Ev3 小工具。

    

    remoteControl 意圖處理程序和屏幕觸摸事件處理程序

    ?

    RemoteControl 和 Touchevent 處理程序調用 getRemoteControl 和 getClicked 資源函數來獲取向用戶返回正確響應所需的信息，以及發送到小工具的指令。當用戶單擊按鈕時，機器人位置設置為“家，甜蜜的家”。

    ?

    在以下 python 代碼行中，您可以看到 TouchSensor 類是如何實例化的，以及管理被按下按鈕的線程是如何創建的以及它是如何工作的。

    

    與touchSensor相關的Python代碼

    ?

    如果遙控器已被使用，則 remoteControl 變量的值為 True，然后，如果按下按鈕，位置將設置為主頁，HomeButton 事件將發送到 Alexa。

    ?

    在這里你可以看到一些與紅外遙控器相關的python代碼。

    

    紅外遙控相關的Python代碼

    ?

    InfraredSensor 類的一個實例被創建并用于定義按下通道 1 和通道 2 中的每個按鈕時需要觸發的內容。

    這里模擬了您如何使用 FireTV 在電視中看到技能運行，但由于該小工具未通過藍牙連接到 FireTV，因此樂高機器人沒有提供任何響應。

    ?

    我希望你喜歡這里描述的項目，如有問題請與我聯系。