可穿戴Cyber??ware開源硬件

描述

你的身體可以鍍鉻...

警告：賽博朋克 2077 的一些小劇透可能會提前......

該項目的目標是創建受 Cyber??punk 2077 啟發的可穿戴 Cyber??ware，它具有交互式 AI，通過耳機在佩戴者的頭部發出聲音；由ChatGPT提供支持。

它的靈感來自Relic - 游戲中的一項技術，可以存儲某人的意識，并允許他們與在其 Cyber??ware 中安裝芯片的人進行整合和互動。

在游戲中，名為 Johnny Silverhand（由基努里維斯飾演）的角色居住在 Relic 中，并使用該技術直接與您的角色對話。他也可以被看見；雖然只是用戶，因為他基本上是在他們的腦海中投射。

幾年前我開始研究它，但在硬件和軟件方面花費了相當長的時間和反復試驗才能正確 - 它最初使用我的 Bot_Engine 和Chatbot ，直到ChatGPT發布并且我意識到顯而易見的解決方案是而是整合它。

目標是將 MAX30105 傳感器用作心跳檢測器，安裝在佩戴者的太陽穴上。如果用戶的心率升高或降低，它也可以方便地進行額外的響應。

快速警告：

This code AND hardware should not be used for medical diagnosis. It's for fun/novelty use only, so bear that in mind while using it. 

Also bear in mind that ChatGPT will respond with the style of whatever context you 
have set within config/chatgpt_config.py, so I can't be sure what it will say. And I 
can't take any responsibility for any other context that is set or what it says.

你會跟隨這個面包屑路徑

其中的關鍵部分是 Raspberry Pi Zero 2——它提供了足夠的 CPU 能力和 RAM 來運行語音推理和其他一些原始 Pi Zero 無法提供的外形尺寸。

我最初試圖用一片 PiBow 將它固定在我的耳朵上——如果它只是 Pi Zero 本身就很好，但是當你開始添加傳感器時，外殼，尤其是電池技術變得太重了留在頭上。

所以我不得不找到另一個解決方案；那個解決方案是我從亞馬遜買的一個漂亮的大金屬發帶。

你可以看到我有一個漂亮的金屬外殼，將整個東西安裝在更堅固的 PiBow 切片上，并從 Pi Zero 外殼中添加了一些額外的東西，以容納電池和 LiPo Powerboost 500。

30105 傳感器連接到前面，面向佩戴者的頭部：

這是連接到 Pi 相對容易的，如下所示：

我剛剛用一些額外的接線將其擴展。

安裝到 PiBow 切片的 Pi 和外殼：

這是原始耳機上的音頻 DAC 墊片，稍后必須將其移到擴展接頭上，以便允許傳感器通過跨接電纜連接到引腳：

電池和主要部件如何連接成角度的 USB A 至 USB Micro 電纜：

頭飾的最終形態，上面還貼有荒坂的貼紙：

最后一點整理傳感器和電線：

以及插入 USB 麥克風和 USB Micro 墊片、頭帶和耳機的最終硬件：

有時讓我假裝我存在，好嗎？

代碼可以在我的GitHub找到。

對于任何人通過修改此程序對 FakeYou 所做的事情，我不承擔任何責任，同時請注意，ChatGPT 可能會生成奇怪的東西以傳遞給 FakeYou，這也取決于對 ChatGPT 所說的內容。典型的。

本質上，它使用包裹在 python 腳本中的 Web 瀏覽器自動化來與 ChatGPT 交互。

我發現超過一定數量字符的響應會完全破壞 Nix-TTS 并導致它崩潰；但即使是更短的響應有時也會導致它崩潰。它能夠完全執行響應，而無需使用任何通常的禮貌內容。非?？?，實際上感覺就像您正在從角色那里得到回應。

所以這里的主要問題是 Pi Zero 2 雖然具有四核 arm SoC 和 512mb RAM 相對強大，但仍然需要時間來處理某些事情。因此，語音到文本的處理可能需要幾分鐘時間，TTS 可能需要一段時間，甚至 ChatGPT 包裝器也需要一些處理時間。

所以交互不是完全實時的，但我希望未來的 Pi Zero 3 具有更強大的硬件，或者甚至是我可以用于此的其他小型設備。Pi 4 會快得多，但如果戴上頭戴式設備，實施起來會困難得多。

這是我頭上的一些照片以及賽博朋克夾克：

還有一些額外的特寫鏡頭：

。。

語音到文本輸入：

ChatGPT 的文本到語音輸出：

有時 Speech to Text 會出錯：

ChatGPT 輸出與它一起運行：

另一個顯示心率傳感器潛在誤差的輸出：

我只想讓世界知道我來過這里。

總的來說，這是可行的；但它在 STT 方面非常慢 - 即使 STT 自行運行，所以希望將來會出現新的 RPi Zero 3 或帶有 Gig RAM 的 Zero 2 來幫助加快速度。我認為很多速度問題是由于缺少 RAM 導致分頁引起的，但我也注意到在 Pi 4 8??GB 上運行的Terminator Skull也存在同樣的問題——同時它也在線程化和運行其他東西。

幸運的是，我構建它的平臺應該允許輕松升級，希望我可以更換 Pi，同時保持連接到主要 Cyber??ware 的相同外殼。所以在未來，這也許可以進行實時對話，并且 Cyber??ware 可以用來創建各種 AI 角色和助手來與之交互。

另一個問題是我使用的 ChatGPT 包裝器，因為給出的每個響應都會開始與 ChatGPT 的新對話，而不是繼續同一個線程——但我認為該包裝器中有代碼允許這樣做；現在有了官方 API 也沒什么關系了。

此外，我還可以通過使用官方 API 來大大減少語音到文本的處理時間。因此，通過使用 FakeYou、OpenAI 的新 Whisper API和ChatGPT API，我可以大大加快速度。因此，請留意未來對此的改進。

以某種方式添加視覺元素會很酷 - 如果我能破解如何讓正確聚焦的屏幕在佩戴者眼中很好地工作。我以前用EDITH 眼鏡和鋼鐵俠頭盔解決過這個問題，但它們不夠大或不夠詳細，無法顯示文本以外的復雜內容；所以這是一個需要進一步研發的領域。

最終，添加到其中的更新和錯誤修復將使它達到更好的狀態，并且也會被放入最終的 Relic Cyber??ware 2.0 中。

不過，我認為這很合適，因為這需要很長時間才能構建，而且漏洞百出，速度緩慢，需要大量更新——鑒于賽博朋克本身就是這樣在 2020 年發布的。

讓我知道您的想法，并為未來的項目堅持下去！我將研究將這個基于上下文/角色的 ChatGPT 系統連接到其他項目中，例如我的Terminator Skull 。

?