像Docker一樣編排大模型應用程序

大模型浪潮正在重構千行百業?？梢灶A見的是，隨著技術的不斷進步以及應用場景的不斷擴展，基于大模型的 AI 應用將會不斷涌現，并成為推動 AI 產業發展的重要力量。

但在當下，大模型應?落地還面臨諸多挑戰。具體而言，不少開發團隊還未適應大模型編程的需求，對大模型的實際應用場景理解、工具的選擇（例如中間件、向量數據庫等），以及團隊的協作模式、如何構建 Prompt 等方面都存在一定的認知偏差。在應用大模型的過程中，如果仍采用傳統的軟件工程方法，很可能會遇到困難。因此，開發團隊需要在大模型技術棧方面建立更多的共識，對于如何使用 RAG（Retrieval Augmented Generation）或者微調等應該有更明確的工作流程。

“我們對大模型的未來潛力持樂觀態度，它確實能夠帶來巨大的價值。但我們也發現，很多開發者和行業專家都會談論大型模型的未來，而不是現在?！盌ify.AI 創始人兼 CEO 張路宇近日在接受 InfoQ 采訪時提到，目前大模型的實際落地和應用仍然不夠成熟，當前大眾對大模型的期望值與實際技術發展并不匹配。開發者要想在當前技術的范圍和邊界內做出權衡，并創建出優秀的應用程序，是一項具有挑戰性的任務。

在這一背景下，2023 年 3 月，張路宇帶領團隊創建了開源 LLMOps 平臺 Dify.AI，旨在幫助開發者更簡單、更快速地構建 AI 應用，開發者無需關注基礎設施的底層原理，只需專注于將想象力轉化為實際落地的 AI 應用并持續運營。據介紹，Dify 一詞源自 Define + Modify，意指“定義并且持續的改進你的 AI 應用”，代表了幫助開發人員不斷改進其 AI 應用程序的愿景。此外，Dify 可以理解為 “Do it for you”。

目前，Dify.AI 的 GitHub Star 數已經超過 9k，支持的大模型包括 OpenAI 的 GPT 系列、Anthropic 的 Claude 系列、Azure OpenAI 系列、Llama2、ChatGLM、Baichuan、Qwen-7B 等等，并擁有超過 7 萬個基于大模型的應用。

GitHub 地址：
https://github.com/langgenius/dify

創業需要天時、地利、人和

“我不是一個輕易創業的人。我喜歡從零開始與多年來緊密合作的伙伴一起構建產品，因為我們之間默契十足，有共同的認知。我擅長做冷啟動、從零到一的創新項目，并特別享受這個過程。我們有足夠的耐心，不僅僅是為了快速賺錢，而是要基于我們的優勢和價值來創造事物?！毖矍斑@個年輕的創業者名叫張路宇，他擁有超過 11 年的互聯?從業經驗，對產品設計、敏捷項?管理、 DevOps、學習型組織?化與 Web 應?開發有著深刻理解。在創辦 Dify.AI 以前，張路宇曾擔任 SaaS 公司技術產品負責人，在企業服務、?具軟件領域的 SaaS 產品、運營和技術管理上有著豐富經驗。

在張路宇看來，創業不是一件頭腦一熱的事情，而是需要天時、地利、人和的全方位考慮。

天時方面，去年年底 ChatGPT 大模型的爆火成功掀起了 AI 大模型熱潮，無數開發者涌入 AI 賽道，開始基于 AI 大模型做應用創新。然而，彼時市場上的中間件和 LangChain 等框架并沒有完全產品化，缺乏持續運營和面向非技術人員友好的理念。

張路宇認為，在大模型時代，技術和非技術人員都應該有機會參與大模型的構建和定制。但實際上只有少數程序員在進行這樣的工作，大多數人雖然擁有領域知識，卻無法參與?！斑@促使我們考慮基于大模型的微調和嵌入式二次開發，但這個過程非常痛苦，缺乏界面化，數據準備工作也很復雜。到了 2023 年 2 月，當我們嘗試將大模型集成到自己的產品中時，發現了很多問題。同時，我們也沒有找到市場上任何好的產品，于是決定著手解決 LLMOps 問題，這就是我們創建 Dify 的初衷?！?/p>

地利方面，Dify 團隊立足于國內，以蘇州為基地。過去很多國內公司采用“復制到中國”的模式，復制海外的產品并在中國市場推廣，但這個路徑并不適合中國的 SaaS 市場。張路宇認為，做產品最大的難點并不是技術工程，而是找到未被滿足的市場需求，這是一項極具挑戰性的任務。如今，中國團隊在大模型領域與歐美團隊站在同一起跑線上，市場雖然不是完全空白的，但仍處于早期狀態。同時，中國團隊在組織能力、產品能力和成本三大方面具有優勢。以往中國團隊在創新價值不足的情況下，通常將工作轉變為勞動密集型，因此軟件團隊面臨很大壓力。但在大模型時代，中國團隊有機會在全球市場同其他團隊競爭。

人和方面，張路宇在 Dify 項目啟動之初迅速召集了 16 位團隊成員，其中大多是他的老朋友或信任的人，大家志同道合，都對 SaaS 和工具行業充滿熱情?！霸趧摌I初期，一些朋友和投資人認為市場潛力巨大，但競爭也激烈。云服務提供商、大模型公司以及機器學習和運營的公司都進入這個領域。我們的挑戰在于如何應對競爭。這需要認知，團隊的默契、執行力和品味等多元因素。雖然融資可能不難，但要構建一個團隊并取得成功非常困難?！?/p>

與其他技術團隊相比，張路宇認為 Dify 團隊的優勢在于大家深耕開發者產品領域，深刻了解開發者需要的工具體驗。團隊在產品設計和交互設計方面積累了豐富的知識和經驗，能夠開發出用戶友好且高質量的產品。同時，Dify 團隊在國內從事開發者業務四年以上，對國內開發者市場的特點、需求和市場規模有比較清晰的認知，了解不同類型的客戶在決策流程和購買習慣上的差異，能夠更準確地定位產品在不同市場的定價策略。

此外，Dify 團隊從 DevOps 領域帶來了寶貴的經驗，“我們堅信所有的 AI 應用最終都需要部署和運維，因此我們注重成本控制、可用性監測和數據運營。我們認為 LLMOps 非常重要，因為它可以讓非技術人員更好地參與到 AI 應用的運作中?！?/p>

目前，大家對 LLMOps 普遍存在兩種理解：一種是偏向后端，即模型的運維，既延續了傳統 MLOps 的理念，又專注于基于大型模型進行訓練和推理等任務；另一種更偏向前端，核心在于 Prompt 工程和問題的編排，而與外部數據的接入等因素可能關系較小。Dify 團隊更偏向于后者，他們認為更準確的描述應該是“大型模型應用的運營”——大模型在發布后通常不需要太多運維工作，而且“Ops”對于大多數開發者來說可能不那么相關。

“我們對 LLMOps 的核心理解保持不變”，張路宇表示，首先，大模型應用的運營至關重要，包括其可視化、透明度和可解釋性，這與傳統軟件工程的部署環節非常相似，不能被忽視。關鍵理念是通過實時數據持續改進應用模型或數據，而不是通過一次性的并行決策。其次，LLMOps 應該面向所有人，而不僅僅是技術人員?！爸挥袑崿F了這兩點，我們才能認為它是真正的 LLMOps，大多數人都可以參與其運營，并且該運營基于線上反饋數據來不斷改進應用程序?！?/p>

大模型時代的創業范式

從 2023 年 2 月份開始籌備，到 3 月 1 日正式啟動，再到 5 月初成功上線第一個正式版本，Dify 團隊始終保持著創業公司的快節奏。

張路宇認為，在大模型和快速變化的市場中，團隊需要成為學習型組織，積極吸收和處理大量信息，并將其整合到產品開發中。這對于應對不斷變化的市場需求非常關鍵。

在 Dify 團隊，尤其注重技術前沿信息的探索研究。具體來說，Dify 團隊設立了一個信息加工機制，類似于一個知識庫，其中包含大量有關市場情報、技術前沿和新項目的信息。團隊成員每天采集各種信息，并將其分類整理。這個信息組織機制是核心資產之一，已經積累了上千條資訊，并持續對其進行加工和分類。信息分類涵蓋了大模型、云廠商、軟件工程、中間件基礎、應用等多個層次。團隊通過關注科學進展、最新技術論文、頭部產品和趨勢，指導自身做決策，并從其他行業的經驗中汲取教訓。

“這個信息組織機制面臨著復雜、快速變化和高度規則化的挑戰。它需要確保團隊中的每個成員都能共享相同的認知，并能夠快速適應不斷變化的市場需求。這個信息組織機制對我們的團隊來說是一個重要的工具，可以幫助我們更好地理解市場和技術趨勢，從而為產品的發展提供指導。同時，它也是我們團隊應對市場變化和快速決策的關鍵因素之一?！睆埪酚钫f道。

在 Dify 整個產品設計與開發過程中，也出現了大模型的身影。據介紹，在 Dify 早期產品的原型階段，GPT-4 發揮了重要作用。當時，Dify 團隊采用 GPT-4 來創建概念設計和原型設計，GPT-4 能夠非常準確地理解產品需求，并提供許多創意性的解決方案。目前，Dify 的代碼量已經超過 9 萬行，與一些主流項目相比，代碼量和復雜度不相上下。在 Dify 的開發過程中，GPT-4 參與了其中 40% 左右的編碼，AI 輔助編程讓 Dify 團隊的開發效率提高了至少一倍。

“對我個人而言，我覺得我的編程效率可能提高了 3 倍以上，甚至可能更多。如果你是一個能夠調動大量資源的工程師，你就像一支強大的軍隊，那么 AI 會讓你更強大數倍。但如果你原本不是那么強的工程師，缺乏宏觀的設計能力，只是逐行編寫代碼，那么 AI 對你的幫助就相對較少?！睆埪酚钫J為，在善用 AI 的情況下，理論上一個團隊可以實現 3 倍的產能，而不需要增加人員?！斑@是我觀察到的情況，我身邊的團隊都在積極擁抱 AI 編程，我們的團隊全員都在使用，他們確實認為這可以為他們帶來巨大的幫助?！?/p>

開源與商業化探索

在創業的前幾個月，Dify 團隊完全沒有收入，第一個正式版本上線后，如何商業化成了團隊的下一個目標。

在商業化這件事上，張路宇有著自己的判斷——開源，“如果不開源，我們將無法取得成功?！边@與傳統 SaaS 產品的增長路徑有所不同。由于市場已經飽和，傳統 SaaS 產品在市場上進行推廣時，通常會經歷緩慢的增長過程，在獲得客戶和市場滲透方面需要花費很長時間。在這個過程中，公司會不斷進行成本 - 收益分析，以確保獲客成本（CAC）不高于長期用戶價值（LTV）。這是傳統 SaaS 產品的數字游戲，可能需要數年甚至更長時間的發展周期，甚至可能會錯失一些市場機會。

然而，對于大模型產品來說情況并不同。大模型時代涌現出了不少商業機遇，無數個創業團隊猶如千軍萬馬過獨木橋，此時大家的首要目標是最大化獲客，并獲得全球開發者的認可。

“我們注意到，在當前大模型創業潮中，許多企業選擇了開源。開源意味著獲客成本很低，可以解決全球范圍內的問題，例如美國的團隊可以輕松滲透美國或其他海外市場，因為他們本土化，語言和文化相似。通過選擇開源，可以更快地實現增長，并占據更大的市場份額，然后再開始商業化。這條路徑可以確保我們取得成功。相反，如果首先商業化再考慮開源，我們可能只能獲得短期內的一些收入，而且這些收入可能會在幾個月內消失。這就是我們的判斷?！睆埪酚罘治龅?。

5 月 中旬，Dify 宣布 46558 行代碼完全開源，并臨時決定將開源協議從 AGPL 放寬到 Apache 2.0。張路宇表示：

開源！從第一天起我們就志在要代表中國團隊做一個像 Docker、Stripe 那樣的世界級產品，一個大模型能力上的 OS。雖然過去八周我們沒日沒夜才做出產品現在的樣子，但即使要推倒重來我們也做好了準備，所以開源我們毫不猶豫。Dify 要在開源中學習、成長。 開源只是 Dify 的一小步，但這是全球開發者解鎖 LLM 潛力的一大步。它目前還不完美，但在與社區共創、共建的過程中會成為全世界 Prompt 工程師最喜愛的產品。 No waiting list. No copy to China. 相信社區的力量！

6 月，Dify 有了第一筆商業收入。在張路宇看來，雖然公開源碼不難，但在開源的同時保護知識產權和商業化路徑才是挑戰。

首先，需要選擇一個合適的開源協議，以確保在開源的同時能夠保護知識產權和商業化機會。對于 Dify 項目來說，團隊設計了一個混合開源協議，基于 Apache 2.0，并增加了一些特定條款。

其次，還需要思考如何有效地組織外部貢獻者的參與。需要讓外部貢獻者知道如何參與、從何處開始、如何建立開發環境以及需要滿足哪些要求。以 Dify 項目為例，該項目涉及多個層次，如模型驅動、插件、數據庫支持等，有很多可以擴展的點。外部貢獻者想要參與時，Dify 需要提供貢獻指南，并協調他們進行參與?！拔覀儗⑺性?GitHub 上提供代碼的貢獻者都組織到一個群組中，然后與他們一對一交流，了解他們的情況、貢獻時間、動機以及他們在企業內部的工作情況等。管理和組織這些外部貢獻者團隊是一個重大挑戰。你需要提供支持和服務，幫助他們理解如何貢獻，尤其是當他們不在同一辦公地點、不了解你的產品路線圖、缺少信息共享時。這些都是相當困難的任務?！?/p>

大模型中間件產品如何走向未來？

在大模型創業浪潮下，選好賽道是關鍵。有觀點認為，AI 大模型和垂直應用模型的爆發將會加大中間件的需求。結合過往的工作經驗以及對大模型的理解，Dify 團隊選擇聚焦大模型中間件賽道，但這條路走得并不輕松。

在這波創業浪潮中，有人專注于模型開發，有人致力于應用推廣。模型開發相當于創業團隊需要進行軍備競賽和科研競賽，要進行大量的實驗。其中的方法論基本都能夠在開放的文獻中找到，創業團隊的主要工作是準備數據來進行模型訓練。這些是實驗性的工程，變數不多。而應用推廣需要快速迭代，需要滿足特定人群的特定需求。中間件則不同，創業團隊需要同時考慮大模型技術的進展，以及開發者如何利用這些能力來構建應用。既要在這兩個方向上進行抽象，又要了解開發者的需求和消費習慣。

目前，Dify 已經形成了一套基本的方法論：

信息處理是關鍵。Dify 團隊會定期跟蹤市場上所有與 AI 相關的開源或產品，了解它們的增長趨勢。研究哪些產品在上周表現出色，增速超過了預期。然后進行反向工程，分析它們的產品理念和增長路徑。這個跟蹤和反向工程的工作非常重要。

找到自己在全球大模型生態系統中的生態位，理清與上下游產品的關系，例如與大模型、云廠商、應用和向量數據庫等產品的關系。只有思考清楚并找到自己的定位，才能在市場上真正站穩腳跟，將產品持續發展下去。

同時，Dify 團隊還構思了一個遠景：未來大型模型的提示在合理的組織下，應該以服務的形式提供給其他應用程序。Dify 的整個架構都是圍繞這一理念進行設計的。

“我們深信未來，通過 Dify 編排的應用程序將能夠像 Docker 容器一樣，使用簡單的聲明性文件來運行并在不同環境中傳播。這與當前的做法有很大不同。目前，包括 LangChain 在內的一些產品都采用硬編碼的方式，用傳統的代碼來管理大型模型的各種功能，以解決問題。我們相信這個設計上的差異將是我們與其他產品之間的最大不同之處，我們堅信這個理念是可行的?！睆埪酚钫f道。

誠然，在中短期內，大模型仍然是一個處于早期階段的技術，甚至存在諸多問題，如上下文窗口、性能、成本等等，這些都會影響開發者理解和應用。開發者在開發基于大型模型的應用時，也總會遇到各式各樣的挑戰。而這也是大模型中間件產品存在的意義——在短期內，必須幫助開發者解決當前階段的問題。

“我認為當前大模型正處于一個比較早期的階段，大家都在探索，嘗試推動模型的能力邊界，但距離模型的完全落地還存在一些挑戰。目前，我們最重要的指標應該是讓具備能力的開發者能夠將大模型應用于生產環境并成功落地。這個目標可以被視為我們的北極星指標，即投產的應用數量。其他指標，比如我們的 Star 數量、今年的收入增長等，都相對不那么重要，都是些虛榮指標，不能真正反映出我們面臨的主要挑戰。真正關鍵的是有多少應用程序正在使用大模型或使用 Dify 這樣的中間件，最終能夠成功交付他們的產品。這才是我們最需要關注的重點?！睆埪酚钫f道。