大模型在智能服務領域的落地要點

智能客服一直被視為大模型最適合的應用場景之一，而京東在大模型出現后，不僅推出了京東言犀大模型，還利用這些模型升級了智能客服、交互式營銷、數字人等產品，并在實際場景中逐步落地，取得了顯著成果。在本次“極客有約”對話節目中，魚哲和京東云言犀算法總監祝天剛討論了大模型在智能服務領域的落地要點。

亮點：

大模型在數據需求上相對較低，能夠更接近端到端處理，生成結果更自然流暢，提供更好的用戶體驗。

更新不僅限于基礎模型的更新，還包括知識庫的更新。

使用大模型在某種程度上為我們提供了更多的可能性，但也引入了更多的復雜性。

沒有一個通用的模板或規則來告訴我們應該使用哪個模型。

技術的選擇應該基于深刻理解的業務需求，以確保問題得到最好的解決。

嘉賓簡介：

魚哲，Lepton AI 創始團隊成員，產品負責人。

祝天剛，京東云言犀算法總監，主要負責智能客服、交互式營銷等產品的算法研發，大模型應用落地等工作，產品服務于京東域內百萬商家，域外政府、銀行、企業等眾多應用場景。

在哪些業務場景里應用了大模型

魚哲：京東作為電商領域的佼佼者，在大規模模型的嶄露頭角后，不管是從商家端還是用戶體驗方面，表現都非常出色。我們今天將深入探討京東在自然語言處理和客服技術上的挑戰和應用場景。從京東云言犀的首頁能看出京東非常貼近實際業務場景，呈現了多種實際業務場景的應用。在大模型技術流行之后，京東云言犀團隊采取了哪些措施？京東是如何采納這一技術的，以及如何將這些新技術應用到業務中的？

祝天剛：你剛才提到言犀似乎更貼近業務，這點我非常認同。我們部門堅持一個基本原則，即研究和探索應該源自實際業務需求。一旦我們做出研究并取得成果，我們必須將其應用到業務中，以評估技術在業務中是否能帶來收益和價值，以及是否能影響更多人。

關于大模型的興起，特別是在言犀和智能客服領域，我們也采用了一些新的技術。我的主要關注點是言犀，這是一個智能對話平臺，我們在這個領域進行了許多工作。在對話過程中，涉及到問答和內容生成，機器人也主動提問。生成的內容不僅僅用于對話，還用于其他場景。因此，在客服對話和內容生成方面，我們進行了許多創新和嘗試，并已將這些創新應用到實際業務中，有很多具體的落地應用。

魚哲：在電商領域，客服介入在消費者和商家之間的互動中起著關鍵作用。無論是在消費者選擇商品之前，還是在購買后，我認為客服在這兩個環節中發揮著最大的作用。您可以詳細展開一下，例如在售后環節中，我們目前是否嘗試應用了 AIGC 或大模型技術？

祝天剛：客服工作可以簡單地分為售前和售后兩個基本流程。售前工作通常涉及引導和導購，而售后工作則更側重解決咨詢、商品使用以及各項售后相關問題。在售后工作中，主要方向是解答問題和問題解決。在解答問題時，我們努力提供實際的答案，這可能直接滿足需求，也可能引導用戶進入解決流程。售后工作可能涉及諸如產品質保和價格保障等問題，所以我們的目標是提供明確的解決方案。

另一個方面是質檢，這不僅僅局限于對話。在售后，我們進行對話質量檢測，以確保對話的質量，并監督保證下一次對話的質量。這有助于提高智能客服的體驗，也可以在輔助人工客服起到作用。

最后，我們還進行對話后的內容分析，以引導下一次對話和提高客服效率。分析結果可以輔助客服或商家做出后續決策。

大模型給業務帶來了哪些變化

魚哲：電商領域的客服，特別是售后客服。這個領域雖然不能說非常成熟，但一直存在，一直在不斷進行改進和創新。我想請問一下，你能否舉一個具體的場景例子，說明在沒有大模型之前，業務的效率或效果是怎樣的？然后引入大模型后，業務的狀態有何變化？我們想了解一下大模型在這個業務中到底有何顯著改進，它帶來了哪些變化？

祝天剛：客服領域，無論是否有大模型，都已相對成熟，尤其是在售后方面更為成熟。大模型的引入，究竟帶來了什么改變？舉一個經典例子，就像我剛才提到的，解答用戶問題的過程。

在引入大模型之前，處理用戶問題的意圖分類或者叫意圖理解的過程，通常需要依賴模型，甚至可能通過一些關鍵詞來解決。這種方法雖然有一定的準確性，但泛化性能有限。

在傳統“小”模型方法中，需要對訓練數據進行構建，例如訓練一個分類模型，以便將用戶的問題分類為不同的意圖。同樣，回答用戶問題的方式也需要模型的處理，因為售后問題的多樣性，有的需要直接回答，有的需要引導用戶執行一系列步驟來解決。對于這種情況，需要更精細的模型來處理。另一個挑戰是訓練數據的質量，它對模型效果產生直接影響。因此，傳統模型訓練需要高質量的訓練數據，這是一個重要的工作。這也是傳統“小”模型的一個特點。

現在，回到問題的核心，大模型是否具有優勢？首先，大模型不需要高質量領域標注的訓練數據，因為它已經在訓練中積累了大量知識，并擁有豐富的指令來引導它進行訓練。這使得它對訓練數據的需求相對較低。

此外，大模型在處理流程方面也具有優勢。傳統的流程通常是由多個小模型組成的流水線，前一個模型負責一個階段，然后傳遞給下一個模型。這種流水線形式可能存在錯誤傳遞和效率問題。大模型能夠整合多個流程，可能更接近端到端的處理，直接生成結果。大模型通常是生成式的，它能夠生成更流暢和人性化的答案，不像小模型那樣需要將答案填充到模板中。

概括而言，大模型在數據需求上相對較低，能夠更接近端到端處理，生成結果更自然流暢，提供更好的用戶體驗。這是大模型引入前后的一個顯著區別。

大模型的優缺點

魚哲：您剛剛提到了大模型的優點，但您也提到了我們需要考慮其優缺點。在使用大模型的過程中，您認為有哪些缺點，是否可以簡要介紹一下？

祝天剛：大模型存在一些缺點。這個問題可以用一個比喻來說明。大模型就像一個有知識的年輕人，可以回答問題，但不是所有問題都能回答。有時，當問題涉及到他未涉及的領域時，可能會提供不準確的答案，或者根本不知道如何回答。雖然大模型具備理解問題和回答的能力，但在某些情況下，當問題不在其知識范圍內時，會變得無法應對。

如果我們將大模型比作聊天伙伴，那么無論你問什么問題，它通常會提供一些合理的答案，邏輯上都可以接受。但當我們需要將其應用到更嚴肅的行業場景中，要求根據特定領域的知識來回答問題，而模型沒有足夠的領域知識時，就會出現問題。這時，控制大模型的回答，使其按照領域知識來回應變得更加困難。如果大模型類似于大學生，他可能會有自己的觀點和思辨能力，而不是像小孩子那樣聽話。這會導致可控性降低，難以滿足特定要求。

除此之外，大模型的使用需要更多的計算資源，這可能在資源受限的情況下造成問題。此外，大模型可能會在某些情況下提供不恰當的答案，增加了安全和倫理問題。

魚哲：我有一個與實際體驗相關的問題，例如，當京東的業務團隊考慮采用新技術并保留當前 pipeline 時，您認為新技術在成本和效果方面是否足夠有動力來使您選擇停用之前 pipeline 并過渡到新的大模型？您對此有何看法？

祝天剛：在大模型、甚至模型出現之前，客服團隊已經存在。也許隨著大模型的引入，客服會變得更加智能化。

我們已經看到大模型在多個領域取得了成功，人們對其寄予厚望，希望它能在客服方面帶來一些變化。但關鍵問題是，它將如何改變客服，大模型是會改變整個客服流程，還是只對客服流程的局部部分進行調整？我們是否應該先放下當前的 pipeline，專注于以大模型為核心構建全新的客服系統？目前，我們正在實踐和探索兩種方法。第一種方法是分析當前 pipeline，找出其中存在的問題。在某些部分，我們可能會發現普通或小型模型在某些環節達到了瓶頸。在這些局部，我們可以將這些節點合并成一個大模型，以提高整體性能。與此同時，我們也在努力探索另一種方法，即圍繞大模型構建全新的客服架構和體驗。這兩種方法我們都在實踐和探索中。

魚哲：您剛才提到的是使用多個小型模型結合意圖分析（或稱為意圖映射）的方法。我們可以理解為，如果我們今天有一個相對輕量的模型，它可能不需要像大模型那么龐大，而是可以與一系列較小的模型協同工作，構建一種 MOE 的架構，從而在解決特定業務場景時替代大模型的功能，前提是業務問題保持不變。

祝天剛：在某種程度上，用“替代”這個詞也許有點絕對。根據我的理解以及我在實踐中的觀察，大模型的角色通常不是互相替代，而是相互配合。在我們明確了大模型的擅長和不擅長，以及小模型的優缺點之后，在這種相互協作中，有一些相對簡單容易、無需高度擬人化的任務，小模型已經足夠勝任。

對于那些需要更流暢表達、需要精細判斷，或者在訓練數據方面要求較高的任務，通過指令方式來執行，大模型可以派上用場。同時，根據不同業務領域的需求，我們也在嘗試使用一些模型來單獨解決特定任務，而整體任務則以 MOE 的形式合并和協同解決?？偟膩碚f，大、小模型之間并不是完全的替代關系，而是相互依存于整體業務特點，形成一種相互協作的關系。

大模型的幻覺問題

魚哲：您剛才提到的大模型的可控性和幻覺問題確實是相當嚴重的挑戰。就我了解的情況來看，業界在控制大模型的輸出方面，通常采取以下方式，要么通過精細的提示工程，編寫極為詳細的指令，要么創建一種與相關度較高的內容的輸入，或者使用 fine tuning 等方法來影響模型的輸出。

在考慮不同技術使用方式時，我認為并沒有一種方法是絕對最佳的，也不應認為某種方式能夠完全取代其他方式?；氐轿覀兊臉I務場景，在京東，特別是在智能客服系統中，我們面臨的業務挑戰相對于傳統聊天場景來說更為復雜。這是因為我們需要同時應對用戶、京東的坐席客服以及商家等多個參與方的狀態，將智能客服融入其中，形成一個四方互動的生態系統。在系統優化方面，您是怎么思考的，以滿足多方需求？

祝天剛：在這個情境中，我們需要關注四個主要參與方：C 端用戶，坐席客服，商家，以及引入的智能客服。這些參與方之間存在復雜的相互制約關系。用戶希望獲得準確、即時的答案。坐席客服需要迅速找到答案以回應用戶的問題。而商家則期望回答用戶問題的同時，分析用戶的需求，并希望能夠推廣其商品。

現在，我們引入智能客服以滿足這些參與方的需求。從技術角度來看，我們的首要任務是確保智能客服能夠提供高質量和準確的答案。對于用戶來說，高質量的答案可以提供最佳的用戶體驗。對于坐席客服，我們需要提供可信賴的答案，同時在輔助判斷和決策方面提供支持。商家方面，高質量的答案配合有關商品的推廣材料，才能幫助他們提高轉化率。所以答得準是關鍵。

通用大模型和垂直領域模型

魚哲：在面向各種不同行業并處理大量不同的產品 SKU 的情況下，我們是使用通用的大型模型，還是專門訓練垂直領域的模型？如何做這方面的決策呢？

祝天剛：目前，我們采用一個通用的大型模型來支持所有商品品類。在此之前，我們曾嘗試將機器人和模型分別應用于不同品類，例如大家電、服飾、鞋靴、箱包等，但后來我們發現這種結構不合理。分別為每個品類訓練一個模型會導致資源浪費，因為其他領域的模型也需要這樣的訓練，例如搜索引擎的排序模型會面對更繁雜的品類。為了能夠適應不同的品類，我們決定使用一個通用的大模型，這個模型需要擁有廣泛的知識范圍，以應對各種商品品類的需求。

對于一些特定品類，它們可能有一些特殊的要求。但即使在這些特殊領域，我們仍然使用基礎模型加上特定領域后處理的方式來解決，這樣可以在資源與效果之間達到一個平衡。

我們的目標是建立一個能夠滿足電商領域、零售行業各種需求的大型模型，該模型在基礎模型的訓練和指令微調中融入了電商數據，即京東言犀大模型，是一個產業大模型。

數據漂移問題

魚哲：我很關注您剛才提到了模型的更新和數據漂移的問題。因為一旦模型訓練完成，它就好像是一棵成熟的白菜，總有一天會爛掉。這就導致了數據漂移的問題，因此需要根據新數據進行模型的更新或微調，以更新模型的權重。在以前的系統中，為了追求數據的實時性，有些應用每隔一定時間就會更新一次模型，例如每隔 15 分鐘或 30 分鐘。

對于京東這樣的平臺，要保持基礎模型的知識跟得上人們日益增長的需求，這是一項重要的挑戰。我們需要不斷迭代基礎模型，以確保它保持最新。關于更新的周期，你們有沒有評估過多久需要迭代一次？

祝天剛：我們確保更新不僅限于基礎模型的更新，還包括知識庫的更新。在客服領域，很多答案都是基于商家的知識庫來提供的。我們的目標是確保模型具備基本的通識能力，就像之前提到的大學生的例子，大模型就像一名大學生，我們確保它具備了閱讀理解和答題的能力。

如果我們將客服比作一個開卷考試，我們要求模型具備開卷考試的能力。我們提供一些材料，然后提出問題，模型能夠根據提供的材料給出答案。當您提到與知識相關的更新時，這就像提供新材料給學生，只要大模型具備足夠的理解能力和答題能力，不管提供的材料如何改變，它都可以應對。

總的來說，我們的京東言犀大模型是有產業相關的知識支持的，大模型在基礎訓練和指令微調時會根據特定領域的需求進行訓練。而對實時的知識進行應答，主要表現在建立智能知識庫應答上。

魚哲：我對你們的知識庫的構建方式很感興趣。你們是使用了向量或者直接訪問數據庫等流行方法，還是采用了其他方式來進行知識的檢索和召回工作？

祝天剛：當我們談到知識庫時，一種現在流行的方式是基于向量進行檢索，但也有傳統的召回方法，例如基于詞或短語的檢索，這些方法都有各自的優缺點。并不是說向量檢索一定比詞語檢索好，它們各自有自己的特點和用途，我們現在采用的是二者相結合的形式，發揮他們各自特點的檢索方式。

模型輸出的評估難題

魚哲：在京東的智能客服領域，有時候可以直接生成答案并提供給用戶。然而，對于大型模型，控制其輸出通常相對困難。這帶來了模型輸出的評估難題。在如京東這樣規模龐大的環境下，如何更智能地進行評估是一個挑戰。一種可能的解決方法是主觀目視檢查，即通過人工審查來判斷效果。這種方式至少在主觀上看起來準確。但在像京東這樣的規模下，如何實現更智能的評估呢？

祝天剛：在評估大型模型時，我們需要明確評估的是什么。如果我們關注的是大模型的質量，業界有各種已被公認的評估方法，但這是否等同于大模型應用的效果是值得商榷的。實際上，更重要的是進行業務評估?？蛻舴答佉约斑\營同學的反饋是重要的，如果他們認為大模型提供的答案更準確，那么這就是有效的評估。

在以前，業務指標通常是以問題回答的形式來衡量，比如問題應答覆蓋率，它衡量了用戶提出的問題中，有多少被回答了。大模型的引入不一定會導致這些指標的變化，但是大模型的引入可能會為用戶提供除了答案之外的更多的原因和解釋。在這種情況下，新的指標就需要被引入，來評估大模型帶來的變化和新的收益，以及如何滿足用戶需求。

舉例來說，如果用戶詢問水壺的容量，我們會告訴水杯容量是 1.5 升，并給出它適合幾口之家使用。然而，如果問是否適合戶外運動，那機器人可能在回答問題后，給出有關戶外運動的建議。這種大模型帶來的新的應答方式，能額外給用戶帶來對商品特點的更好的理解，以滿足其需求。

大模型的成本問題

魚哲：大模型領域已經出現了多個強者競逐，但選擇合適的資源和模型以滿足特定任務的需求仍然是一個具有挑戰性的問題。例如，相同的提示和數據集在不同的模型上可能表現不同，這意味著每次切換模型需要耗費較高的適配成本。京東有沒有遇到過這樣的問題，你們是如何解決的？

祝天剛：你提到的問題確實存在。即使我們稱這些模型為“大模型”，實際上每個模型的架構和性能都可能不同。有些模型的架構可能是開源的，但也有一些模型并沒有公開詳細的架構信息。同時，相同的任務在不同的模型上可能需要不同的 prompt 才能達到相同的效果，這也是常見的情況。

使用大模型在某種程度上為我們提供了更多的可能性，但也引入了更多的復雜性。為了更好地理解和利用不同類型和品牌的大模型，我們需要不斷進行實驗和嘗試。這需要一種靈活的方法，通過不斷試驗來理解不同模型的特點和優勢，以便在特定任務上獲得最佳性能。因此，沒有一個通用的模板或規則來告訴我們應該使用哪個模型。這是一項需要根據具體任務和模型特點進行實驗和探索的工作。為了提高效率，我們需要同時了解業務需求以及大模型的性能和特點，以便更好地進行任務適配和模型選擇。這需要雙向的理解和實踐。

11.11 活動中會應用哪些大模型產品

魚哲：在 11.11 這個特殊的購物節日期間，除了聊天形式，大模型在京東的應用還涉及哪些方面？

祝天剛：除了客服領域，大模型還在其他方面發揮關鍵作用。例如，在營銷文案生成領域也用的到。為什么大模型在這個領域如魚得水呢？首先，我們常常將大模型稱為生成式大模型，因為它的模型原理天生擅長文本生成。因此，我們自然會嘗試在這個領域的應用和探索。

以前的生成模型通常過于依賴訓練數據。特別是在先前的序列到序列模型中，這種依賴性較為明顯。如果你考慮從事文案生成的工作，你必須明確質量和風格的可控性等方面的要求。這些控制能力在很大程度上受訓練數據的質量和規模所限制，因此，模型的性能上限直接關聯到你所擁有的訓練數據。

現在的大模型具有天然的生成潛力，其基礎模型已經蘊含了廣泛的知識。大模型的參數數量巨大，蘊含了豐富的信息，這意味著它可以在可控性和風格等方面更加靈活。這一切都可以通過適當的指令來實現，大模型擅長的一個場景就是通過指令影響生成內容，這使其成為處理文案生成等任務的理想選擇。

此外，言犀多模態數字人在電商直播場景也有很多應用。在 11.11 期間，言犀虛擬主播已經在超過 4000 個品牌直播間開播，基于自研電商領域知識增強模型 K-PLUG，僅需在直播后臺上傳商品鏈接，便能夠智能“閱讀”商品詳情，自動生成更真實、生動、可閱讀性強的直播文案，24h 自動開播。

魚哲：在營銷文案生成中，是只負責生成文案，還是可能會包括生成商品的相關配圖以及整個展示區的設計呢？

祝天剛：這兩個方面是結合在一起的。既生成文案，又生成相關的圖像，但需要說明的是，圖像生成是由我的同事組負責的，而我負責生成文案。

如何應對技術的快速迭代

魚哲：京東作為一家技術實力雄厚的公司，早在 2018 年就開始積極涉足大模型領域，并進行了相關技術積累。在這段時間內，大模型技術的認知和應用方式可能發生了一些變化。從 2018 年到現在，對大模型認知有哪些改變？

祝天剛：京東是一家在技術領域擁有深厚積累的公司?；仡欉^去幾年，大模型的概念發生了顯著的變化。以下是對于大模型認知演變的一些觀察：

參數規模定義的變化：隨著技術的進步，對于“大模型”這一概念的認知也發生了變化。在過去，億級別參數的模型被認為是大模型，但隨著時間的推移，百億級、千億級參數的模型已經成為新的標準。因此，"大"這個概念變得更加相對。

模型架構的多樣性：大模型的架構也在不斷演化。GPT 系列模型（decoder-only）目前是大模型的代表，但不同的研究方向和實踐也在探索其他架構。例如，還有 encoder-decoder 型的模型，它們的參數規模和應用也在擴大。這表明大模型不僅局限于特定的架構，還涵蓋了多種類型。

技術的突破和創新：技術領域不斷創新，包括模型訓練的并行方式，模型推理的加速，甚至模型服務的部署等工程化問題，也在不斷法神該變化。

隨著時間的推移，大模型的認知不僅涉及參數規模的變化，還包括模型架構和應用的多樣性。這種多樣性和不斷的技術進步豐富了大模型領域，為不同領域的應用提供了更多可能性。

魚哲：技術變化這么快，你自己是如何跟進這些技術的？有沒有一個明確的 roadmap？

祝天剛：對于技術的持續跟進，我認為有一個經典的比喻，就是技術就像你手中的工具箱。假設你工具箱里只有一把錘子，你會發現無論遇到什么任務，似乎都是在處理釘子。即使明明有一個需要用鋸子切斷一段木頭的任務，你仍然傾向于使用你手頭唯一的工具，也就是錘子。這種情況下，你需要不斷充實自己的技術知識，以及積極地了解業務需求，這樣你才能明智地選擇適當的工具，無論是錘子還是鋸子。

當你同時擁有鋸子和錘子這兩個工具時，你必須在使用哪一個工具時做出決策。這個選擇過程不僅需要技術洞察力，還需要深刻理解業務需求，以便判斷哪個工具更適合解決問題。

在跟進技術時，我通常將業務需求放在首位，即去看到釘子和木頭，努力深入理解各種業務問題，以便更好地選擇或者豐富我的工具，即技術。同時，當我了解到新技術時，我首先思考這個技術是什么，它的優勢在哪里，它可以解決哪些問題，以及它是否適用于我當前面臨的挑戰。

隨著我掌握了新技術，我會將其應用于解決業務問題，有時甚至會改變問題的處理方式。繼續沿用剛剛的比喻，假設我們正在使用鋸子切割一段木頭，當木頭馬上要鋸完，還剩 5% 就能斷開的時候，如果你對技術和工具非常了解，你可能會決定停止使用鋸子，而改用錘子，因為錘子可能更快速、更有效地完成任務，而且木頭的切口也更平整。

總結來說，就是根據業務需求去探索新的技術，技術要用于解決問題；要深刻的理解業務需求和技術原理，靈活的使用技術解決業務問題。

在技術領域，我們必須不斷學習、跟進新的發展?；ヂ摼W的開放性為我們提供了學習和理解技術的機會，因為總會有人分享清晰的技術知識，也有人不斷探索新的領域。我們應該積極主動地學習新技術。

此外，需要定期回顧自己的技術知識，確保技能保持最新，以適應不斷演進的技術和業務環境。業務需求應該在技術之前，因為技術是解決業務問題的工具，而不是目標。

技術跟進和業務理解應該相互補充，構建一個螺旋上升的學習和應用過程。技術的選擇應該基于深刻理解的業務需求，以確保問題得到最好的解決。

審核編輯：黃飛