<acronym id="s8ci2"><small id="s8ci2"></small></acronym>
<rt id="s8ci2"></rt><rt id="s8ci2"><optgroup id="s8ci2"></optgroup></rt>
<acronym id="s8ci2"></acronym>
<acronym id="s8ci2"><center id="s8ci2"></center></acronym>
0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

大模型應用,必須警惕“速成幻覺”

腦極體 ? 來源: 腦極體 ? 作者: 腦極體 ? 2023-07-26 09:08 ? 次閱讀

我們知道,大模型會編造不正確的答案,產生“幻覺”。

其實,在應用層面,還存在一個更隱蔽的“幻覺”,就是創業公司忽略了大模型落地所需要的長周期、重基建和工程化難度,帶來的“速成幻覺”。

隨著“百模大戰”拉開序幕,大模型過剩帶來的市場擠壓,也給整個大模型生態帶來了行業洗牌的風險。

越來越多的人有了共識,基礎通用大模型競爭激烈,注定是少數人的游戲。創業公司隨時可能倒掉,造成項目爛尾。

具備技術、產品和行業優勢的“第一梯隊”大廠,比如百度的文心大模型3.5,已經跟國內其他模型拉開了差距,具有了一定的先發優勢和市場打開度,更容易在這場白熱化競爭中生存下來。

既然大模型很難“速成”,那么創業公司的“幻覺”,又是從何而來的呢?

第一種“幻覺”:開源干翻閉源

創業公司紛紛入局大模型,給它們勇氣的,不是梁靜茹,而是開源。

以Meta的Llama 2、智譜AI的ChatGLM為代表的開源大模型,陸續免費并支持授權商用,這無疑是一件好事,讓創業公司不用重復造輪子,可以用開源大模型作為基座模型,快速開發出相應的商用版本大模型或大模型應用。

開源的低門檻、低成本,帶來了“開源干翻閉源”的幻覺。

為什么說是幻覺?我們可以從企業視角為出發點——即使有了開源模型,想要落地應用大模型,還有哪些必要條件?

一是云基礎設施。

大模型落地需要進一步微調、訓練、運行,要在云平臺上運行。而創業公司跟OpenAI 、百度等閉源頭部公司的一大差距,就在于缺少跟云平臺的“緊耦合”。

眾所周知,OpenAI有微軟的大力支持,百度文心大模型背后是百度智能云,這些大廠自研大模型,都對云基礎設施的計算硬件集群、資源調度等,進行針對性的協調優化,大模型+AI云的緊密配合,可以更高效地利用計算資源,降低大模型的邊際成本。

wKgaomS_1r6AVOnaAABUJ9i0SDU031.jpg

海外大模型開源社區的“明星”如Together會為企業客戶提供開源模型及配套的云平臺,MosaicML也提供Mosaic Cloud 和多云混合服務,國內的開源項目如ChatGLM,也選擇與多家云廠商合作。

可以看到,開源項目跟云平臺的“松耦合”,會受到云平臺的配合度、商業政策等的影響,一旦后期出現資源漲價、利益分成、研發意向變化,都會給基于開源的大模型項目帶來商業化風險。

其次,是二次開發。

基于開源模型的創業公司,往往是在底座模型的基礎上做一些微調,靈活有余,但開源模型的分支多、變異快、創新迭代速度快,不承諾任何確定性,一般由程序員自組織來完成開發,這就導致基于開源的大模型穩定性不足,對客戶技術團隊二次開發能力要求很高,選型難度也很大。

目前看,第一梯隊的大廠推出的基礎大模型,更能滿足企業對大模型穩定性、可靠性的需求。

因為閉源大模型,遵循的不是開源范式,而是工程范式,所以,會以保證開發質量為前提,對用戶需求進行明確的描述,組織工程師按照規范的開發流程和周期,以確定的時間和預算,更好的控制開發質量,保證開發效率。

開源是一件好事,但開源并不是一把萬能鑰匙。如果不解決基礎設施、二次開發等瓶頸,創業公司也無法靠開源,快速取得成功。

第二個“幻覺”:三五個人干翻大廠

因為開源,創業公司和互聯網企業都可以叫賣大模型,這就產生了第二個“幻覺”:三五個人的創業團隊,就能干翻AI大廠。

需要注意的是,“百模大戰”帶來了白熱化的淘汰賽,同時,大模型還在以周為單位進行迭代。

在激蕩的市場競爭中,具有長期研發能力和投入意愿的大廠,更容易保持動態的生長力和持久的話語權,體現在幾個方面:

一是模型本身的技術城池。

谷歌研發人員此前曾發文稱,因為開源,谷歌和OpenAI都沒有護城河。這在長期看是對的,但大廠在大模型技術上的領先性,也是現實存在的優勢,這個技術代差,足以在大模型的商用周期中,為大廠帶來顯著的競爭優勢。

而且,大模型具有數據上的“飛輪效應”,更早應用、更多用戶的大廠大模型,會不斷拉大效果差距。比如國內最早推向大眾的文心大模型,其3.5版本已經在一些基準測試中,超過了GPT3.5的表現,而宣稱達到GPT-3.5的Llama 2剛開源不久,因此目前國產開源大模型最多也就達到GPT-3的水平。

二是持續迭代的成長能力。

大模型落地不是一蹴而就的,企業應用大模型也不能上馬后很快不了了之,后續的算力成本、數據工程負擔、每一次迭代的資金壓力,很快就成為困擾很多大模型公司的頭疼問題。

目前,已經有不少曾經想走商業閉源路線的大模型創業公司,直接宣布退出競爭。光年之外中途離場,被美團接手;Hugging Face專注賣算力資源和咨詢業務,做大模型更多是“面子工程”。部分企業的表現,也會直接影響到市場對其“是否有錢繼續做大模型”的信心。

從成長性看,有資金實力、基礎設施完整、商業表現良好的大廠,才能陪企業用戶走得更遠。

比如“文心一言”3月16日推出以來,在一個月內完成4次迭代,將推理成本降為原來的十分之一,離不開百度在大模型上的長期投入,以及人、錢、卡、基建等多種方面的儲備,才讓文心一言可以持續進化,在高速迭代的大模型競爭中保持領先。

wKgZomS_1r6AeoMbAACeQFMMP20279.jpg

三是完善的工具鏈。

沒有人會否認,大模型是拿來用的,不是為了當擺設或“公關效應”的。

要用,就要考慮到技術和場景的適配。不同行業和企業對于大模型落地的需求,可能是完全不同的,這種差異化,需要更完善、全面的配套工具,來降低應用門檻。舉個例子,行業+大模型需要進行專有數據的清洗、標注、向量化等工作,這個過程是非常復雜的。

三五人的創業團隊,很難將主要研發力量,放在開發這些看上去技術含量不高、但對用戶十分重要的工具上。

這時候,百度等大廠長期押注AI的優勢就凸顯出來了,已經沉淀了從數據集、模型訓練、開發部署等整套流程的工具,并且開箱即用,把大模型到產業落地的門檻不斷降低,從而開啟增長飛輪。

四是長期積累的行業Knowhow。

大模型產業化,走向ToB和ToG是大勢所趨,要求對行業Knowhow有深層次的理解。因此,政企客戶在大模型選型時,非??粗貜S商的成功案例和行業服務經驗。

AI大廠在產業已經深耕多年,因此大模型的商業開發度更高。目前,百度“文心大模型+飛槳深度學習框架”的組合已與300多家客戶合作,在400多個企業場景中取得良好測試效果,并打造了10多個行業大模型。

與之相比,還沒有走通產業場景的創業公司,在技術體驗、功能創新、工程能力等細節上,可能還需要花費更多時間去摸索。

從這些角度看,頭部大模型已經建立起了較為明顯的優勢,并且還在持續進化。三五人的創業公司,想要在高速迭代的大模型競爭中干翻大廠,需要補的課有點多。

第三個“幻覺”:大模型能“賺快錢”

創業公司通過“資金換規?!钡亩唐娇鞈鹇?,上市融資再套現離場,來兌現投資回報,已經越來越難了,在大模型領域并不現實。那么,另一條路就是通過ToB客戶付費,來完成大模型的商業化。

眾所周知,ToB行業要干苦活累活。

企業客戶在業務場景中接入大模型,可能帶來一系列復雜的整合動作,是一個體系化工程,這就要求大模型廠商不能單一快節奏地交付,而要提供解決方案式的整體能力,以及長時間的更新運維服務。

一個項目的交付、運維、迭代、回款等,可能以年計,是無法快進快出的。所以,大模型下沉到行業,必須打消“賺快錢”的念頭,以長期主義的心態來做生意。

構建服務團隊、形成服務基因,對創業公司及其背后的投資機構的耐心和定力來說,是不小的考驗。

與之相比,大廠在長期走向ToB/ToG市場的過程中,已經經歷了客戶的捶打,鍛煉出了更加成熟的服務鐵軍,也證明了自身的定力。

以百度為例,對于不同行業,有深入了解客戶的交付、運維和保障專屬團隊,在大模型落地應用時,能夠給予更具針對性的方案,從而減少無效支出,讓大模型更好地幫助企業提質增效。

大模型廠商不能一心只想“賺快錢”,要沉下心來走向產業深處。同樣的,企業引入大模型也不能一心只“圖便宜”,要從智能化轉型升級的這個生命周期出發算總賬,綜合考慮改造、交付、運維等多項成本。

大模型強大的理解能力和泛化能力,會加速產業智能化的進程,也讓AI企業和創業公司發現了新的機會。

就像啤酒總是伴隨著泡沫,在一擁而上的大模型創投熱潮中,創業公司和企業客戶也很容易陷入“速成幻覺”。

大模型走向產業的長路,更需保持冷靜和理性,警惕“爛尾”風險。希望大家真正飲下的,是用時間和技術沉淀的精釀,而非隨時可能消失的“泡沫”。

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • AI
    AI
    +關注

    關注

    87

    文章

    27061

    瀏覽量

    264819
  • ChatGPT
    +關注

    關注

    28

    文章

    1481

    瀏覽量

    5494
  • 文心一言
    +關注

    關注

    0

    文章

    120

    瀏覽量

    981
  • 大模型
    +關注

    關注

    2

    文章

    1804

    瀏覽量

    1389
收藏 人收藏

    評論

    相關推薦

    阿里達摩院提出“知識鏈”框架,降低大模型幻覺

    近日,阿里巴巴達摩院(湖畔實驗室)攜手新加坡南洋理工大學等研究機構,共同推出了大模型知識鏈(CoK)框架。該框架不僅可實時檢索異構知識源,還能逐步糾正推理錯誤,有效提高了大模型在回答知識型問題時的準確率,并顯著降低了所謂的“幻覺
    的頭像 發表于 05-10 11:46 ?366次閱讀

    【大語言模型:原理與工程實踐】大語言模型的應用

    幻覺”。此外,大語言模型僅限于生成文字,無法獨立調用API以滿足多樣化需求。例如,當詢問“查詢今天的天氣”時,它會拒絕請求,缺乏根據環境反饋調整行為的能力。動態調整行為及克服“幻覺”現象是大語言
    發表于 05-07 17:21

    微軟下架最新大語言模型WizardLM-2,緣因“幻覺測試疏忽”

    對此,微軟技術人員在X平臺發表聲明,表示因對新模型發布流程不夠了解,且忽略了幻覺測試環節,導致模型被緊急下線。目前,開發團隊正在全力以赴進行測試,預計完成后將盡快重新上線。
    的頭像 發表于 04-22 14:15 ?187次閱讀

    利用知識圖譜與Llama-Index技術構建大模型驅動的RAG系統(下)

    對于語言模型(LLM)幻覺,知識圖譜被證明優于向量數據庫。知識圖譜提供更準確、多樣化、有趣、邏輯和一致的信息,減少了LLM中出現幻覺的可能性。
    的頭像 發表于 02-22 14:13 ?482次閱讀
    利用知識圖譜與Llama-Index技術構建大<b class='flag-5'>模型</b>驅動的RAG系統(下)

    LLM的幻覺問題最新綜述

    幻覺被描述為無意義或不忠實于所提供源內容的生成內容。根據與源內容的矛盾,這些幻覺又進一步分為內在幻覺和外在幻覺。在LLMs中,幻覺的范圍包含
    的頭像 發表于 11-22 17:40 ?648次閱讀
    LLM的<b class='flag-5'>幻覺</b>問題最新綜述

    全球首款支持 8K(8192)輸入長度的開源向量模型發布

    在大模型時代,向量模型的重要性進一步增強。尤其是在檢索增強生成(RAG)場景中,它成為了一個核心組件,用于解決大模型的上下文長度限制、幻覺問題和知識注入問題。
    的頭像 發表于 11-02 14:53 ?489次閱讀
    全球首款支持 8K(8192)輸入長度的開源向量<b class='flag-5'>模型</b>發布

    幻覺降低30%!首個多模態大模型幻覺修正工作Woodpecker

    視覺幻覺是常見于多模態大語言模型 (Multimodal Large Language Models, MLLMs) 的一個典型問題,它指的是"模型輸出的描述與圖片內容不相符"
    的頭像 發表于 10-30 11:05 ?256次閱讀
    <b class='flag-5'>幻覺</b>降低30%!首個多模態大<b class='flag-5'>模型</b><b class='flag-5'>幻覺</b>修正工作Woodpecker

    美國海軍部發布生成式人工智能和大語言模型使用指南

    生成式AI智能工具并不一定可靠,可能會產生“幻覺”和有偏差的結果?!?b class='flag-5'>幻覺”是指產生的響應包括或結合了看似真實的虛構數據。因此,這類工具必須經過嚴格的審查,包括利用人類專業知識進行批判性思考。
    的頭像 發表于 10-29 10:44 ?1030次閱讀

    最新研究綜述——探索基礎模型中的“幻覺”現象

    這種“幻覺”現象可能是無意中產生的,它可以由多種因素導致,包括訓練數據集中存在的偏見、模型不能獲取最新的信息,或是其在理解和生成準確回應時的固有限制。為了確保我們可以安全、有效地利用基礎模型,特別是在新聞、醫療和法律等需要事實準
    的頭像 發表于 09-22 16:57 ?379次閱讀

    企業級生成式AI應用,如何克服“幻覺”問題

    然而,企業級 AI 應用與個人 AI 應用需求之間存在巨大差異,對技術本身的要求也不在一個量級。僅拿當下生成式 AI 應用最讓人詬病的“AI 幻覺”問題來說,放在企業級生產環境,對此幾乎是“零容忍”。
    的頭像 發表于 09-21 16:00 ?517次閱讀

    騰訊混元大語言模型發布:超千億參數規模

    根據官方說法,與chatgpt-3.5/4.0相比,混元大模型幻覺”現象發生概率可減少30%-50%,同時也減少了與創作無關的描寫。另外,對于安全誘導問題,可以將拒絕率提高20個百分點。
    的頭像 發表于 09-08 10:38 ?529次閱讀

    模型現存的10個問題和挑戰

    減輕幻覺問題并開發用于衡量幻覺的度量標準是一個蓬勃發展的研究課題。有許多初創公司專注于解決這個問題。還有一些降低幻覺的方法,例如在提示中添加更多的上下文、思維鏈、自我一致性,或要求模型
    的頭像 發表于 09-05 17:05 ?854次閱讀

    模型現存的10個問題和挑戰

    來源:Coggle數據科學大模型現存的問題和挑戰這篇文章介紹了關于大型語言模型(LLMs)研究中的十個主要方向和問題:1.減少和度量幻覺幻覺指的是AI
    的頭像 發表于 09-04 16:42 ?698次閱讀
    大<b class='flag-5'>模型</b>現存的10個問題和挑戰

    大型語言模型在關鍵任務和實際應用中的挑戰

    大型語言模型的出現極大地推動了自然語言處理領域的進步,但同時也存在一些局限性,比如模型可能會產生看似合理但實際上是錯誤或虛假的內容,這一現象被稱為幻覺(hallucination)。幻覺
    的頭像 發表于 08-15 09:33 ?1185次閱讀
    大型語言<b class='flag-5'>模型</b>在關鍵任務和實際應用中的挑戰

    在層次化設計中必須要使用的ETM時序模型文件

    今天我們要介紹的時序分析概念是ETM。全稱 **extracted timing model** 。這是在層次化設計中必須要使用的一個時序模型文件。由block owner產生,在頂層設計使用。
    的頭像 發表于 07-03 14:39 ?1405次閱讀
    在層次化設計中<b class='flag-5'>必須</b>要使用的ETM時序<b class='flag-5'>模型</b>文件
    亚洲欧美日韩精品久久_久久精品AⅤ无码中文_日本中文字幕有码在线播放_亚洲视频高清不卡在线观看
    <acronym id="s8ci2"><small id="s8ci2"></small></acronym>
    <rt id="s8ci2"></rt><rt id="s8ci2"><optgroup id="s8ci2"></optgroup></rt>
    <acronym id="s8ci2"></acronym>
    <acronym id="s8ci2"><center id="s8ci2"></center></acronym>