江西網(wǎng)站建設(shè)多少錢(qián)僅需500元（百川官網(wǎng)app）百川股份有限公司官網(wǎng)，
作者 | 程茜編輯 | 心緣智東西12月19日?qǐng)?bào)道，今天，百川智能宣布開(kāi)放基于搜索增強(qiáng)的Baichuan2-Turbo系列API，包含Baichuan2-Turbo-192K及Baichuan2-Turbo，并增加了搜索增強(qiáng)知識(shí)庫(kù)。
官網(wǎng)接口說(shuō)明：https://platform.baichuan-ai.com/playground百川智能創(chuàng)始人、CEO王小川談道，搜索增強(qiáng)是大模型時(shí)代的必由之路，能夠有效解決大模型幻覺(jué)、時(shí)效性差、專(zhuān)業(yè)領(lǐng)域知識(shí)不足等核心問(wèn)題
百川智能以Baichuan2大模型為核心，將搜索增強(qiáng)技術(shù)與大模型深度融合，結(jié)合此前推出的192k超長(zhǎng)上下文窗口，構(gòu)建了一套大模型+搜索增強(qiáng)的完整技術(shù)棧，實(shí)現(xiàn)了大模型和領(lǐng)域知識(shí)、全網(wǎng)知識(shí)的連接目前，行業(yè)大模型在應(yīng)用落地方面仍面臨諸多問(wèn)題，如企業(yè)的訓(xùn)練成本、人才儲(chǔ)備等。
一方面，百川智能的搜索增強(qiáng)技術(shù)可以提升大模型的性能，同時(shí)讓其“外掛硬盤(pán)”，擁有互聯(lián)網(wǎng)實(shí)時(shí)信息和企業(yè)的自有知識(shí)庫(kù)；另一方面，搜索增強(qiáng)技術(shù)能夠幫助大模型理解用戶(hù)的意圖，在企業(yè)的知識(shí)庫(kù)文檔中找到相應(yīng)的知識(shí)，然后對(duì)結(jié)果進(jìn)行總結(jié)提煉生成結(jié)果。
百川智能聯(lián)席總裁洪濤告訴智東西，他們并不否定行業(yè)大模型，但從技術(shù)的視角看，絕大部分場(chǎng)景下百川智能的搜索增強(qiáng)方案可以替代行業(yè)大模型一、大模型落地難題：幻覺(jué)、時(shí)效性差、專(zhuān)有知識(shí)不足現(xiàn)階段，大模型仍存在很多問(wèn)題，也是其走向行業(yè)落地必須面對(duì)的挑戰(zhàn)。
首先，大模型存在幻覺(jué)，目前一些玩家通過(guò)訓(xùn)練更大的模型去減少幻覺(jué)，但這伴隨著成本變高其次，大模型的數(shù)據(jù)庫(kù)是靜態(tài)的，王小川認(rèn)為，大模型是一個(gè)時(shí)效性較差的系統(tǒng)第三，大模型商業(yè)落地的過(guò)程中專(zhuān)業(yè)知識(shí)不足，這是因?yàn)槊總€(gè)企業(yè)都有自己的私域數(shù)據(jù)，且需要實(shí)時(shí)更新。
因此，王小川認(rèn)為，解決這三個(gè)問(wèn)題，光靠模型本身做的大是不夠的目前，行業(yè)里有一大策略就是，大模型加搜索才能構(gòu)成完整的技術(shù)棧，王小川談道，此前百川智能做大模型比較快的原因就是，掌握搜索技術(shù)能更好收集數(shù)據(jù)這是因?yàn)?，大模型的?shù)據(jù)、算法、算力都和搜索相關(guān)，搜索技術(shù)不僅能幫他們更快做出大模型，大模型+搜索還能完整形成模型加商業(yè)應(yīng)用的邏輯閉環(huán)。
借助搜索增強(qiáng)，大模型和領(lǐng)域知識(shí)、全網(wǎng)知識(shí)形成全新的完整技術(shù)棧，有利于大模型真正實(shí)現(xiàn)落地王小川展示了一個(gè)行業(yè)里公認(rèn)的表達(dá)，大模型是新時(shí)代的計(jì)算機(jī)下面這張圖就將大模型比做計(jì)算機(jī)，大語(yǔ)言模型就是中央處理器、上下文窗口就是內(nèi)存、搜索增強(qiáng)就是硬盤(pán)。
不過(guò)更大內(nèi)存、更強(qiáng)的處理器，依然不能解決大模型幻覺(jué)、外部知識(shí)引入、時(shí)效性等問(wèn)題王小川談道，在用戶(hù)指令和輸出中，就可以通過(guò)搜索引擎將互聯(lián)網(wǎng)實(shí)時(shí)信息和企業(yè)完整知識(shí)庫(kù)，像硬盤(pán)一樣裝進(jìn)去，也就是大模型加硬盤(pán)能即插即用，這就使得大模型在很多領(lǐng)域里更實(shí)用。
廣告膽小者勿入！五四三二一...恐怖的躲貓貓游戲現(xiàn)在開(kāi)始！×▲百川智能大模型支持實(shí)時(shí)信息更新在學(xué)術(shù)界，也有一些知識(shí)注入等類(lèi)似理念提出，可以將外部知識(shí)掛硬盤(pán)，也就是RAG（檢索增強(qiáng)生成），谷歌、OpenAI等也在提出類(lèi)似的理念。
二、人才、算力、時(shí)間、效果……行業(yè)大模型落地挑戰(zhàn)眾多目前而言，企業(yè)滿(mǎn)足自身需求的做法是搭建向量數(shù)據(jù)庫(kù)王小川談道，向量數(shù)據(jù)庫(kù)實(shí)際上是搜索里的一部分功能，搜索為了保證召回進(jìn)度和效率會(huì)采用向量數(shù)據(jù)庫(kù)因此，做搜索的公司已經(jīng)完整掌握了向量數(shù)據(jù)庫(kù)這項(xiàng)技術(shù)，現(xiàn)在，百川智能對(duì)其經(jīng)過(guò)新的研發(fā)后，讓更大的模型實(shí)現(xiàn)更好的對(duì)接。
如今模型走向落地，一些企業(yè)落地應(yīng)用大模型時(shí)很多需求沒(méi)解決，所以需要打造行業(yè)大模型王小川舉了個(gè)例子，如常說(shuō)的L0就是標(biāo)準(zhǔn)模型，L1就是在此之上經(jīng)過(guò)垂直行業(yè)數(shù)據(jù)改造的行業(yè)大模型然而，用行業(yè)大模型來(lái)解決企業(yè)應(yīng)用的過(guò)程中，仍然面臨很多問(wèn)題，包括人力、算力、時(shí)間、效果、更新、升級(jí)。
在改造的過(guò)程中，需要企業(yè)有非常多的經(jīng)驗(yàn)積累，高質(zhì)量的人才才能保證系統(tǒng)的可靠性和穩(wěn)定性與此同時(shí)，算力方面對(duì)于企業(yè)來(lái)說(shuō)也是巨大的挑戰(zhàn)，再加上訓(xùn)練周期長(zhǎng)，還需要考慮基座模型升級(jí)的影響因此，王小川認(rèn)為，行業(yè)大模型目前并沒(méi)有良好的實(shí)踐案例，還面臨很多問(wèn)題。
三、長(zhǎng)文本、向量數(shù)據(jù)庫(kù)是基操，百川智能提出差異化解決方案在行業(yè)模型之外，常規(guī)的解決方法是向量數(shù)據(jù)庫(kù)和長(zhǎng)窗口，王小川談道，這兩個(gè)事情是基操，百川的解決方案還包括獨(dú)有的：實(shí)現(xiàn)稀疏檢索與向量檢索并行、搜索系統(tǒng)和大模型對(duì)齊
其中，稀疏檢索就是原來(lái)他們?cè)瓉?lái)做搜索引擎時(shí)用到的機(jī)遇符號(hào)系統(tǒng)的方式，這種情況下向量檢索語(yǔ)義會(huì)更加貼近另一大特點(diǎn)就是搜索系統(tǒng)和大模型對(duì)齊，他解釋說(shuō)，以前用戶(hù)提問(wèn)會(huì)通過(guò)一個(gè)關(guān)鍵詞表達(dá)一個(gè)詞或者短劇，今天用戶(hù)提問(wèn)是一個(gè)完整的問(wèn)題，如何通過(guò)稀疏檢索、向量檢索跟這套系統(tǒng)相對(duì)接，就是新的技術(shù)點(diǎn)。
搜索和長(zhǎng)窗口模型產(chǎn)生的技術(shù)挑戰(zhàn)包括，用戶(hù)場(chǎng)景變化，用戶(hù)會(huì)提出上下文相關(guān)的prompt，與傳統(tǒng)搜索不同；第二為如何實(shí)現(xiàn)高召回、高準(zhǔn)確的搜索系統(tǒng)；第三為長(zhǎng)窗口在容量、性能、成本和效率方面的問(wèn)題；第四是長(zhǎng)窗口結(jié)合搜索，對(duì)搜索召回精度要求極高。
面對(duì)這些挑戰(zhàn)，百川智能提出了一系列解法今年10月，百川智能發(fā)布了Baichuan2-192k大模型，可以支持一次性輸入35萬(wàn)字同時(shí)，百川智能在中文語(yǔ)義向量綜合表征能力評(píng)測(cè)C-MTEB中排名第一同時(shí)，該公司還實(shí)現(xiàn)了稀疏檢索和向量檢索并行，通過(guò)調(diào)優(yōu)后比向量檢索的可用率從80%提到95%。
王小川談道，這件事意味著將向量檢索帶到了新的高度在搜索系統(tǒng)和大模型對(duì)齊方面，有prompt2query和doc2query兩種方案，能夠?qū)R用戶(hù)的需求通過(guò)這樣一系列的操作，百川智能的解決方案就解決了行業(yè)大模型不可行的問(wèn)題。
同時(shí)大模型的外存加內(nèi)存能提升兩個(gè)數(shù)量級(jí)的信息處理量，大模型的處理速度更快、成本更低王小川談道，這種解決方案提升了幾百倍的檢索量后，比單用長(zhǎng)窗口的成本更低、速度更快四、解決行業(yè)大模型不可行難題，文本規(guī)模達(dá)到5000tokens。
總的來(lái)看，王小川認(rèn)為，相比于行業(yè)大模型，百川智能的搜索增強(qiáng)方案在人力、算力、時(shí)間、效果、更新、升級(jí)方面都更有優(yōu)勢(shì)此前企業(yè)要自己學(xué)行業(yè)模型，需要稀有的大模型人才，并使用大量算力訓(xùn)練很長(zhǎng)時(shí)間，現(xiàn)在只需要掛上“外部硬盤(pán)”就可以直接調(diào)用大模型能力，同時(shí)還能保證模型的可靠性及應(yīng)用穩(wěn)定性。
如果基座模型升級(jí)，企業(yè)原有的訓(xùn)練數(shù)據(jù)無(wú)法在行業(yè)大模型上使用，搜索增強(qiáng)的方案采用模型和硬盤(pán)分離，可以分別增強(qiáng)王小川還提到了百川智能通過(guò)長(zhǎng)窗口和搜索增強(qiáng)的方式，在192k長(zhǎng)上下文窗口的基礎(chǔ)上，將大模型能夠獲取的原本文本規(guī)模提升了兩個(gè)數(shù)量級(jí)，達(dá)到5000萬(wàn)tokens，相當(dāng)于1億字。
企業(yè)實(shí)際應(yīng)用中在企業(yè)知識(shí)問(wèn)答、客服智能客服、營(yíng)銷(xiāo)助手、投資研究中，會(huì)涉及到大量企業(yè)文檔王小川認(rèn)為，如果說(shuō)長(zhǎng)窗口能解決部分的問(wèn)題，搜索增強(qiáng)的方式就可以解決99%企業(yè)典型場(chǎng)景的問(wèn)題結(jié)語(yǔ)：搜索增強(qiáng)或成大模型應(yīng)用落地有效路徑。
大模型發(fā)展到現(xiàn)在，產(chǎn)業(yè)界亟需找到一條集諸多優(yōu)勢(shì)于一體的路徑，將大模型的強(qiáng)大能力真正落地到產(chǎn)業(yè)中百川智能基于其在搜索方面的技術(shù)經(jīng)驗(yàn)與積累，將知識(shí)內(nèi)化在模型內(nèi)部，然后根據(jù)用戶(hù)的Prompt生成結(jié)果，上下文窗口就充當(dāng)計(jì)算機(jī)的內(nèi)存，存儲(chǔ)當(dāng)下正在處理的文本，再將互聯(lián)網(wǎng)實(shí)時(shí)信息與企業(yè)完整知識(shí)庫(kù)共同構(gòu)成“硬盤(pán)”。
這種解決方案可以讓企業(yè)在應(yīng)用大模型能力時(shí)，受成本、人才、算力等的限制變得更小，同時(shí)讓其投身于依托大模型構(gòu)建更多的場(chǎng)景應(yīng)用創(chuàng)新，加速大模型在千行百業(yè)創(chuàng)造更多的實(shí)際價(jià)值。