遼寧公司網(wǎng)站建設(shè)一條龍全包（百川股份上市）百川股份上市時(shí)間，
DoNews12月19日消息，12月19日，百川智能宣布開放基于搜索增強(qiáng)的Baichuan2-Turbo系列API，包含Baichuan2-Turbo-192K 及Baichuan2-Turbo在支持192K超長(zhǎng)上下文窗口的基礎(chǔ)上，還增加了搜索增強(qiáng)知識(shí)庫(kù)的能力。
即日起，API用戶可上傳文本資料來(lái)創(chuàng)建自身專屬知識(shí)庫(kù)，從而根據(jù)自身業(yè)務(wù)需求打造更完整、高效的智能解決方案百川智能在引領(lǐng)國(guó)內(nèi)大模型開源生態(tài)之后，再次引領(lǐng)行業(yè)開啟了企業(yè)定制化的新生態(tài)此外，百川智能還升級(jí)了官網(wǎng)模型體驗(yàn)，目前其官網(wǎng)大模型已支持PDF、Word等多種文本上傳以及URL網(wǎng)址輸入，用戶可通過官網(wǎng)入口體驗(yàn)搜索增強(qiáng)和長(zhǎng)窗口加持后的通用智能。
百川智能認(rèn)為，搜索增強(qiáng)是大模型落地應(yīng)用的關(guān)鍵，能夠有效解決幻覺、時(shí)效性差、專業(yè)領(lǐng)域知識(shí)不足等阻礙大模型應(yīng)用的核心問題一方面，搜索增強(qiáng)技術(shù)能有效提升模型性能，并且使大模型能“外掛硬盤”，實(shí)現(xiàn)互聯(lián)網(wǎng)實(shí)時(shí)信息+企業(yè)完整知識(shí)庫(kù)的“全知”；另一方面，搜索增強(qiáng)技術(shù)還能讓大模型精準(zhǔn)理解用戶意圖，在互聯(lián)網(wǎng)和專業(yè)/企業(yè)知識(shí)庫(kù)海量的文檔中找到與用戶意圖最相關(guān)的知識(shí)，然后將足夠多的知識(shí)加載到上下文窗口，借助長(zhǎng)窗口模型對(duì)搜索結(jié)果做進(jìn)一步的總結(jié)和提煉，更充分地發(fā)揮上下文窗口能力，幫助模型生成最優(yōu)結(jié)果，從而實(shí)現(xiàn)各技術(shù)模塊之間的聯(lián)動(dòng)，形成一個(gè)閉環(huán)的強(qiáng)大能力網(wǎng)絡(luò)。
大模型+搜索構(gòu)成完整技術(shù)棧，實(shí)現(xiàn)了大模型和領(lǐng)域知識(shí)、全網(wǎng)知識(shí)的全新鏈接盡管大模型是劃時(shí)代的技術(shù)突破，但現(xiàn)階段大模型并不完美，幻覺、時(shí)效性差、缺乏專業(yè)領(lǐng)域知識(shí)等問題，是其落地千行百業(yè)必須要面對(duì)的挑戰(zhàn)對(duì)此，業(yè)界探索了多種解決方案，包括擴(kuò)大參數(shù)規(guī)模、擴(kuò)展上下文窗口長(zhǎng)度、為大模型接入外部數(shù)據(jù)庫(kù)，使用特定數(shù)據(jù)訓(xùn)練或微調(diào)垂直行業(yè)大模型等。
這些路線各有優(yōu)勢(shì)，但也都存在自身的局限例如，持續(xù)擴(kuò)大模型參數(shù)雖然能夠不斷提升模型智能，但是需要海量數(shù)據(jù)和算力的支撐，巨額的成本對(duì)中小企業(yè)非常不友好，而且完全依靠預(yù)訓(xùn)練也很難解決模型的幻覺、時(shí)效性等問題業(yè)界亟需找到一條集諸多優(yōu)勢(shì)于一體的路徑，將大模型的智能切實(shí)轉(zhuǎn)化為產(chǎn)業(yè)價(jià)值。
在百川智能的技術(shù)思考中，大模型+搜索增強(qiáng)是大模型時(shí)代的新計(jì)算機(jī)，大模型類似于計(jì)算機(jī)的CPU，通過預(yù)訓(xùn)練將知識(shí)內(nèi)化在模型內(nèi)部，然后根據(jù)用戶的Prompt生成結(jié)果；上下文窗口可以看做計(jì)算機(jī)的內(nèi)存，存儲(chǔ)了當(dāng)下正在處理的文本；互聯(lián)網(wǎng)實(shí)時(shí)信息與企業(yè)完整知識(shí)庫(kù)共同構(gòu)成了大模型時(shí)代的硬盤。
基于這一技術(shù)理念，百川智能以Baichuan2大模型為核心，將搜索增強(qiáng)技術(shù)與大模型深度融合，結(jié)合此前推出的超長(zhǎng)上下文窗口，構(gòu)建了一套大模型+搜索增強(qiáng)的完整技術(shù)棧，實(shí)現(xiàn)了大模型和領(lǐng)域知識(shí)、全網(wǎng)知識(shí)的全新鏈接。
用行業(yè)大模型解決企業(yè)應(yīng)用不是最佳方法，大模型+搜索增強(qiáng)可以解決99%企業(yè)知識(shí)庫(kù)的定制化需求企業(yè)自有數(shù)據(jù)/知識(shí)庫(kù)，是企業(yè)的核心競(jìng)爭(zhēng)力大模型如果不能結(jié)合企業(yè)自有數(shù)據(jù)/知識(shí)庫(kù)，對(duì)企業(yè)沒有價(jià)值對(duì)此，業(yè)界的傳統(tǒng)做法是做行業(yè)大模型，通過預(yù)訓(xùn)練或者微調(diào)訓(xùn)練大模型。
但是基于特定數(shù)據(jù)預(yù)訓(xùn)練或微調(diào)垂直行業(yè)大模型需要高密度的技術(shù)人才團(tuán)隊(duì)、大量的算力支持，并且每更新一次數(shù)據(jù)都要重新訓(xùn)練或微調(diào)模型，不僅成本高昂、靈活性差，更關(guān)鍵的是不能保證訓(xùn)練的可靠性和應(yīng)用的穩(wěn)定性，多次訓(xùn)練后仍會(huì)出現(xiàn)問題。
此外，大部分企業(yè)數(shù)據(jù)，都是結(jié)構(gòu)化的數(shù)據(jù)，也不適合SFT，模型無(wú)法準(zhǔn)確記憶結(jié)構(gòu)化信息，會(huì)帶來(lái)幻覺為解決傳統(tǒng)方法的缺陷，業(yè)內(nèi)探索了長(zhǎng)上下文窗口和向量數(shù)據(jù)庫(kù)兩種較好的路徑在此基礎(chǔ)上，百川智能更進(jìn)一步，不僅將向量數(shù)據(jù)庫(kù)升級(jí)為搜索增強(qiáng)知識(shí)庫(kù)，極大提升了大模型獲取外部知識(shí)的能力，并且把搜索增強(qiáng)知識(shí)庫(kù)和超長(zhǎng)上下文窗口結(jié)合，讓模型可以連接全部企業(yè)知識(shí)庫(kù)以及全網(wǎng)信息，能夠替代絕大部分的企業(yè)個(gè)性化微調(diào)，解決99%企業(yè)知識(shí)庫(kù)的定制化需求，不僅為企業(yè)節(jié)省巨大成本，還能夠更好地實(shí)現(xiàn)垂直領(lǐng)域知識(shí)的沉淀，讓專有知識(shí)庫(kù)能夠真正成為企業(yè)不斷增值的資產(chǎn)。
百川智能構(gòu)建的大模型+搜索增強(qiáng)解決方案解決掉幻覺和時(shí)效性問題后，有效提升了大模型的可用性，拓展了大模型能夠覆蓋的領(lǐng)域，例如金融、政務(wù)、司法、教育等行業(yè)的智能客服、知識(shí)問答、合規(guī)風(fēng)控、營(yíng)銷顧問等場(chǎng)景而搜索增強(qiáng)相比微調(diào)，在提升可用性的同時(shí)還顯著降低了應(yīng)用成本，讓更多中小企業(yè)也能夠享受到大模型帶來(lái)的變革，特別是在電商行業(yè)可幫助廣大店家提升營(yíng)銷效率乃至轉(zhuǎn)化率。
此外，這種應(yīng)用方式還可以幫助提升企業(yè)各種場(chǎng)景應(yīng)用創(chuàng)新的效率，加速大模型在千行百業(yè)創(chuàng)造實(shí)際價(jià)值突破搜索增強(qiáng)技術(shù)多個(gè)難點(diǎn)，稀疏檢索與向量檢索并行召回率提升至 95%雖然搜索增強(qiáng)能夠有效解決大模型落地應(yīng)用的諸多問題，但在技術(shù)層面構(gòu)建這樣一套系統(tǒng)卻并不容易，需要深厚的搜索和模型研發(fā)經(jīng)驗(yàn)來(lái)發(fā)現(xiàn)并解決各個(gè)環(huán)節(jié)的技術(shù)難點(diǎn)與挑戰(zhàn)。
在大語(yǔ)言模型時(shí)代，用戶的需求表達(dá)不僅口語(yǔ)化、多元化，并且還與上下文強(qiáng)相關(guān)，因此用戶需求（Prompt）與搜索的對(duì)齊成為了大模型獲取外部知識(shí)過程中最為核心的問題為了更精準(zhǔn)地理解用戶意圖，百川智能使用自研大語(yǔ)言模型對(duì)用戶意圖理解進(jìn)行微調(diào)，能夠?qū)⒂脩暨B續(xù)多輪、口語(yǔ)化的Prompt信息轉(zhuǎn)換為更符合傳統(tǒng)搜索引擎理解的關(guān)鍵詞或語(yǔ)義結(jié)構(gòu)。
此外，百川智能還參考Meta的CoVe（Chain-of-Verification Reduces Hallucination in Large Language Models）技術(shù)，將真實(shí)場(chǎng)景的用戶復(fù)雜問題拆分成多個(gè)獨(dú)立可并行檢索的子結(jié)構(gòu)問題，從而讓大模型可以針對(duì)每個(gè)子問題進(jìn)行定向的知識(shí)庫(kù)搜索，提供更加準(zhǔn)確和詳盡的答案。
同時(shí)通過自研的TSF(Think Step-Further)技術(shù)，百川智能的知識(shí)庫(kù)可以推斷出用戶輸入背后深層的問題，更精準(zhǔn)的理解用戶的意圖，進(jìn)而引導(dǎo)模型回答出更有價(jià)值的答案，為用戶提供全面和滿意的輸出結(jié)果。
在精確理解用戶需求的基礎(chǔ)上，想要進(jìn)一步提升知識(shí)獲取的效率和準(zhǔn)確性，還需要借助向量模型解決用戶需求和知識(shí)庫(kù)的語(yǔ)義匹配問題為實(shí)現(xiàn)更好的向量檢索效果，百川智能自研的向量模型使用了超過 1.5T token 的高質(zhì)量中文數(shù)據(jù)進(jìn)行預(yù)訓(xùn)練，通過自研的損失函數(shù)解決了對(duì)比學(xué)習(xí)對(duì)于 batchsize 的依賴，在C-MTEB評(píng)測(cè)集 6 個(gè)任務(wù)（分類、聚類、文本推理、排序、檢索、文本相似度） 中的 5 個(gè)任務(wù)上都取得了效果的大幅領(lǐng)先，綜合分?jǐn)?shù)登上榜首。
雖然當(dāng)下構(gòu)建大模型知識(shí)庫(kù)的主流方法是向量檢索，但是向量模型的效果過于依賴訓(xùn)練數(shù)據(jù)的覆蓋，在訓(xùn)練數(shù)據(jù)未覆蓋的領(lǐng)域泛化能力會(huì)有明顯折扣，并且用戶 prompt 和知識(shí)庫(kù)中文檔長(zhǎng)度的差距也給向量檢索帶來(lái)了很大挑戰(zhàn)。
對(duì)此，百川智能在向量檢索的基礎(chǔ)上融合了稀疏檢索和 rerank模型通過稀疏檢索與向量檢索并行的混合檢索方式，將目標(biāo)文檔的召回率提升到了 95%，大幅領(lǐng)先于市面上絕大多數(shù)開源向量模型的80%召回率不僅如此，對(duì)于大模型在回答過程中由于引用資料不準(zhǔn)確以及與大模型不匹配，導(dǎo)致模型的“幻覺”加重的現(xiàn)象。
百川智能還在通用RAG（檢索增強(qiáng)生成）的技術(shù)基礎(chǔ)上首創(chuàng)了Self-Critique大模型自省技術(shù)，該技術(shù)能夠讓大模型基于Prompt對(duì)檢索回來(lái)的內(nèi)容從相關(guān)性、可用性等角度進(jìn)行自省，篩選出最優(yōu)質(zhì)、最匹配的候選內(nèi)容，有效提升材料的知識(shí)密度和廣度，并降低檢索結(jié)果中的知識(shí)噪聲。
5000萬(wàn)tokens數(shù)據(jù)集測(cè)試回答精度95%，長(zhǎng)窗口+搜索實(shí)現(xiàn)“真·大海撈針” 長(zhǎng)上下文窗口雖然可以接收更長(zhǎng)的文本信息，但擴(kuò)展上下文窗口長(zhǎng)度會(huì)影響模型性能，在當(dāng)前技術(shù)下存在上限并且長(zhǎng)窗口每次回答問題都要將文檔全部重讀一遍，推理效率低、成本高。
百川智能通過長(zhǎng)窗口+搜索增強(qiáng)的方式，在192K長(zhǎng)上下文窗口的基礎(chǔ)上，將大模型能夠獲取的原本文本規(guī)模提升了兩個(gè)數(shù)量級(jí)，達(dá)到5000萬(wàn)tokens通過搜索增強(qiáng)，模型可以先根據(jù)用戶的Prompt在海量的文檔中檢索出最相關(guān)的內(nèi)容，再將這些文檔與Prompt一起放到長(zhǎng)窗口中，有效節(jié)省了推理費(fèi)用和時(shí)間成本。
“大海撈針”測(cè)試（Needle in the Heystack）是由海外知名AI創(chuàng)業(yè)者兼開發(fā)者 Greg Kamradt 設(shè)計(jì)的，業(yè)內(nèi)公認(rèn)最權(quán)威的大模型長(zhǎng)文本準(zhǔn)確度測(cè)試方法對(duì)于192k token以內(nèi)的請(qǐng)求，百川智能可以實(shí)現(xiàn)100%回答精度。
廣告膽小者勿入！五四三二一...恐怖的躲貓貓游戲現(xiàn)在開始！×而對(duì)于192k token以上的文檔數(shù)據(jù)，百川智能結(jié)合搜索系統(tǒng)，將測(cè)試集上下文長(zhǎng)度擴(kuò)展到 5000w tokens，分別評(píng)測(cè)了純向量檢索和稀疏檢索+向量檢索的檢索的效果。
測(cè)試結(jié)果顯示，稀疏檢索+向量檢索的方式可以實(shí)現(xiàn)95%的回答精度，即使在 5000萬(wàn)tokens的數(shù)據(jù)集中也可以做到接近全域滿分，而單純的向量檢索只能實(shí)現(xiàn) 80%的回答精度
本次測(cè)試，百川智能使用中文場(chǎng)景，實(shí)驗(yàn)配置如下：大海(HayStack)：博金大模型挑戰(zhàn)賽-金融數(shù)據(jù)集中的80份長(zhǎng)金融文檔針（Needle）：2023 年 12 月 16 日，在極客公園創(chuàng)新大會(huì) 2024 的現(xiàn)場(chǎng)，王小川進(jìn)一步分享了大模型的新思考。
在王小川看來(lái)，大模型帶來(lái)的新的開發(fā)范式下，產(chǎn)品經(jīng)理的出發(fā)點(diǎn)，應(yīng)該從思考產(chǎn)品市場(chǎng)匹配（PMF），到思考技術(shù)與產(chǎn)品的匹配怎么做，即 TPF（Technology Product Fit，技術(shù)產(chǎn)品匹配）查詢問題：王小川認(rèn)為大模型時(shí)代下，產(chǎn)品經(jīng)理的出發(fā)點(diǎn)是什么？
不僅如此，百川智能搜索增強(qiáng)數(shù)據(jù)庫(kù)的表現(xiàn)也十分優(yōu)秀，在博金大模型挑戰(zhàn)賽-金融數(shù)據(jù)集（文檔理解部分）、MultiFieldQA-zh和DuReader三個(gè)行業(yè)主流知識(shí)庫(kù)測(cè)試集上的得分均領(lǐng)先GPT-3.5、GPT-4等行業(yè)頭部模型。
廣告從秘書起步，十年內(nèi)無(wú)人超越，以一己之力力挽狂瀾成就一段傳奇×據(jù)了解，目前多個(gè)行業(yè)的頭部企業(yè)已與百川智能達(dá)成合作，同時(shí)，基于搜索增強(qiáng)的Baichuan2-Turbo系列API原生支持昇騰AI基礎(chǔ)軟硬件平臺(tái)。
百川智能未來(lái)也將持續(xù)聯(lián)合華為在技術(shù)層面深度合作，并融合百川智能的長(zhǎng)上下文窗口和搜索增強(qiáng)知識(shí)庫(kù)能力為客戶提供多樣化智能化解決方案。