精彩回顧丨琶洲實(shí)驗(yàn)室科學(xué)家譚明奎：大模型歷史機(jī)遇與挑戰(zhàn)

產(chǎn)品技術(shù)的演進(jìn)，離不開底層科技的創(chuàng)新。人工智能已經(jīng)成為新一輪科技革命和產(chǎn)業(yè)變革的重要驅(qū)動(dòng)力量，基于強(qiáng)算法、大算力和大數(shù)據(jù)的大模型發(fā)揮著關(guān)鍵作用。

在9月22日于廣州舉辦的2023年中國(guó)企業(yè)出海高質(zhì)量發(fā)展創(chuàng)新大會(huì)上，琶洲實(shí)驗(yàn)室-人工智能與數(shù)字經(jīng)濟(jì)實(shí)驗(yàn)室（廣州）（簡(jiǎn)稱琶洲實(shí)驗(yàn)室）科學(xué)家譚明奎教授以《大模型歷史機(jī)遇與挑戰(zhàn)》為主題發(fā)表開場(chǎng)演講。譚教授認(rèn)為，企業(yè)出海面臨諸多挑戰(zhàn)，在加速本土化落地、跨境貿(mào)易合作、數(shù)字內(nèi)容創(chuàng)意開發(fā)等方面，大模型有著強(qiáng)大的技術(shù)能力賦能企業(yè)。

與此同時(shí)，大模型對(duì)數(shù)據(jù)需求量、計(jì)算資源等各方面的高要求，單一機(jī)構(gòu)沒辦法完成，這要求科研單位和企業(yè)一起緊密配合，在典型領(lǐng)域?qū)崿F(xiàn)數(shù)據(jù)、模型、算法的共享和協(xié)同開發(fā)，促進(jìn)大模型研究的應(yīng)用和部署。

大會(huì)現(xiàn)場(chǎng)，鈦動(dòng)科技、琶洲實(shí)驗(yàn)室和華南理工大學(xué)未來技術(shù)學(xué)院正式簽約“人工智能出海營(yíng)銷戰(zhàn)略合作”。

三方將在人工智能出海營(yíng)銷領(lǐng)域展開長(zhǎng)期戰(zhàn)略合作，打通“數(shù)據(jù)-算法-應(yīng)用場(chǎng)景”全鏈條，深度融合技術(shù)與產(chǎn)業(yè)，賦能中國(guó)出海企業(yè)數(shù)字化轉(zhuǎn)型，助力更多中國(guó)企業(yè)走出國(guó)門、閃耀全球。

以下為經(jīng)整理的演講精華內(nèi)容。

《大模型歷史機(jī)遇與挑戰(zhàn)》

早在2017年，學(xué)界便開始對(duì)人工智能大模型進(jìn)行研發(fā)。直到2022年ChatGPT發(fā)布，其邏輯性的流暢對(duì)話和交互能力給全球帶來震撼，才讓人工智能技術(shù)備受關(guān)注。而ChatGPT能夠脫穎而出的關(guān)鍵點(diǎn)，就是大語言模型的突破，這給數(shù)字經(jīng)濟(jì)和人工智能技術(shù)發(fā)展帶來了新一輪的契機(jī)。

近幾個(gè)月，國(guó)內(nèi)國(guó)外陸續(xù)發(fā)布各大模型，又被稱為“百模大戰(zhàn)”。今年3月份發(fā)布的Open AI GPT-4，增加了多模態(tài)能力，在文本處理、寫代碼等多種專業(yè)能力上有了質(zhì)的提升，并且將會(huì)隨著演進(jìn)迭代逐步提高大模型的技術(shù)能力。那么大模型的上限能力在哪里？我們目前還不知曉。但就目前呈現(xiàn)出來的能力而言，已經(jīng)足夠讓我們驚艷，也足夠讓我們?nèi)ダ盟瑏斫鉀Q數(shù)字經(jīng)濟(jì)、尤其是出海業(yè)務(wù)中的難點(diǎn)和痛點(diǎn)。

大模型基于Transformer 架構(gòu)開展，它是模型的底座，也是處理長(zhǎng)序列數(shù)據(jù)的核心技術(shù)能力。而Transformer 結(jié)構(gòu)的發(fā)展，離不開海量數(shù)據(jù)的“投喂”。2018年，谷歌帶著3億參數(shù)BERT模型，闖進(jìn)大眾視野，而到目前，ChatGPT-3模型參數(shù)已經(jīng)達(dá)到1750億，參數(shù)規(guī)模提高到千億級(jí)別。未來，高容量的參數(shù)可以讓我們將人類歷史上所有能夠數(shù)字化的內(nèi)容以及每天產(chǎn)生的新數(shù)字化內(nèi)容全部包含進(jìn)大模型數(shù)據(jù)中。因此，大模型的記憶能力、聯(lián)想能力、創(chuàng)作能力，都將優(yōu)于人類的能力。

同時(shí)，技術(shù)的提升在大模型應(yīng)用部署層面，也帶來了新的范式。

- 過去，從需求分析-現(xiàn)場(chǎng)數(shù)據(jù)采集、標(biāo)注等步驟到模型訓(xùn)練-部署，整個(gè)流程需要耗費(fèi)幾個(gè)月時(shí)間；

- 現(xiàn)在，基于大模型能力+部署框架+場(chǎng)景數(shù)據(jù)，有望實(shí)現(xiàn)幾個(gè)人在數(shù)小時(shí)之內(nèi)完成模型部署方案。

首先是在出海營(yíng)銷洞察層面，本土企業(yè)如何獲取最地道的目標(biāo)市場(chǎng)洞察？依托處理和解析海量、高維和多源數(shù)據(jù)的能力，大模型通過自動(dòng)在海外收集大量數(shù)據(jù)，識(shí)別隱藏在多維數(shù)據(jù)中的細(xì)分市場(chǎng)、關(guān)鍵詞、風(fēng)險(xiǎn)預(yù)判等重要信息，解析復(fù)雜的消費(fèi)者行為，幫助決策者足不出戶深度洞察海外市場(chǎng)。大模型為廣告方案提供數(shù)據(jù)驅(qū)動(dòng)的決策支持，其洞察能力超過本科生水平。

第二是在營(yíng)銷內(nèi)容層面，目前大模型在數(shù)據(jù)生成尤其是圖像、文本生成能力讓人非常驚艷，有些能力已經(jīng)超過了碩士、博士甚至是資深教授水平，可以幫助企業(yè)快速生成高質(zhì)量、一流的數(shù)字內(nèi)容。同時(shí)還可以將創(chuàng)作人員的優(yōu)質(zhì)創(chuàng)作思路用數(shù)據(jù)的方式呈現(xiàn)，形成標(biāo)準(zhǔn)范式，讓內(nèi)容生成環(huán)節(jié)上的每位工作者快速獲取新思路，避免在協(xié)同過程中出現(xiàn)創(chuàng)意思路的偏差，極大地提升創(chuàng)意交付效率。

第三，在服務(wù)鏈路層面，從市場(chǎng)研究、用戶畫像，到營(yíng)銷內(nèi)容生成，再到chat客服、售后調(diào)研等，大模型可以幫助出海公司在交付前、中、后全鏈路地進(jìn)行優(yōu)化提升。

第四，在智慧辦公層面，本土企業(yè)如何與海外企業(yè)高效協(xié)同合作？大模型可與公司辦公及會(huì)議系統(tǒng)整合，幫助用戶在開會(huì)期間更高效地處理和記錄信息，例如協(xié)助用戶制定詳細(xì)會(huì)議提綱、會(huì)議準(zhǔn)備待辦事項(xiàng)、根據(jù)會(huì)議內(nèi)容生成創(chuàng)意性想法和建議、生成會(huì)議紀(jì)要總結(jié)等，有效提升行政效率。

第五，在跨文化情感分析層面，大模型不僅可以解決跨語言溝通，還能實(shí)現(xiàn)跨文化溝通。大模型通過收集海外數(shù)據(jù)信息，形成對(duì)當(dāng)?shù)匚幕睦斫猓私獠煌幕g的相似性和差異性，實(shí)現(xiàn)快速準(zhǔn)確的翻譯，幫助人們更好地理解不同文化和語言背景下的思維和表達(dá)方式。未來，大模型在廣告中的跨文化情感分析將發(fā)揮重要作用。通過對(duì)全球多文化用戶廣告點(diǎn)擊率、留存率、觀看量等信息數(shù)據(jù)分析，提供全球廣告?zhèn)€性化、多語言優(yōu)化和文化敏感性的解決方案，傳統(tǒng)AI模型做不到，只有大模型有這個(gè)能力。

首先，大模型面臨著使用過程中的人機(jī)交互挑戰(zhàn)，也是目前大模型應(yīng)用需要盡快解決的一個(gè)痛點(diǎn)。由于大模型自身“大”的特點(diǎn)，ChatGPT-3模型參數(shù)已經(jīng)達(dá)到1750億，GPT-4的參數(shù)達(dá)到了1.8萬億個(gè)（也有報(bào)道為5000億），如此高額的參數(shù)容量在調(diào)動(dòng)、運(yùn)行時(shí)對(duì)運(yùn)算要求非常高。當(dāng)應(yīng)用到實(shí)時(shí)或交互性要求較高的場(chǎng)景時(shí)，容易出現(xiàn)響應(yīng)延遲、速度慢等狀況，從而影響用戶體驗(yàn)。從業(yè)者需要對(duì)大模型運(yùn)算架構(gòu)、模型壓縮、加速運(yùn)算等方面提供更先進(jìn)的解決方案。

另一方面，大模型到目前為止，還缺乏對(duì)人類情感和語義的深入理解，可能導(dǎo)致模型在處理情感相關(guān)的交互或場(chǎng)景時(shí)出現(xiàn)問題。同時(shí)，數(shù)據(jù)來源可能本身具有偏見和歧視，大模型在學(xué)習(xí)時(shí)可能會(huì)從訓(xùn)練數(shù)據(jù)中學(xué)習(xí)到潛在的偏見和歧視，并在生成結(jié)果時(shí)產(chǎn)生不公平或歧視性的偏好。

第二個(gè)挑戰(zhàn)來源于瞬息萬變的現(xiàn)實(shí)世界。我們正處于一個(gè)信息爆炸的數(shù)據(jù)時(shí)代，面對(duì)場(chǎng)景數(shù)據(jù)動(dòng)態(tài)變化，模型需具備增量學(xué)習(xí)和持續(xù)更新的能力。具體到出海行業(yè)而言，出海企業(yè)面臨著跨文化、跨場(chǎng)景挑戰(zhàn)，這要求大模型針對(duì)不同國(guó)家、不同地區(qū)、不同場(chǎng)景進(jìn)行針對(duì)性的學(xué)習(xí)和部署，包括增量學(xué)習(xí)、適應(yīng)學(xué)習(xí)等，從用戶實(shí)際應(yīng)用需求出發(fā)，凝練為科學(xué)問題加以解決。

第三個(gè)挑戰(zhàn)來源于大模型開發(fā)的成本要求，大模型對(duì)數(shù)據(jù)需求量大，對(duì)計(jì)算資源要求高。OpenAI訓(xùn)練1750億參數(shù)的GPT-3費(fèi)用大概是1200萬美元，訓(xùn)練5000億參數(shù)(業(yè)界預(yù)估)的GPT-4成本飆升至1億美元，普通科研高校或科研單位沒有辦法獨(dú)立負(fù)擔(dān)。

大模型在開發(fā)和應(yīng)用過程中主要受限于以下三方面成本：

- 訓(xùn)練成本：包括算力、電費(fèi)等；

- 數(shù)據(jù)收集成本；

- 人力成本：支付大模型訓(xùn)練開發(fā)人員的高額薪水。

這要求科研單位和企業(yè)一起緊密配合，結(jié)合各自優(yōu)勢(shì)，在典型領(lǐng)域?qū)崿F(xiàn)數(shù)據(jù)、模型、算法的共享和協(xié)同開發(fā)，促進(jìn)大模型研究的應(yīng)用和部署。

除了以上在開發(fā)、應(yīng)用部署和使用三個(gè)環(huán)節(jié)可能會(huì)面臨到的挑戰(zhàn)之外，大模型可能存在私密數(shù)據(jù)泄露風(fēng)險(xiǎn)和合規(guī)性風(fēng)險(xiǎn)，這也是廣泛民眾最能感知也最為關(guān)注的問題。現(xiàn)在有關(guān)部門正在逐步推出相關(guān)制度和法律，企業(yè)需要緊跟律法腳步，確保開發(fā)過程中的合法合規(guī)。

琶洲實(shí)驗(yàn)室大模型團(tuán)隊(duì)圍繞數(shù)據(jù)、模型、算法、應(yīng)用成立專項(xiàng)小組，目前超過100人，包括教授4名、副教授4名、博士16名、碩士64人、且正在逐步壯大。

本次大會(huì)上，琶洲實(shí)驗(yàn)室、華南理工大學(xué)正式與鈦動(dòng)科技簽訂三方合作條約，相信通過產(chǎn)學(xué)研三方強(qiáng)強(qiáng)聯(lián)合，深入AI應(yīng)用的深水區(qū)，推動(dòng)迭代升級(jí)，產(chǎn)出有原創(chuàng)性、突破性、對(duì)行業(yè)發(fā)展有重大影響力的高水平研究成果，推動(dòng)中國(guó)商品、中國(guó)品牌更好地走向全球。