新京報貝殼財經(jīng)訊（記者姜樊）“當前，可用于預訓練大模型的公開數(shù)據(jù)幾乎已經(jīng)用盡了。人類生成數(shù)據(jù)的速度遠遠沒有機器能夠消化這些數(shù)據(jù)的速度快?！?2月22日，香港科技大學榮休教授，加拿大皇家學院院士、加拿大工程院院士楊強在中國財富管理50人論壇2024年會“AI浪潮下的金融業(yè)應變”主題論壇上表示，預訓練將會終結，新的方向還在探索。

楊強預測，2028年將是關鍵之年。他展示的數(shù)據(jù)庫存規(guī)模與數(shù)據(jù)消耗規(guī)模的曲線圖顯示，兩條曲線將于2028年相交。這意味著2028年可用于大模型訓練的公域數(shù)據(jù)將用盡。

當公域數(shù)據(jù)用盡之后，還未用于大模型訓練的私域數(shù)據(jù)則面臨隱私安全問題。

“人類在使用大模型的時候，會暴露隱私，尤其是在金融業(yè)。”楊強指出，在大模型使用過程中，需要用到企業(yè)的內(nèi)部數(shù)據(jù)，隱私保護成了大模型應用中的關鍵問題。

楊強指出，金融界有很多需求，機構的數(shù)據(jù)遠遠不夠，需要把不同機構的數(shù)據(jù)合并起來。但是合并的時候，又有這樣的顧慮，就是隱私安全。

事實上，科學界對大模型發(fā)展路徑已有探討。楊強總結道，一是大模型創(chuàng)造的智能體，要建立大量的垂域?qū)＜?，做到能學習、溝通。二是該智能體要能推理，根據(jù)已經(jīng)學的知識思考未來。三是該智能體有理解能力、有同理心，能理解人類。四是該智能體應該產(chǎn)生自我意識。

“智能體第一個重要能力是推理和組合，能夠使用資源。第二個重要能力是人造數(shù)據(jù)的產(chǎn)生?！睏顝娺M一步指出，所謂人造數(shù)據(jù)是指智能機器人等創(chuàng)造出來的數(shù)據(jù)。人們通過模擬器去訓練模型之后，模型再適配到現(xiàn)實的場景產(chǎn)生數(shù)據(jù)。這樣所產(chǎn)生的數(shù)據(jù)，對機構的訓練模型同樣非常有用。

此外，楊強指出，如何讓大模型落地到私域的機構，在本地建立小模型，能夠通過各種新的人工智能技術，包括這里所說的聯(lián)邦學習和遷移學習，把大型通用能力賦予到小模型，能夠讓小模型的專業(yè)能力教會大模型是當前需要做的事情。這需要強化大模型的遷移學習能力和聯(lián)邦學習能力。有了這些能力，疊加模擬和生成數(shù)據(jù)的能力，就可以訓練具有智能的機器人。

校對 劉軍