1月3日,上(shang)海市“人(ren)工(gong)智(zhi)能(neng)+”行(xing)動推進大會(hui)暨中(zhong)國(guo)—金(jin)磚國(guo)家(jia)人(ren)工(gong)智(zhi)能(neng)發(fa)展與合作中(zhong)心基地啟用儀(yi)式(shi)舉辦(ban)。中(zhong)國(guo)電信(xin)CTO、首席科(ke)學家(jia)、中(zhong)國(guo)電信(xin)人(ren)工(gong)智(zhi)能(neng)研究(jiu)院(yuan)(TeleAI)院(yuan)長李學龍教授受邀參(can)會(hui)并發(fa)表主旨演講,分享(xiang)了人(ren)工(gong)智(zhi)能(neng)領(ling)域的一項落地關鍵(jian)技(ji)術(shu)——智(zhi)傳(chuan)網(AI Flow)。
李(li)學(xue)龍(long)介紹,“連接”是人工(gong)智(zhi)(zhi)能(neng)發展的關鍵(jian),落實“人工(gong)智(zhi)(zhi)能(neng)+”行動(dong)正是要將技術創新與產(chan)業需(xu)求緊密(mi)連接。智(zhi)(zhi)傳網(wang)讓“智(zhi)(zhi)能(neng)”也可以連接起來(lai),擺脫(tuo)設(she)備和平臺的限制,在端(duan)、邊、云之間自由流動(dong),隨需(xu)響應,隨處而至(zhi)。
在研發布局上,中國電信擁有云網融合、AI、量子與安全等技術優勢,且在算力、數據方面構建了“息壤”一體化智算平臺、“星海”數據智能中臺。基于此,TeleAI重點進行智能光電、智能體、智傳網、AI治理的研究,形成 “三智”+“一治”的戰略布局。
智(zhi)傳網是(shi)通過網絡分層架(jia)構(gou),基于智(zhi)能(neng)體間的(de)連接,以及智(zhi)能(neng)體和人(ren)的(de)交互,實現智(zhi)能(neng)傳遞和涌現。它可以打(da)通由AI驅動的(de)“三大空(kong)(kong)間”,即賽博(bo)空(kong)(kong)間、臨(lin)地空(kong)(kong)間、廣域空(kong)(kong)間,是(shi)下(xia)一代(dai)人(ren)工智(zhi)能(neng)發展的(de)必(bi)經之路。
智傳網(wang)(wang)(wang)提(ti)供了一種新的服(fu)務模式,能夠發揮中(zhong)國電信(xin)網(wang)(wang)(wang)絡(luo)優勢,解決(jue)數據傳輸延遲高(gao)、網(wang)(wang)(wang)絡(luo)帶寬占用大等問(wen)題(ti)。人們的未來生活將無不充滿智能的流動,所(suo)有指令都通過可穿戴(dai)設備(bei)交互完成,一切都是高(gao)效的、有序的、便(bian)捷的。
然而,智(zhi)傳網面臨(lin)著一個非(fei)常重要的(de)(de)問(wen)題,就(jiu)是在(zai)不(bu)同的(de)(de)應用場景中(zhong),所需要的(de)(de)“智(zhi)能(neng)”各不(bu)相同;在(zai)不(bu)同的(de)(de)計算平臺中(zhong),能(neng)提供(gong)的(de)(de)“智(zhi)能(neng)”上限亦不(bu)同。那(nei)么,如何(he)去量化這(zhe)種“智(zhi)能(neng)”,從(cong)而按需所取?
TeleAI在智傳網的研究中,引入了一系列基礎理論,這其中包含一個重要概念——“信容定律”。
信(xin)(xin)容(rong)是(shi)信(xin)(xin)息(xi)量與(yu)數(shu)據量的(de)比(bi)值,即單位數(shu)據的(de)信(xin)(xin)息(xi)表示能力。在信(xin)(xin)容(rong)定律(lv)中,信(xin)(xin)息(xi)量是(shi)數(shu)據集(ji)的(de)平(ping)均熵(shang)(shang)與(yu)模型訓練損失(shi)交叉熵(shang)(shang)的(de)差(cha),再乘(cheng)以數(shu)據集(ji) Token 的(de)數(shu)量。如果以模型的(de)參數(shu)量作(zuo)為數(shu)據量,那么兩(liang)者之(zhi)比(bi),就是(shi)模型的(de)信(xin)(xin)容(rong)。
信容定律為AI的發展指明了航向,智能是可以被度量的,是可以被連接的,是可以被傳遞的。當拿到一個數據集的時候,不是只看它的大小,而是根據目標訓練的模型規模,為它匹配相應大小的數據集,并評估數據質量,從而去度量模型的智能水平。進而可以根據不同任務、不同計算資源,去定制出一系列大小不等且同源的家族模型,從而提升模型的效率。這正是智傳網的第一個關鍵點,即通過家族模型協同,實現向上(shang)或向下(xia)兼容,以多(duo)種方式進行(xing)切(qie)換。
與普通的(de)大(da)小模型協同不同,在智傳網中(zhong)家(jia)族(zu)模型的(de)特征是對齊的(de),不需(xu)要(yao)額外的(de)中(zhong)間件(jian)(Middleware)就可以(yi)流暢地共(gong)享信息。當把多個家(jia)族(zu)模型部署(shu)在網絡的(de)不同層上,還能實(shi)現分布式計算,大(da)幅(fu)提升(sheng)模型的(de)推理(li)效率。
智傳網的第二個關鍵點是基于連接和交互的智能涌現。大模(mo)型的(de)(de)發展依(yi)賴(lai)于數(shu)(shu)(shu)據(ju)驅動下的(de)(de)智(zhi)能(neng)(neng)(neng)涌(yong)現(xian),根據(ju)行業(ye)預(yu)測,高質量數(shu)(shu)(shu)據(ju)資(zi)源正在枯竭,不(bu)(bu)久的(de)(de)將來(lai),新數(shu)(shu)(shu)據(ju)生成的(de)(de)速度(du)會(hui)遠遠趕(gan)不(bu)(bu)上(shang)數(shu)(shu)(shu)據(ju)的(de)(de)消耗速度(du),這將限制AI能(neng)(neng)(neng)力(li)(li)的(de)(de)進一(yi)步提(ti)升。為(wei)了(le)(le)突破這個(ge)瓶頸,智(zhi)傳網(wang)實現(xian)了(le)(le)基(ji)于數(shu)(shu)(shu)據(ju)的(de)(de)智(zhi)能(neng)(neng)(neng)涌(yong)現(xian)邁向基(ji)于連接和交(jiao)互(hu)的(de)(de)智(zhi)能(neng)(neng)(neng)涌(yong)現(xian)。通(tong)過模(mo)型間的(de)(de)連接協作(zuo)、知識共享(xiang)及(ji)與外部環境的(de)(de)交(jiao)互(hu),將表現(xian)出超越(yue)單個(ge)模(mo)型能(neng)(neng)(neng)力(li)(li)上(shang)限的(de)(de)智(zhi)能(neng)(neng)(neng)涌(yong)現(xian)能(neng)(neng)(neng)力(li)(li)。
智傳網的第三個關鍵點是模型復刻和智能萃取,可以(yi)類(lei)比(bi)成(cheng)將智能種(zhong)植(zhi)到一(yi)個(ge)新(xin)的(de)(de)(de)大腦。這個(ge)過程不(bu)是(shi)簡單的(de)(de)(de)知識(shi)蒸餾或(huo)遺忘學習(Unlearning),而是(shi)剔除老模型中(zhong)的(de)(de)(de)無效信息,萃取最(zui)精華(hua)的(de)(de)(de)智能,從而得到更加精煉、與之同源且能不(bu)斷成(cheng)長的(de)(de)(de)模型,以(yi)適應變化的(de)(de)(de)環境、場(chang)景和需求。
據(ju)了解,專(zhuan)注于人(ren)工智能(neng)創(chuang)(chuang)(chuang)新與應用的(de)中國電信人(ren)工智能(neng)研(yan)究院(TeleAI)2024年5月在上海(hai)落成,目(mu)標是發展有場(chang)景(jing)、能(neng)落地、規模化的(de)AI技術,并打造可信任(ren)的(de)國家人(ren)工智能(neng)基座(zuo),面向世(shi)界的(de)舞臺,讓AI既能(neng)創(chuang)(chuang)(chuang)造科學價值,又能(neng)創(chuang)(chuang)(chuang)造經濟(ji)價值。