一朵華為云,如何做好百模千態(tài)?

考驗華為“軟實力”的時候到了

一朵華為云,如何做好百模千態(tài)?

文丨劉雨琦、郝鑫

2005年華為提出網(wǎng)絡(luò)時代的“All IP”,2011年提出數(shù)字化時代的“All Cloud”,2023年提出智能時代的“All Intelligence”。

截至目前,華為的戰(zhàn)略升級經(jīng)歷了三個階段。

步入智能化,需要迎接的困難依然不少。在大模型能力涌現(xiàn)、多模態(tài)融合、MOE等趨勢下,模型參數(shù)很快將從現(xiàn)在的5400億超過數(shù)萬億,對海量的穩(wěn)定算力、大規(guī)模并行訓(xùn)練、以及整體的架構(gòu)設(shè)計都提出了更高要求。同時,數(shù)據(jù)集規(guī)模的快速增長,數(shù)據(jù)高效存儲、清洗和標注的難度,以及海量Token的訓(xùn)練等充滿挑戰(zhàn)。

“可以說,大模型及相關(guān)應(yīng)用是迄今為止最復(fù)雜的軟硬件系統(tǒng)工程”,?華為云CTO張宇昕判斷道。

在上篇?《全面智能化,華為的“硬功夫”》?中,我們總結(jié)在硬件層面,華為的策略是從底層建基開始做起,?以硬件為切入,打通感知層和連接層,憑借特色化行業(yè)軍團打入各行各業(yè),出具智能化解決方案。?也正是因為華為本身軟硬一體化的特殊性,催生了其既要做好“硬件層”與“軟件層”的連接,也要做好軟件層與千行百業(yè)連接的需求。

近期的華為全聯(lián)接大會2023,華為云公布了一系列實踐,進一步印證了軟硬結(jié)合的深層次邏輯:

面向底層算力,宣布華為云昇騰AI云服務(wù)正式上線,提供算力集群、計算引擎CANN、AI開發(fā)框架MindSpore和AI開發(fā)平臺ModelArts,構(gòu)建AI云底座;

面向客戶、開發(fā)者開發(fā)訓(xùn)練,上線“昇騰AI云服務(wù)百模千態(tài)專區(qū)”,同時整合了應(yīng)用開發(fā)需要的開發(fā)生產(chǎn)線、低碼/無碼平臺、AI應(yīng)用框架及全新的AI應(yīng)用工程套件,降低開發(fā)門檻;

面向大模型落地,發(fā)布華為云Stack 8.3,提供13類100+云服務(wù),重點增強盤古大模型、工業(yè)互聯(lián)網(wǎng)、數(shù)據(jù)要素流通、軟件開發(fā)生產(chǎn)線四大核心能力。

通過梳理本次大會內(nèi)容,光錐智能發(fā)現(xiàn),華為云服務(wù)總體分為兩個大板塊:?一是面向計算,以硬件交付為主、提供算力的業(yè)務(wù);二是直接面向客戶,以軟件交付為主、提供服務(wù)的業(yè)務(wù)。

如果將華為提出的全面智能化戰(zhàn)略形象化,算力就好比是引擎,計算就是發(fā)動機。華為云平臺在其中承擔連接器的角色,向下調(diào)用算力平臺,向上兼容千行百業(yè)。對外,也給千行百業(yè)的智能化描繪工程圖紙和提供工具。

01 昇騰AI云服務(wù):算力的“輸血泵”

隨著大模型廠商的不斷推進,讓“大模型落地各行各業(yè)”正在一步步變成現(xiàn)實,這同時也激發(fā)了大規(guī)模底層算力調(diào)用的需求。

作為底層的算力,以前大多數(shù)情況下通過本地部署方式完成,而現(xiàn)在明顯的變化是,?大模型開始推動算力基礎(chǔ)設(shè)施不斷“向上”,服務(wù)于千行百業(yè)的客戶。

但要把算力直接部署在企業(yè)端,本身是件門檻極其高的事情,正如華為云代理廠商告訴光錐智能,?“預(yù)算要千萬級起步,其次還要配備技術(shù)研發(fā)團隊”。這就導(dǎo)致,從計算平臺到客戶之間便產(chǎn)生了一道鴻溝。

誰來填補這道裂縫?華為給出的答案是“昇騰AI云服務(wù)”。據(jù)華為云透露,截至目前,其在貴安、烏蘭察布、蕪湖建設(shè)了3大AI算力中心。算力中心沒辦法直接提供服務(wù),但通過云計算就可以把像水電一般的算力轉(zhuǎn)化為“即開即用”的服務(wù)一起出售給用戶。

就像一塊塊搭積木,昇騰AI云服務(wù)將算力平臺和云計算平臺的能力組合在了一起,硬件發(fā)揮傳輸信號、計算等能力,軟件發(fā)揮數(shù)據(jù)傳輸、存儲、加密等能力,軟硬件一體化來實現(xiàn)效率的最大化。據(jù)了解,?目前基于華為昇騰AI云服務(wù),同時通過軟硬協(xié)同實現(xiàn)算子融合與混合精度的優(yōu)化,讓訓(xùn)練效率提升45%。

具體來看,?華為昇騰AI產(chǎn)業(yè)生態(tài)由云邊端的硬件、異構(gòu)計算架構(gòu)、AI框架、應(yīng)用使能和行業(yè)應(yīng)用層構(gòu)成,這幾部分揭示了華為AI能力如何落地行業(yè)場景的全過程。

一朵華為云,如何做好百模千態(tài)?

我們可以把上面這張圖理解為一間正在投入生產(chǎn)的工廠。異構(gòu)計算架構(gòu)層好比一臺萬能的生產(chǎn)機器,它具有極強的兼容性,既支持CPU的引擎,也支持GPU、TPU的引擎,有了算力整個工廠才得以運作起來。

AI框架就好比是工人手中的圖紙,只有對照著圖紙,才能知道每一步的生產(chǎn)步驟。有了機器、圖紙還不夠,工廠還給每位工人配備了一些封裝好的扳手、錘子等工具,這也就是“應(yīng)用使能層”的作用。待工人將圖紙的樣式組裝為現(xiàn)實的產(chǎn)品,會立即被分類投入到不同的產(chǎn)業(yè)線進行打包處理,這也等同于AI進入到了各個行業(yè)當中。

華為從最底層打造了一個最全的生產(chǎn)工廠,也提供了各類服務(wù)。如在異構(gòu)計算架構(gòu)層不僅支持不同類型的處理器,還提供了四種算力供給模式,?一種是直接賣服務(wù)器的裸算力模式;第二種是租服務(wù)器的租算力模式;第三種是通過服務(wù)器打造一個云服務(wù)空間,提供算力支持;最后一種是以MaaS服務(wù)的方式提供算力。

一朵華為云,如何做好百模千態(tài)?

縱觀全世界,谷歌、亞馬遜等云廠商多以云算力模式、MaaS模式的方式提供算力,英偉達等硬件芯片廠商多以裸算力、多租戶模式提供算力,很長一段時間內(nèi)兩者之間涇渭分明。

不過,多算力供給模式正在逐漸成為趨勢。據(jù)外媒報道,英偉達已經(jīng)開始通過與一些云廠商簽訂GPU合同,“逼迫”他們租用英偉達的服務(wù)器,以此來打通云算力和MaaS模式。

02 華為云:AI云基座和生產(chǎn)線

算力層的優(yōu)勢是一個新引擎,華為云才是帶領(lǐng)華為智能化走向千行百業(yè)的那輛馬車。

全聯(lián)接大會中,除了發(fā)布昇騰AI云服務(wù),華為云還升級了Stack 8.3版本,為企業(yè)提供一站式建設(shè)專屬大模型的工具和服務(wù)。據(jù)了解,全新的Stack8.3版本,提供了完整的AI生產(chǎn)鏈,包括AI算力、計算結(jié)構(gòu)、框架、開發(fā)平臺、開發(fā)套件、基礎(chǔ)大模型以及專業(yè)服務(wù),降低大模型的建設(shè)門檻。

一朵華為云,如何做好百模千態(tài)?

“大模型不是少數(shù)企業(yè)的專利”,華為云Stack總裁尚海峰說道:“華為希望讓每個企業(yè)都擁有自己的大模型?!?/p>

但從企業(yè)內(nèi)部來看,數(shù)據(jù)的實時采集受制于非數(shù)字化終端,數(shù)據(jù)的實時上傳受制于低速網(wǎng)絡(luò),數(shù)據(jù)的實時分析受制于數(shù)據(jù)孤島,行業(yè)數(shù)據(jù)難采、難傳、難用,諸多因素都阻礙了智能化的進程。

帶著這個思路再看Stack 8.3目前的產(chǎn)品布局,頗有種針對企業(yè)痛點逐個狙擊的感覺。

比如在8.3版本中,重點對數(shù)據(jù)要素流通能力進行了增強,而這正是企業(yè)面臨智能化的第一道難關(guān)。在數(shù)據(jù)實時采集方面,華為打造了感知層硬件進行支撐;為了解決上傳速度的問題,華為QingTian架構(gòu)基于高速新型網(wǎng)絡(luò)協(xié)議,打破了算力、存儲和網(wǎng)絡(luò)的邊界,完成對多算力的對等互聯(lián),以解決此前低速網(wǎng)絡(luò)帶來的數(shù)據(jù)傳輸時間過長、數(shù)據(jù)丟失等問題。

另一方面,數(shù)據(jù)需要在流通中才能充分體現(xiàn)價值,但當前業(yè)界仍然缺乏可信的數(shù)據(jù)流通機制,這樣的挑戰(zhàn)在大模型時代尤為突出。

數(shù)據(jù)是行業(yè)用戶的核心資產(chǎn)和競爭優(yōu)勢的源泉,行業(yè)用戶部分關(guān)鍵敏感數(shù)據(jù)難以實現(xiàn)共享或者“出廠”,?例如政務(wù)行業(yè)中涉及到城市發(fā)展、公共安全和個人隱私等方面的數(shù)據(jù);金融行業(yè)中責權(quán)、債務(wù)關(guān)系相關(guān)的數(shù)據(jù);制造業(yè)的資產(chǎn)明細、生產(chǎn)數(shù)據(jù)以及明確要求不可以出園區(qū)的數(shù)據(jù)等等,此時基礎(chǔ)大模型難以適應(yīng)行業(yè)智能化需求。

為此,每個云廠商都在著重建立保障數(shù)據(jù)要素流通過程中的安全可信機制。區(qū)塊鏈和隱私計算成為其中最核心的能力,這原本是金融交易中的核心技術(shù),如今也逐漸成為了基礎(chǔ)能力。

在數(shù)據(jù)流通環(huán)節(jié),區(qū)塊鏈技術(shù)可以進行數(shù)據(jù)確權(quán)、防篡改,隱私計算技術(shù)確保數(shù)據(jù)在應(yīng)用中“可用不可見、可算不可識”。華為Stack 8.3將上述多種技術(shù)進行數(shù)智融合,讓企業(yè)可以實現(xiàn)算法、模型和數(shù)據(jù)集等高質(zhì)量數(shù)據(jù)產(chǎn)品的開發(fā),滿足數(shù)據(jù)的使用標準;并通過EDS交換數(shù)據(jù)空間讓數(shù)據(jù)可信流通與授權(quán)運營,確保數(shù)據(jù)不出域。

其他廠商也在數(shù)據(jù)層積極布局,螞蟻專門推出了針對數(shù)據(jù)流通安全的平臺“摩斯”,獨立對外提供服務(wù),產(chǎn)品化頁面操作包含分布式和集中式計算模式提供安全匹配、匿名查詢、安全模型、安全統(tǒng)計等各類產(chǎn)品。

一朵華為云,如何做好百模千態(tài)?

保障數(shù)據(jù)安全和流通之后,面對智能化的應(yīng)用開發(fā),很多企業(yè)都是“丈二的和尚,摸不著頭腦”。Stack 8.3版本是一站式開發(fā)平臺,提供從編碼規(guī)范、分布式構(gòu)建、漏洞檢查到協(xié)同開發(fā)等30多種核心能力,建立了流程、工具到經(jīng)驗一體的軟件開發(fā)生產(chǎn)線CodeArts。

對比上文所提到的ModleArts的邏輯是一樣的,幾乎開發(fā)者在軟件開發(fā)中的所有流程和工具、服務(wù),都能夠在CodeArts中找到答案。中國船舶集團旗下的海舟技術(shù)公司,專門負責船舶系統(tǒng)的軟件業(yè)務(wù)和開發(fā),基于CodeArts的結(jié)構(gòu)化流程和契約化研發(fā)確保交付零偏差,實現(xiàn)千人高效協(xié)作,打造大型工業(yè)領(lǐng)域原創(chuàng)技術(shù)“策源地”。

無論是被動的一體化,還是主動的一站式,可以看出目前華為云的整體思路不僅要做深更要做廣,為智能化時代,打造一個AI云基座。

03 5+N+X,解耦大模型解決方案

毫無疑問,大模型雖然不是智能化的全部,但卻已經(jīng)成為了企業(yè)智能化的靈魂。

在技術(shù)發(fā)展的早期,有時候建立標準比發(fā)展技術(shù)本身更加重要。?這也是華為云的思路。比如自動駕駛技術(shù)在發(fā)展的早期也曾經(jīng)歷混亂和迷茫,直到業(yè)內(nèi)將自動駕駛技術(shù)分為L0-L5,框架清晰之后,才迎來了具體的技術(shù)突破和落地。

華為云認為對于大模型的思考也應(yīng)該如此。基于思考,華為云將大模型分為了L0、L1、L2三個層次,形成了5+N+X的三層解耦架構(gòu)。

一朵華為云,如何做好百模千態(tài)?

其中5指的是5種基礎(chǔ)大模型,包括自然語言(LLM)、視覺(CV)、多模態(tài)、預(yù)測決策(推理)、科學(xué)計算5種不同方向的大模型;N是基于通用大模型打造的行業(yè)大模型,利用特定的行業(yè)數(shù)據(jù),基于無監(jiān)督自主學(xué)習(xí)行業(yè)知識,形成的行業(yè)的大模型,也是目前大模型在產(chǎn)業(yè)應(yīng)用落地的主要形式;而X則是L1結(jié)合場景數(shù)據(jù)形成場景大模型,以適應(yīng)行業(yè)的需要。

從 L0、L1 到 L2,遵從由“通”到“?!钡姆謱蛹壞J?,通用大模型用來定性、行業(yè)大模型定量,而場景大模型則代表了無限可能。在這樣層級分明的架構(gòu)中,可以完成從 L0 通用模型到 L1 行業(yè)模型再到 L2 專用模型的快速開發(fā)流程。

據(jù)光錐智能了解到,首先,盤古大模型采用完全的分層解耦設(shè)計,?可以靈活適配、滿足行業(yè)多變的需求,企業(yè)既可以為自己的大模型加載獨立的數(shù)據(jù)集,也可以獨立升級模型。

但同時,大模型的三級模型之間可以交互優(yōu)化。?L0 模型可以為 L1 模型提供初始化加速收斂,L1 可以通過模型抽取蒸餾產(chǎn)生更強的 L2 模型,L2 也能夠在實際問題中通過積累難例數(shù)據(jù)或者行業(yè)經(jīng)驗反哺 L1。

或許這也正是華為云能夠快速同時推出9大行業(yè)大模型的原因。全聯(lián)接大會中,華為云一口氣“上新”了9大行業(yè)模型,礦山大模型、氣象大模型、醫(yī)藥大模型等,針對具體行業(yè)具體業(yè)務(wù),提供實際的解決方案。

與其他云廠商提供的行業(yè)大模型不同的是,華為的行業(yè)大模型已經(jīng)在實際業(yè)務(wù)中“跑過一輪”,帶著實戰(zhàn)經(jīng)驗就能起到關(guān)鍵作用。

比如在近幾年極端天氣與日俱增之際,對氣象預(yù)測的精準度有了進一步要求,盤古氣象大模型與中國國家氣象局合作,使得中長期氣象預(yù)報精度首次超過傳統(tǒng)數(shù)值方法,速度提升10000倍以上。具體而言,該模型使用全球39年的天氣數(shù)據(jù)進行訓(xùn)練,僅用1.4秒就完成了全球24小時的天氣預(yù)測,同時對臺風路徑預(yù)報等極端天梯,提高了精準度。

同樣,煤炭行業(yè)面臨著開采地質(zhì)條件復(fù)雜、災(zāi)害多發(fā)(如煤塵、水、火、瓦斯和頂板等自然災(zāi)害)、生產(chǎn)效率較低、作業(yè)環(huán)境惡劣、人員短缺等挑戰(zhàn),為應(yīng)對這些挑戰(zhàn),大模型在盡量增安、少人。僅以瓦斯隱患預(yù)測一個場景舉例,借助大模型對井下采煤、設(shè)備、礦壓、通風、安全監(jiān)測、地質(zhì)、瓦斯抽取等系統(tǒng)數(shù)據(jù)進行智能融合分析,對井下關(guān)鍵位置瓦斯?jié)舛冗M行預(yù)測,實現(xiàn)瓦斯隱患的超前預(yù)警。

一朵華為云,如何做好百模千態(tài)?

當然,這得益于華為在智能感知層的縱深布局,在具體的應(yīng)用場景中再次發(fā)揮作用和價值。

未來,百模千態(tài)將面臨一個個越來越艱深的行業(yè)和越來越具體的場景,無論是華為云還是其他云廠商,都需要不斷思考著陸點,深入無數(shù)毛細血管,才能迎來質(zhì)的改變。

歡迎關(guān)注光錐智能,獲取更多科技前沿知識!

本文來自投稿,不代表增長黑客立場,如若轉(zhuǎn)載,請注明出處:http://m.gptmaths.com/quan/106182.html

(0)
打賞 微信掃一掃 微信掃一掃 支付寶掃一掃 支付寶掃一掃
上一篇 2023-09-27 10:54
下一篇 2023-09-27 14:06

增長黑客Growthhk.cn薦讀更多>>

發(fā)表回復(fù)

登錄后才能評論