絕影實(shí)力AI DAY：行業(yè)首發(fā)AI汽車創(chuàng)新產(chǎn)品「A New Member For U」，標(biāo)桿級(jí)世界模型「開(kāi)悟」

·商湯絕影打造A New Member For U，讓汽車擁有「有趣的靈魂」，成為「你的家庭新成員」

·端到端智駕方案即將量產(chǎn)，行業(yè)標(biāo)桿級(jí)別的「開(kāi)悟」世界模型全新升級(jí)，商湯絕影打造真實(shí)數(shù)據(jù)和仿真數(shù)據(jù)的「雙輪驅(qū)動(dòng)」閉環(huán)，構(gòu)建「車云一體」新范式

·攜手奇瑞大卓、東風(fēng)汽車開(kāi)展全方位深度戰(zhàn)略合作，絕影構(gòu)建邁向AGI時(shí)代的共生共創(chuàng)共享的合作新模式

11月27日，2024「絕影實(shí)力AI DAY」成功舉辦，商湯絕影全面展示了「駕-艙-云」三位一體的通用人工智能（AGI）產(chǎn)品體系與戰(zhàn)略布局，發(fā)布智能座艙交互革新、端到端智能駕駛等前沿領(lǐng)域的創(chuàng)新成就，領(lǐng)航AI汽車新征程。

在本屆「絕影實(shí)力AI DAY」上，商湯絕影行業(yè)首發(fā)智能座艙大模型創(chuàng)新產(chǎn)品「A New Member For U」（你的家庭新成員），讓汽車擁有「有趣的靈魂」。面向智能駕駛，商湯絕影構(gòu)建了「車云一體」的產(chǎn)品矩陣，發(fā)布涵蓋高速、城區(qū)以及泊車等全場(chǎng)景的高階智駕、端到端智駕等絕影量產(chǎn)智駕產(chǎn)品體系，同時(shí)全新升級(jí)行業(yè)標(biāo)桿級(jí)別的「開(kāi)悟」世界模型，以此打造堅(jiān)實(shí)的數(shù)據(jù)基礎(chǔ)設(shè)施。

作為最專注汽車行業(yè)的AI公司，商湯絕影同時(shí)具備豐沛算力、原生汽車垂類大模型研發(fā)能力、高質(zhì)量數(shù)據(jù)體系和豐富量產(chǎn)經(jīng)驗(yàn)等全棧實(shí)力，全力以赴推動(dòng)大模型上車，打造領(lǐng)先的AI汽車創(chuàng)新技術(shù)和產(chǎn)品，給座艙以溫度，讓智駕更自由。

商湯絕影CEO、商湯科技聯(lián)合創(chuàng)始人、首席科學(xué)家王曉剛表示：「我們已經(jīng)站在AGI時(shí)代的門口。作為加速智能汽車駛?cè)階GI時(shí)代的戰(zhàn)略合作伙伴，商湯絕影將牢牢把握住新一輪智能汽車變革的時(shí)間窗口，與車企伙伴進(jìn)行全方位深度合作，共享大算力與大模型，共建數(shù)據(jù)基礎(chǔ)設(shè)施，共同打造智能汽車大模型創(chuàng)新應(yīng)用，才能攜手共贏，領(lǐng)航未來(lái)。」

商湯絕影CEO、商湯科技聯(lián)合創(chuàng)始人、首席科學(xué)家 ?王曉剛

A New Member For U，絕影讓智能汽車擁有「有趣的靈魂」

大模型上車伊始，它們主要扮演著工具的角色，為用戶提供基礎(chǔ)的對(duì)話、信息查詢和問(wèn)題解答服務(wù)。隨著技術(shù)的不斷進(jìn)步，具備邏輯思考和通用任務(wù)處理能力的AI Agent出現(xiàn)了，能夠根據(jù)用戶的指令，完成復(fù)雜的連續(xù)性任務(wù)，成為能干的助理。不過(guò)，這類車機(jī)都只是聽(tīng)話和服從的「被動(dòng)智能」。

在2024「絕影實(shí)力AI DAY」上，商湯絕影用領(lǐng)先的AI實(shí)力重新定義座艙，不只是賦予汽車以智能，更賦予智能以溫度。未來(lái)，它不再只是冰冷的工具或者機(jī)械式的助理，而是「A New Member For U」，成為會(huì)察言觀色、無(wú)時(shí)不在且與你心有靈犀的「家庭新成員」。

這位「家庭新成員」能夠感知和理解用戶需求，提供有溫度、有情感的主動(dòng)關(guān)懷?？梢詴诚脒@么一個(gè)場(chǎng)景：在駕駛旅途中，「家庭新成員」注意到坐在后排的孩子睡著了，就會(huì)主動(dòng)把空調(diào)溫度升高、音樂(lè)的聲量調(diào)低，底盤和駕駛模式都調(diào)整為舒適模式，給小朋友一個(gè)舒適安心的睡眠環(huán)境。

依托原生流式多模態(tài)大模型、車載類人記憶框架和持續(xù)運(yùn)行框架等前沿AI大模型技術(shù)，商湯絕影正在引領(lǐng)座艙交互體驗(yàn)的革新，讓智能汽車擁有「有趣的靈魂」。

New Member「新成員」能夠察言觀色，離不開(kāi)商湯絕影強(qiáng)大的原生流式多模態(tài)大模型。在OpenCompass多模態(tài)評(píng)測(cè)榜單中，絕影多模態(tài)大模型的理解和推理能力排名第一，以此為基礎(chǔ)，「家庭新成員」能全面感知用戶的語(yǔ)音、表情、手勢(shì)、以及環(huán)境數(shù)據(jù)，并進(jìn)行深度理解和推理思考，具備理解世界、理解人類的能力。

如果要讓汽車與用戶心有靈犀，它還必須有擁有「記憶」，因?yàn)橛洃浭侨祟愓J(rèn)知的核心，也是情感聯(lián)結(jié)的基礎(chǔ)。為此，商湯絕影打造了國(guó)內(nèi)首個(gè)「車載類人記憶框架」，讓系統(tǒng)實(shí)現(xiàn)類人的記憶能力。

商湯絕影的記憶框架與人類的記憶機(jī)制非常相似。它有臨時(shí)記憶，能記得一些瞬時(shí)信息，比如車?yán)锏奈锲?、人的搭配、有沒(méi)有系安全帶等；也有長(zhǎng)期記憶，就像是一個(gè)“檔案庫(kù)”，存儲(chǔ)用戶的基本信息、行為模式和偏好等，它可以自我迭代，能從用戶長(zhǎng)期使用中總結(jié)規(guī)律并不斷優(yōu)化。而通過(guò)場(chǎng)景記憶，車機(jī)能針對(duì)當(dāng)前場(chǎng)景進(jìn)行毫秒級(jí)的動(dòng)態(tài)記憶檢索，提取關(guān)鍵信息，進(jìn)行決策，主動(dòng)服務(wù)。

合格的「家庭新成員」還要無(wú)時(shí)不在時(shí)刻準(zhǔn)備為你服務(wù)，絕影打造了能夠持續(xù)推理的Always-on運(yùn)行框架，將多模態(tài)感知到的信息與各種記憶相結(jié)合，依托端云協(xié)同架構(gòu)，數(shù)據(jù)延遲控制在1毫秒以下，首包延時(shí)最快只需60毫秒，推理速度達(dá)40 Tokens/秒，對(duì)數(shù)據(jù)進(jìn)行高效處理和反饋，時(shí)刻感知需求，主動(dòng)為用戶服務(wù)。

在追求智能和情感化的同時(shí)，商湯絕影始終堅(jiān)持將用戶隱私與安全放在首位，通過(guò)全方位的隱私保護(hù)與數(shù)據(jù)安全體系，做到“數(shù)據(jù)跟人走”、“隱私數(shù)據(jù)不出車”、“不該說(shuō)的不說(shuō)”，確保系統(tǒng)在安全合規(guī)的前提下提供極致體驗(yàn)，為每一位用戶打造專屬的安全空間。

端到端量產(chǎn)在即，「開(kāi)悟」全新升級(jí)，絕影構(gòu)建「車云一體」智駕新范式

今年年初，城區(qū)無(wú)圖NOA是智能駕駛領(lǐng)域的核心話題。之后，端到端智駕技術(shù)為行業(yè)帶來(lái)了范式革新，逐漸取代模塊化的規(guī)則，成為智駕技術(shù)的進(jìn)化方向。從北京車展開(kāi)始，商湯絕影等多家公司陸續(xù)發(fā)布端到端智駕方案，智駕正在邁向端到端時(shí)代。

在本屆「絕影實(shí)力AI DAY」上，商湯絕影全面展示了基于J6E、J6M、Orin等不同算力平臺(tái)打造的全場(chǎng)景高階智駕、端到端智駕等絕影量產(chǎn)智駕產(chǎn)品體系。商湯絕影的智駕量產(chǎn)交付也在穩(wěn)步推進(jìn)，基于J6平臺(tái)的智駕方案預(yù)計(jì)2025年第二季度將量產(chǎn)交付，而量產(chǎn)端到端智駕方案則預(yù)計(jì)會(huì)在明年年底量產(chǎn)落地。

在推進(jìn)量產(chǎn)的同時(shí)，行業(yè)也發(fā)現(xiàn)，研發(fā)范式從規(guī)則驅(qū)動(dòng)轉(zhuǎn)變?yōu)閿?shù)據(jù)驅(qū)動(dòng)，端到端智駕模型對(duì)于高質(zhì)量數(shù)據(jù)的需求呈指數(shù)級(jí)的增長(zhǎng)。

然而，受限于高階智駕的量產(chǎn)規(guī)模、算力資源，目前大多數(shù)車企和智駕公司都面臨相同的問(wèn)題，即高質(zhì)量駕駛數(shù)據(jù)的獲取難度大、效率低、成本高。

商湯絕影探索出一條新的道路，通過(guò)實(shí)車采集和仿真生成「雙輪驅(qū)動(dòng)」的數(shù)據(jù)閉環(huán)，構(gòu)建量產(chǎn)智駕產(chǎn)品體系和世界模型深度融合的「車云一體」智駕新范式。

商湯絕影「車云一體」新范式

在2024「絕影實(shí)力AI DAY」上，王曉剛表示：「智駕高端局的競(jìng)爭(zhēng)不止是車端模型的比拼，端到端的決戰(zhàn)，戰(zhàn)場(chǎng)在云端。」為此，商湯絕影全新升級(jí)并發(fā)布行業(yè)標(biāo)桿級(jí)別的世界模型——「開(kāi)悟」世界模型。

世界模型最基礎(chǔ)也是最核心的能力是生成高質(zhì)量視頻數(shù)據(jù)，高質(zhì)量數(shù)據(jù)的關(guān)鍵在于「真實(shí)」。基于多模態(tài)大模型打造的絕影世界模型，能夠理解真實(shí)世界的物理規(guī)則、交通規(guī)則，生成的視頻數(shù)據(jù)也更加逼真?，F(xiàn)場(chǎng)展示的「開(kāi)悟」生成視頻案例中，晴朗天氣下，汽車、路燈都是有影子的，右轉(zhuǎn)車輛會(huì)主動(dòng)讓行優(yōu)先級(jí)更高的直行車輛。

在真實(shí)的基礎(chǔ)上，「開(kāi)悟」生成的場(chǎng)景視頻，時(shí)間最長(zhǎng)為150秒、分辨率可達(dá)1080P、視角可以實(shí)現(xiàn)11V，是行業(yè)首個(gè)同時(shí)完成上述指標(biāo)的智駕世界模型。

基于行人車輛3D框和時(shí)空軌跡的信號(hào)輸入，「開(kāi)悟」生成的11V時(shí)空一致視頻

根據(jù)公開(kāi)數(shù)據(jù)，「開(kāi)悟」生成效果的各項(xiàng)指標(biāo)開(kāi)源均達(dá)SOTA，優(yōu)于包括GAIA-1、DriveDreamer在內(nèi)的國(guó)內(nèi)外主流世界模型。此外，從2023年開(kāi)始，在全球知名的自動(dòng)駕駛仿真模擬任務(wù)競(jìng)賽Waymo Sim Agents的比拼中，「開(kāi)悟」連續(xù)兩年獲得第一名，是當(dāng)之無(wú)愧的行業(yè)標(biāo)桿。

更重要的是，通過(guò)多模態(tài)大模型，「開(kāi)悟」世界模型可以支持多樣化的自動(dòng)駕駛場(chǎng)景及Corner case的可控生成。目前商湯絕影基于1024類場(chǎng)景，能夠泛化出更多的平行世界，打造了千萬(wàn)級(jí)的生成場(chǎng)景庫(kù)，預(yù)計(jì)2025年對(duì)行業(yè)開(kāi)放。

以絕影量產(chǎn)智駕方案和「開(kāi)悟」世界模型為核心，實(shí)車采集的真實(shí)數(shù)據(jù)和云端生成的仿真數(shù)據(jù)在「車云一體」的新范式下進(jìn)行閉環(huán)流轉(zhuǎn)，使得端到端智駕系統(tǒng)的訓(xùn)練更加全面、高效，大幅縮短了研發(fā)周期，降低了成本，讓用戶能夠更快享受到智能駕駛帶來(lái)的便捷與安全。

攜手奇瑞大卓、東風(fēng)汽車開(kāi)展深度戰(zhàn)略合作，打造共生共創(chuàng)共享合作新模式

商湯絕影的技術(shù)和產(chǎn)品持續(xù)創(chuàng)新，商業(yè)化落地也全面開(kāi)花，量產(chǎn)交付穩(wěn)步推進(jìn)。智駕方案已量產(chǎn)交付廣汽埃安、一汽紅旗等3家車企6款車型。第三方調(diào)研數(shù)據(jù)顯示，商湯絕影在座艙視覺(jué)AI軟件市場(chǎng)的份額連續(xù)五年蟬聯(lián)第一。此外座艙AI大模型產(chǎn)品已上車小米SU7、智己、LEVC L380等車型。

值得關(guān)注的是，商湯絕影面向海外市場(chǎng)升級(jí)了座艙視覺(jué)AI產(chǎn)品矩陣，助力極氪X的DMS系統(tǒng)斬獲ENCAP歷史最高分，并在「絕影實(shí)力AI DAY」首發(fā)ENCAP2026 OOP離位檢測(cè)、身材檢測(cè)功能。

如今，商湯絕影已與超30家國(guó)內(nèi)外車企達(dá)成合作，覆蓋100余款車型，預(yù)計(jì)至2024年底，量產(chǎn)交付累計(jì)將突破350萬(wàn)輛。

商湯絕影已展現(xiàn)出在技術(shù)研發(fā)、產(chǎn)品創(chuàng)新和商業(yè)化落地等各個(gè)領(lǐng)域的全面實(shí)力，成長(zhǎng)為智能汽車領(lǐng)域的頂級(jí)AI戰(zhàn)略合作伙伴。

如今，智能汽車站在潛力無(wú)限的新起點(diǎn)上，作為加速智能汽車駛?cè)階GI時(shí)代的戰(zhàn)略合作伙伴，商湯絕影正全力推動(dòng)最前沿的AI技術(shù)與智能汽車產(chǎn)業(yè)的深度融合。

單打獨(dú)斗難以在AGI時(shí)代脫穎而出，主機(jī)廠和AI公司必須以全新的方式進(jìn)行深度戰(zhàn)略合作才有可能形成行業(yè)競(jìng)爭(zhēng)力。目前，商湯絕影已和大卓智能、東風(fēng)汽車等合作伙伴簽訂戰(zhàn)略合作協(xié)議，在高階智駕量產(chǎn)、端到端量產(chǎn)、AI云服務(wù)、AI大模型等領(lǐng)域開(kāi)展全方位的深度合作，加速自動(dòng)駕駛的落地與進(jìn)化。

共享強(qiáng)大算力集群與大模型能力、共建數(shù)據(jù)基礎(chǔ)施設(shè)、共創(chuàng)智能汽車AI應(yīng)用生態(tài)，這一全新合作模式是通往AGI未來(lái)的必由之路，商湯絕影是邁向AGI之路的最佳同行者。

商湯絕影愿意和車企合作伙伴共享算力豐沛的商湯大裝置，行業(yè)領(lǐng)先的20,000 P算力將為合作伙伴提供強(qiáng)有力的基礎(chǔ)設(shè)施保障；同時(shí)，絕影將開(kāi)放性能全面的基礎(chǔ)大模型能力，提升車企的AI實(shí)力。

在共享大算力和大模型的基礎(chǔ)上，雙方能夠加速研發(fā)體系的對(duì)齊，共同建設(shè)以高效率世界模型和全流程數(shù)據(jù)閉環(huán)為核心的數(shù)據(jù)基礎(chǔ)設(shè)施。未來(lái)，數(shù)據(jù)的數(shù)量、質(zhì)量和利用率等都不再是問(wèn)題和阻礙，在智能汽車與云端平臺(tái)之間流動(dòng)的數(shù)據(jù)，將成為加速大模型上車的高效燃料。

在基礎(chǔ)設(shè)施、大模型能力和全棧數(shù)據(jù)閉環(huán)進(jìn)行深度合作之后，雙方才能進(jìn)一步挖掘出AGI在智能駕駛和智能座艙領(lǐng)域的潛力，共同創(chuàng)造全新的智慧出行體驗(yàn)。

###