車東西 作者 ｜ Janson 編輯 ｜ 志豪 英偉達(dá)放出前沿技術(shù)研究，5大技術(shù)助力自動駕駛。 車東西1月23日消息，日前，NVIDIA（英偉達(dá)）正式發(fā)布了2025年《NVIDIA自動駕駛安全報告》，該報告概述了英偉達(dá)在自動駕駛汽車技術(shù)方面的貢獻(xiàn)，重點介紹了其在安全架構(gòu)、軟硬件協(xié)同設(shè)計、設(shè)計工具和方法論等領(lǐng)域的獨特成就。 此外，報告還討論了實現(xiàn)最高級別可靠性和安全性的最佳實踐。 今年CES 2025上，英偉達(dá)宣布將于上半年上市下一代車載計算平臺DRIVE Thor后，重點談到了英偉達(dá)的軟件平臺DriveOS，其將和Thor一同為自動駕駛發(fā)展提供協(xié)同支持。 不難看出，英偉達(dá)致力于全方位發(fā)展自動駕駛生態(tài)，推動多元化的技術(shù)進(jìn)步，構(gòu)建完整的生態(tài)系統(tǒng)，實現(xiàn)“無死角”的技術(shù)覆蓋。 尤其是在軟件層面，英偉達(dá)也一直在前沿技術(shù)發(fā)展上保持開放，其DRIVE Labs（NVIDIA自動駕駛實驗室）上常以較高頻率更新其在自動駕駛技術(shù)上的前沿進(jìn)展。 為此，車東西將深入探討英偉達(dá)最新發(fā)布的5項前沿研究，涵蓋從訓(xùn)練到感知、決策等各個方面，解讀英偉達(dá)在自動駕駛領(lǐng)域的最新進(jìn)展。 一、訓(xùn)練量成端到端技術(shù)根基 英偉達(dá)提出全新方案當(dāng)下，端到端自動駕駛成為主流，訓(xùn)練量成為了量產(chǎn)自動駕駛繞不開的話題。 特斯拉CEO馬斯克曾在財報會上提到，只有訓(xùn)練到1000萬個clips（視頻片段），系統(tǒng)才會有難以置信的表現(xiàn)提升。 目前國內(nèi)量產(chǎn)水平較高的車企如理想汽車，其最新的車位到車位OTA中所用的訓(xùn)練量也達(dá)到了800萬Clips。 不難看出，端到端自動駕駛的訓(xùn)練中，訓(xùn)練數(shù)據(jù)成為了必爭之地，而通過生成式AI產(chǎn)生更多訓(xùn)練數(shù)據(jù)以及通過算法提升數(shù)據(jù)通用性，在此基礎(chǔ)上通過自監(jiān)督學(xué)習(xí)的方式提升數(shù)據(jù)標(biāo)注效率，成為了目前提質(zhì)增效的主流辦法，為此，英偉達(dá)也提出了不少自己的前沿技術(shù)儲備。 1、NVIDIA Omniverse Cloud APIs助力開發(fā)者靈活運用數(shù)據(jù) 目前，量產(chǎn)企業(yè)如果全部使用真實數(shù)據(jù)進(jìn)行端到端自動駕駛的訓(xùn)練，會面臨極大的成本壓力和時間損耗，為此生成式AI技術(shù)在一定程度上緩解了訓(xùn)練的成本以及效率問題。 基于這樣的前提，英偉達(dá)推出的NVIDIA Omniverse Cloud APIs為開發(fā)者提供了在真實數(shù)據(jù)和生成數(shù)據(jù)之間靈活切換的能力。
NVIDIA Omniverse Cloud在自動駕駛中的運用 該工具創(chuàng)建了一個通用的AI系統(tǒng)開發(fā)環(huán)境，將仿真器、驗證與確認(rèn)（V&V）工具、內(nèi)容以及傳感器開發(fā)者整合成一個龐大的生態(tài)系統(tǒng)。這一平臺吸引了如CARLA、MathWorks、MITRE、Foretellix和Voxel51等眾多開發(fā)商和軟件供應(yīng)商。 通過降低高保真?zhèn)鞲衅鞣抡娴膫鹘y(tǒng)門檻，NVIDIA Omniverse Cloud API賦予了開發(fā)者無需大規(guī)模改造基礎(chǔ)設(shè)施即可解決復(fù)雜AI問題的能力。 在自動駕駛訓(xùn)練領(lǐng)域，通過合理利用生成數(shù)據(jù)，可以減少對真實數(shù)據(jù)的需求，從而降低數(shù)據(jù)采集成本，提高數(shù)據(jù)利用效率。 2、Dynamic View Synthesis提升訓(xùn)練片段數(shù)據(jù)通用性 在解決了有和無問題的基礎(chǔ)上，如果提升數(shù)據(jù)泛用性，便是提升訓(xùn)練量的另一個主要參考維度，對此，英偉達(dá)的Dynamic View Synthesis（動態(tài)視角合成）技術(shù)通過消除視角問題，顯著提升了數(shù)據(jù)的通用性。 在自動駕駛汽車的應(yīng)用中，神經(jīng)網(wǎng)絡(luò)對于不同視角的魯棒性至關(guān)重要，這樣才能在多種車輛上部署，而不需要為每種車輛進(jìn)行重復(fù)的數(shù)據(jù)收集和標(biāo)注。 雖然自動駕駛公司通常會從多樣化的場景和地點收集數(shù)據(jù)，但由于成本因素，往往忽視了相機(jī)設(shè)備的配置，導(dǎo)致大多數(shù)車隊中只有少量設(shè)備變體。
Synthesis合成示意圖 該技術(shù)還利用合成數(shù)據(jù)來分析視角變化的影響，從而減輕其他變量（如內(nèi)容、ISP 等）帶來的差異。經(jīng)過在真實數(shù)據(jù)上的訓(xùn)練和在合成數(shù)據(jù)上的評估，Dynamic View Synthesis 技術(shù)能夠有效地在多樣化的目標(biāo)設(shè)備上進(jìn)行評估，當(dāng)部署到新設(shè)備時，平均可恢復(fù)的交并比為14.7%，彌補(bǔ)了原本會因部署到新設(shè)備而丟失的數(shù)據(jù)。 與此同時，深度神經(jīng)網(wǎng)絡(luò)（DNN）可用于從單一圖像估計場景深度，展現(xiàn)出更高的靈活性。DNN特別適合處理動態(tài)場景和需要快速推理的任務(wù)，其并行處理能力和良好的泛化能力使其在Dynamic View Synthesis中更具優(yōu)勢。 這一技術(shù)的應(yīng)用，進(jìn)一步增強(qiáng)了自動駕駛感知模型的適應(yīng)性和通用性。 3、EmerNeRF的自監(jiān)督學(xué)習(xí)技術(shù)提升數(shù)據(jù)標(biāo)注效率 此外，數(shù)據(jù)標(biāo)注也是目前自動駕駛訓(xùn)練開發(fā)的瓶頸之一，英偉達(dá)通過EmerNeRF的自監(jiān)督學(xué)習(xí)技術(shù)提升了數(shù)據(jù)標(biāo)注的效率和可靠性。 EmerNeRF通過引入靜態(tài)場、動態(tài)場和運動流場（flow fields）三個神經(jīng)場來分解場景，從而實現(xiàn)對復(fù)雜場景的有效學(xué)習(xí)。
EmerNeRF分解和重建管線 靜態(tài)場負(fù)責(zé)標(biāo)注建筑物、標(biāo)志和路燈等靜止元素，動態(tài)場則表達(dá)所有移動物體，而流場則模擬動態(tài)物體的運動并用于時間上的動態(tài)特征聚合。 最重要的是，EmerNeRF能夠從原始數(shù)據(jù)中自動學(xué)習(xí)這些場景，而無需任何人工標(biāo)注。完成學(xué)習(xí)后，模型能夠同時呈現(xiàn)場景的時間和空間變化，進(jìn)而實現(xiàn)靜態(tài)場景和動態(tài)物體的高保真重建。 通過這樣的技術(shù)，可以幫助量產(chǎn)企業(yè)在端到端自動駕駛中進(jìn)一步提升訓(xùn)練量，獲得更多先機(jī)。 二、一段式端到端成主流 感知決策一體化成趨勢不過，在目前的自動駕駛技術(shù)競爭中，僅在訓(xùn)練上取得先機(jī)是不夠的，依然需要在感知決策層面獲得更高效的技術(shù)手段。 1、一段式端到端Hydra-MDP模型提升自規(guī)劃能力 對此，英偉達(dá)推出了一段式的Hydra-MDP模型，Hydra-MDP提供了一個通用框架，展示了如何通過增強(qiáng)機(jī)器學(xué)習(xí)提供規(guī)劃。 這種集成確保模型不僅能夠模仿人類駕駛行為，還能遵守交通規(guī)則和安全標(biāo)準(zhǔn)，從而克服了傳統(tǒng)模仿學(xué)習(xí)的局限性。
Hydra MDP架構(gòu) 在模型過擬合的優(yōu)化上，Hydra-MDP通過將最終軌跡的得分加權(quán)平均，確保即使某個學(xué)習(xí)目標(biāo)出現(xiàn)過擬合，最終的決策仍然會參考其他學(xué)習(xí)目標(biāo)，從而降低對特定指標(biāo)的過擬合風(fēng)險。 即系統(tǒng)一但出現(xiàn)存在明顯問題的決策，該模型仍可通過加權(quán)平均的方式評估決策可靠度，從而降低過擬合風(fēng)險。 Hydra-MDP的數(shù)據(jù)驅(qū)動縮放定律驗證了其穩(wěn)健性和適應(yīng)性，通過利用大量數(shù)據(jù)和GPU小時數(shù)的預(yù)訓(xùn)練基礎(chǔ)模型，展示了其可擴(kuò)展性和持續(xù)改進(jìn)的潛力。 在2024年CVPR的E2E駕駛挑戰(zhàn)賽中，英偉達(dá)Hydra-MDP模型獲得了第一名和創(chuàng)新獎，并在nuPlan基準(zhǔn)上表現(xiàn)優(yōu)于其他先進(jìn)的規(guī)劃者。 這為基于機(jī)器學(xué)習(xí)的規(guī)劃系統(tǒng)在自動駕駛領(lǐng)域的應(yīng)用提供了一個有前景的方向。 2、LLaDA+TOKEN+Wolf組合拳提升車端感知決策 在此基礎(chǔ)上，在車端的感知決策方面，英偉達(dá)也打出了新的組合拳。 英偉達(dá)通過結(jié)合LLaDA、TOKEN和Wolf三種工具，創(chuàng)建了一種針對汽車應(yīng)用場景進(jìn)行微調(diào)的大語言模型，以應(yīng)對自動駕駛領(lǐng)域中長期存在的挑戰(zhàn)，即適應(yīng)新環(huán)境、習(xí)俗和法律的駕駛行為。 LLaDA是一種強(qiáng)大的工具，能夠幫助人類駕駛員和自動駕駛車輛調(diào)整任務(wù)和運動計劃，以適應(yīng)新地點的交通規(guī)則。它利用大型語言模型（LLMs）在解釋地方駕駛手冊中的交通規(guī)則時展現(xiàn)出的zero-shot泛化能力，使得在各種環(huán)境下的駕駛變得更加靈活和安全。
LLaDA概念示意圖 從結(jié)果上來看，LLaDA的指令被證明在處理實際情況中的意外事件時是有效的，并在真實數(shù)據(jù)集中優(yōu)于傳統(tǒng)的基線規(guī)劃方法。 Wolf則是一個用于視頻字幕生成的框架，采用專家混合（Mixture of Experts）的方法，結(jié)合視覺語言模型（VLMs）的優(yōu)勢。 該框架能夠同時處理圖像和視頻信息，從而高效捕捉和總結(jié)不同層次的數(shù)據(jù)。Wolf不僅增強(qiáng)了視頻理解和自動標(biāo)記能力，還通過引入CapScore這一基于LLM的評估指標(biāo)，確保生成字幕的質(zhì)量和相似性。 TOKEN作為一種全新的多模態(tài)大型語言模型，針對傳統(tǒng)端到端駕駛模型在處理稀有或未見輸入時的局限性，提供了創(chuàng)新的解決方案。 它將世界標(biāo)記化為對象級知識，優(yōu)化了數(shù)據(jù)的利用效率，并通過生成濃縮和語義豐富的場景表示，提升了自動駕駛車輛在長尾場景中的規(guī)劃能力。 定量評估中TOKEN的表現(xiàn)優(yōu)于基線VLM 研究表明，TOKEN在基礎(chǔ)、推理和規(guī)劃能力方面表現(xiàn)優(yōu)越，顯著降低了軌跡誤差和碰撞率。 總的來看，英偉達(dá)通過LLaDA、TOKEN和Wolf的結(jié)合，構(gòu)建了一個強(qiáng)大的大語言模型，能夠有效應(yīng)對自動駕駛中的各種挑戰(zhàn)。 但需要指出的是，上述應(yīng)用主要還是部署在車端，對算力開銷較大，目前來看，集成了Blackwell生成式AI引擎的Thor計算平臺，可以很好地應(yīng)對，而這也是英偉達(dá)將要在今年發(fā)力的重點之一。 三、英偉達(dá)致力自動駕駛安全發(fā)展 定義安全自動駕駛四大支柱英偉達(dá)在具備領(lǐng)先的前沿技術(shù)研究能力之外，在量產(chǎn)技術(shù)上也已經(jīng)獲得了不錯的成果。 其最新的DriveOS是首個獲得ASIL-D認(rèn)證的軟件定義可編程AI系統(tǒng)，ASIL-D作為汽車功能安全領(lǐng)域的最高標(biāo)準(zhǔn)，也會為車規(guī)級的SDK進(jìn)一步提升安全性可靠性。 在軟件之外，為了實現(xiàn)安全的自動駕駛，英偉達(dá)提出了AI設(shè)計與實施平臺、支持深度學(xué)習(xí)的開發(fā)基礎(chǔ)設(shè)施、用于自動駕駛開發(fā)的物理精準(zhǔn)傳感器仿真、卓越普適安全性和網(wǎng)絡(luò)安全計劃四大支柱。
英偉達(dá)新技術(shù)實車測試 這些系統(tǒng)相互配合構(gòu)成了其統(tǒng)一的硬件與軟件架構(gòu)，貫穿自動駕駛汽車的研究、設(shè)計和部署基礎(chǔ)設(shè)施的整個過程。 英偉達(dá)創(chuàng)始人兼首席執(zhí)行官黃仁勛曾在《NVIDIA自動駕駛安全報告》中明確指出：“安全性是自動駕駛汽車的首要考量。NVIDIA致力于構(gòu)建安全的自動駕駛平臺，這是我們最引以為傲的事業(yè)之一，并為汽車制造商將自動駕駛汽車推向市場提供至關(guān)重要的支持?！?br> 不難看出，英偉達(dá)在自動駕駛安全上也有自己獨特的考究。 結(jié)語：英偉達(dá)黑科技正在改變自動駕駛英偉達(dá)目前已實現(xiàn)從訓(xùn)練到感知決策，再到硬件的自動駕駛解決方案閉環(huán)。 作為目前自動駕駛領(lǐng)域的頭部選手，英偉達(dá)強(qiáng)大的技術(shù)儲備也使其在目前端到端自動駕駛的競賽中處于領(lǐng)先地位。 隨著這一技術(shù)的不斷發(fā)展，英偉達(dá)憑借更強(qiáng)的算力、豐富的落地經(jīng)驗以及先進(jìn)的技術(shù)平臺，正在逐步與其他競爭對手拉開差距。 未來，英偉達(dá)有望在自動駕駛技術(shù)的持續(xù)創(chuàng)新和應(yīng)用中發(fā)揮更為重要的作用。 |
了解東遠(yuǎn)
東遠(yuǎn)簡介 產(chǎn)品中心 技術(shù)方案 科研中心 聯(lián)系我們活動及狀態(tài)
最新消息 新品推薦 招標(biāo)中心 線上直銷 ChatGPT常見問題
購買渠道 項目合作 開票資料 支付方式 法律聲明關(guān)注我們：東遠(yuǎn)物聯(lián)
抖音
微信咨詢
咨詢電話：
199-2833-9866D-Think | 廣州東遠(yuǎn)智能科技有限公司
地址：廣州市白云區(qū)北太路1633號廣州民營科技園科創(chuàng)中心2棟16樓
電話：+86 020-87227952 Email：[email protected]
Copyright ©2020 東遠(yuǎn)科技 粵ICP備2024254589號
免責(zé)申明：部分圖文表述來自于網(wǎng)絡(luò)，如有侵權(quán)請聯(lián)系作者刪除！
19款電子扎帶
電路板識別電子標(biāo)簽