何小鵬的AI帝國裡,沒有激光雷達
兩款新車,一場會議,小鵬的AI帝國逐漸成形。而在這個帝國裡,沒有激光雷達。
近日,小鵬汽車自主研發的圖靈芯片首次上車,搭載在小鵬中型SUV G7上。據何小鵬介紹,一顆圖靈芯片的有效算力,等同於三顆英偉達Orin X,整臺G7的有效算力超過2200Tops,是L3級自動駕駛的門檻。
另一款車是小鵬 Mona M03的頂配版。它於兩週前上市,相比標準版配備了兩顆Orin-X芯片,算力達508TOPS,小鵬稱其爲“L2級自動駕駛的門檻”。
藉着發佈會,何小鵬以及小鵬汽車多位高管集中開炮——小鵬將摘下激光雷達,因爲激光雷達“看不遠、干擾多、幀率低、穿透性差”。從今以後,小鵬將採取純視覺方案。
在全球計算機視覺頂會 CVPR 2025 上,小鵬世界基座模型負責人劉先明發表了題爲《通過大規模基礎模型實現自動駕駛的規模化》(Scaling up Autonomous Driving via Large Foudation Models)的演講,進一步解釋了小鵬成爲“純視覺堅定派”的背後邏輯。他指出,通過定製 AI 編譯器、協同設計模型架構等方法,小鵬的VLA和VLM大模型與圖靈芯片已實現耦合,世界基座模型即將迎來質變。
純視覺與激光雷達方案的恩怨由來已久。2013年,特斯拉曾和谷歌討論過是否使用激光雷達,當時一臺激光雷達的價格幾乎等於一輛特斯拉。後來馬斯克又總結出他的自動駕駛“第一性原理”:“人類開車時不會用眼睛發射激光,除非你是超人”,表示堅持純視覺一百年不動搖。但他可能忽視了激光雷達的成長性,12年後,激光雷達的成本下降了400倍,禾賽CEO李一帆在接受《21汽車·一見Auto》採訪時表示,他們已經將激光雷達的價格壓到200美元。
因此,這邊小鵬將純視覺的高階智駕能力下放到13萬元起的Mona Max,另一邊,激光雷達也下探到了這個價格區間:
3月7日,搭載激光雷達的廣汽豐田鉑智3X發佈,售價13.98萬元起;3月10日,搭載激光雷達的零跑B10發佈,售價12.98萬元起。3月份令全社會痛心的安徽小米SU7智駕事故後,更多品牌轉向激光雷達方案,如小米YU7全系標配激光雷達,理想汽車CEO李想在接受採訪時更稱“如果馬斯克來中國,特斯拉也會保留激光雷達”。
在這輪集體倒向激光雷達方案的趨勢中,何小鵬正在孤獨地挑戰“多一個激光雷達,就多一份安全冗餘”的慣性思維。他試圖重新定義輔助駕駛的標準:不是配置,“算力”纔是檢驗輔助駕駛的第一標準,智能駕駛好不好,先看算力多少,再看模型參數多少。
他還企圖搶佔智駕高地,展示小鵬領軍者的姿態:大算力+大模型時代,小鵬與特斯拉使用的視覺融合感知方案上限更高,時延更低,安全係數更高。
這兩種方案自誕生以來,一直被質疑,一直在成長。在智駕平權的下半場,L3量產的前夜,純視覺與激光雷達方案的競爭進入白熱化階段,終局將浮出水面,而衡量兩者優劣的標準只有一個:安全。不是哪種方案更前衛、更時髦、上限更高,而是誰能擁有更穩定的下限、能更大概率地防止事故的發生。
做純視覺的“孤勇者”
綜觀小鵬的純視覺方案,核心只有一個——“大腦”。
何小鵬表示,在一雙“更聰明的前視眼睛”和一個“更強大的大腦”之間,他們選擇了後者。所謂“大腦”,意指小鵬打造的擁有720億參數的多模態世界基座大模型。《21汽車·一見Auto》此前曾報道,小鵬驗證了模型參數規模擴大到百億級別之後,規模法則仍然可行。何小鵬向媒體表示:“物理世界的Scaling Law,我還遠未看到盡頭”。
如何打造一個“更強大的大腦”?除了在模型參數上做文章,小鵬的思路可以總結爲“大數據+重算力+輕雷達”。
“大數據”方面,這次 CVPR 2025 上,劉先明透露的第一個核心信息是,小鵬目前已經訓練了超過40萬小時的視頻數據——相當於AI看了3萬部《流浪地球》,視頻數據量將在今年增加到2億clips;
爲了訓練世界基座模型,小鵬汽車重構了底層的數據基礎設施,在CPU、GPU等方面做了聯合優化,主要集中在Dat (CPU) Optimization(數據加載)、Trainer (GPU) Optimization(計算訓練)、Fault Tolerance(容錯)三方面:
如果把訓練模型想象成做菜:
·優化數據加載就好比“備菜”——提前處理好複雜食材(Aggressive data materialization,激進數據物化策略)、優化食材分配(Optimized shuffling modes balancing speed and randomness,優化打亂模式,在速度與隨機性之間取得平衡)等;
·優化計算訓練就好比“炒菜”——精準調度不同火候(FP8 mixed precision training,FP8 混合精度訓練)、用定製的不同廚具(Custom Triton kernels,自定義Triton 內核)等;
·最後的優化容錯,就好比給炒菜上保險,隔一段時間就“存檔(Faster in-memory checkpointing,內存檢查點加速機制)”,萬一停電、鍋壞了,還能接着炒。
“重算力”方面,小鵬智能算力集羣正向兩萬卡水平前進,雲端集羣運行效率常年保持在90%以上。
劉先明在 CVPR 2025 透露的第二個核心信息是,小鵬GPU的流式多處理器的利用率(streaming multiprocessor utilization,即SM utilization)達到 85%,好比工廠有 100 個工人,有 85 個工人都在拼命幹活,只有 15 個暫時閒着 —— 這說明小鵬的GPU計算資源幾乎被榨乾了,訓練模型的速度會更快。
何小鵬強調,現在比較自動駕駛水平,看開城數量已經沒有意義了,算力纔是基礎,“我們把所有的自動輔助駕駛公司的算力‘天花板’都拉起來了。未來如果要買一臺智能汽車或者買一臺更高等級的AI汽車,首先問他有多大算力”。
最後的“輕雷達”則是最受人關注的,小鵬專門解釋了摘下激光雷達的理由:
第一,去掉激光雷達後,節約了20%的感知算力,模型反應更快。小鵬自動駕駛產品高級總監袁婷婷在5月8日於微博發文表示,“去激光雷達後使計算簡化,端到端的延時大幅降低,視覺的響應速度是激光雷達的近2倍.....視覺信息處理幀率達到業界主流激光雷達處理幀率的12 倍,大幅度提高城市輔助駕駛的安全級別”;
第二,小鵬汽車的AI鷹眼智駕方案中,攝像頭是前向+後向800萬像素,結合Lofic技術,是行業內車規級最高精的攝像頭,“感知距離提升125%,識別速度提升40%,看得比人類遠,在夜間、大逆光、雨雪天等看的比人眼更清楚”;
第三,何小鵬說,“想要做到全域(安全),環視的能力特別重要......(純視覺)能讓用戶獲得360度的安全,不光是夜晚安全,在城區、下雨、周邊有人有車也安全”。
自動駕駛工程師的 3 個質疑
一位在國有車企工作的汽車工程師告訴一見Auto,採取哪種技術路線都是主機廠基於自身的組織架構以及已有的技術積累作出的最優選擇。
感知層產品經理Hill在一家綜合型智能汽車Tier 1供應商工作,其公司曾連續幾年入選全球汽車零部件百強。Hill認爲,小鵬可能覺得加上現有的低成本激光雷達,作用不是特別大,對於它差異化營銷的價值也不大,所以乾脆選擇純視覺方案。因此摘掉激光雷達,更像是小鵬爲了運用他們規則時代的積累,沿襲整體的AI思路,在研發和宣傳上着重突出自身模型、算力、數據的先進性。
需要注意的是,小鵬摘掉激光雷達並不是出於成本考慮,因爲雙Orin-X芯片方案和自研圖靈AI芯片的價格顯然更加高昂,這更能說明小鵬選擇在兩款車型上作如此配置,是爲了與小鵬AI思路一脈相承。
何小鵬提到,“不要卷價格,要卷科技”,這纔是Mona M03 Max產品發佈的真實意圖。Mona系列的火爆,看似得益於小鵬的年輕化營銷,比如以青春爲主題的色調、邀請何廣智和王勉兩位脫口秀演員以及歐陽娜娜的壓軸出場。在外人看來,小鵬這半年之所以打了一場漂亮的翻身仗,是因爲以前只會堆參數,講技術的何小鵬,如今終於懂得抓供應鏈,打造產品。但小紅書上用戶所驚豔的歐陽娜娜的流利講解,內容的大頭依然是智能輔助駕駛。
而G7的發佈,就是小鵬徹徹底底地向同行放話:智能化依然是小鵬最重的標籤,極客仍然是何小鵬不變的底色。小鵬的野心是打造一個AI帝國,今年要在中國內地率先實現L3落地,明年人形機器人IRON要進入工業化量產,在未來,用戶將會爲小鵬不同的AI能力付費。
這一系列操作固然環環相扣、深謀遠慮,但一些專家對小鵬的純視覺方案提出了疑問。
比如,小鵬宣稱“去掉激光雷達能節約20%算力,讓模型反應更快”,但自動駕駛感知和控制系統工程師“雪嶺飛花”並不同意。“雪嶺飛花”在微信平臺運營同名公衆號,在輔助駕駛領域頗有影響力。他向一見Auto 表示,激光雷達在控制系統裡面佔多少算力,取決於系統在設計之初想如何利用激光雷達點雲數據,可能佔20%,或者80%、10%等等,每個系統都不一樣。
另外,有些硬件缺陷無法通過軟件來彌補,去掉激光雷達之後,爲了彌補視覺在感知層的弱項,可能需要視覺花費更多的額外算法。隨着端到端架構的深入,所有視覺、激光雷達、毫米波雷達等感知信息都會直接送到大模型做編碼,增加激光雷達帶來的額外感知算力將非常有限,也不會多花多少時間。佔用算力的主要是大模型,而不是激光雷達,不見得拿掉它後模型反應速度會更快。
還有,小鵬稱其AI鷹眼智駕方案是行業首個採取單個像素LOFIC架構,能比人看得更清、更遠等等。
深扒一下,該技術最早由榮耀手機提出,旨在解決傳統影像傳感器在高光場景下易過曝的問題,讓拍攝出的照片更加接近現實中的光影效果。“雪嶺飛花”告訴一見Auto,LOFIC技術工藝複雜、面積大、成本高,而且從榮耀Magic6至臻版的商用結果來看,並沒有展現出如官方宣傳般的動態範圍提升效果。當然,他也期待小鵬能成功應用。
最後,何小鵬認爲視覺能做到“環視、360度的安全”,“雪嶺飛花”覺得,是不是360°取決於傳感器的佈置,視覺和激光雷達,毫米波雷達都可以做到。
純視覺 VS 激光雷達:一直被質疑,一直在進步
小鵬的純視覺方案中,依然有毫米波雷達和超聲波雷達,相較之下“祖師爺”特斯拉纔是真正的“純視覺”:只用攝像頭,一顆雷達也沒有。作爲純視覺自動駕駛方案的“頭牌”,馬斯克從2015年開始就以幾乎“年更”的方式,公開唱衰激光雷達,並發表了不少暴論,如“雷達是一場徒勞的嘗試,任何用雷達的人都會完蛋”“就算雷達免費,我也不會用”等等。
馬斯克之所以夜以繼日地不斷反對激光雷達,來源於他對自身純視覺方案的自信。
作爲特斯拉車型上唯一的傳感器,攝像頭存在兩個固有缺陷:第一,沒有深度信息,所接受的只是一連串二維圖像;第二,易受夜晚、大雨、濃霧等極端天氣影響,獲取的圖像質量直線下降,可能導致識別錯誤或者漏檢。
爲了彌補這兩個缺陷,特斯拉一直優化攝像頭背後的算法和技術。2021年,特斯拉推出基於Transfomer的BEV(Bird‘s Eye View,鳥瞰視角)算法棧,讓視覺感知網絡獲得了測速、測距能力,能把車輛周圍攝像頭拍攝的2D畫面,拼接成一張完整的俯視地圖,讓車輛 “看到” 周圍 360 度的全景,獲得BEV感知。
隔年,特斯拉又公開發布Occupancy佔用網絡,把車輛周圍空間劃分成無數個小方格,像樂高積木一樣標記每個格子是否被物體佔據,讓汽車僅靠攝像頭就可獲取周圍環境的深度信息,實現高分辨率的三維感知與重建。
這兩項純視覺感知技術的進步,引發了社會對激光雷達存在價值的第一次質疑。
而對於攝像頭“抓瞎”的夜、雨、霧以及逆光眩光等極端場景,目前被採用較多的技術是HDR(High Dynamic Range Imaging,高動態範圍成像)和小鵬提到的LOFIC(Low-Frequency Image Correction,低頻圖像校正)。
HDR的技術原理,簡單來說就是讓攝像頭首先快速連拍 3-5 張照片,每張照片的曝光時間不同,一張拍亮處,一張拍中間亮度,一張拍暗處細節,再交給計算機將這幾張照片的像素“疊”在一起,合成一張亮暗均衡的圖片。而LOFIC技術,在夜晚首先會去除畫面中因高感光度產生的大量噪點;然後通過多層卷積神經網絡 “腦補” 路燈杆、垃圾桶等物體的輪廓,增強其紋理;最後矯正色彩,把車燈照亮的黃色區域還原爲真實色彩。
HDR與LOFIC的分工合作,就像“攝影師 + 調色師”:HDR選擇最佳曝光參數,平衡光線,解決極亮與極暗的矛盾;LOFIC調整對比度、銳度、色彩,優化畫質,在HDR的基礎上,讓畫面更清晰。
當然,在雨、霧、雪、塵等極端天氣,攝像頭或者激光雷達都不是主力,袁婷婷於5月16日在微博發表的文章中提到,這種天氣主要依靠的是毫米波雷達。根據波粒二象性,波長越短粒子屬性越強,衍射性越差,激光雷達在極端天氣下會在傳感器附近幾米內形成一團噪點,而毫米波雷達波長更長,衍射性好,雨霧特性好。
不過,以特斯拉和小鵬爲代表的純視覺派,似乎忽視了,激光雷達這十餘年從未停止過進步。
激光雷達起初最被詬病的是價格太高。在誕生之初,激光雷達最大的應用場景是地形測繪和工業,軟件算法生態不成熟,未能與汽車行業形成緊密配合。
那它是如何從起初的一枚高達數十萬至上百萬元,降到現在的200美元的?
李一帆在接受《21汽車·一見Auto》採訪時表示,爲了降本,禾賽在行業的早期就投入了極高的成本,建立了行業內最大的自研團隊,自研了最關鍵的器件,將它們壓縮成了幾顆芯片。Hill告訴一見Auto,目前行業內很多主機廠稱禾賽的激光雷達報價已經砍到了人民幣三位數。
激光雷達很便宜,小鵬汽車爲何還是放棄?何小鵬在接受媒體採訪迴應稱,小鵬選擇了“讓大腦更強”,但也有友商選擇不同道路。條條道路可能都能通羅馬,但我們覺得,“我們是一個最優解”。
激光雷達的另一個問題是存在“多徑效應”。袁婷婷在文章中指出,激光雷達在測量遠距離的複雜地形或障礙物時可能發生多次反射,導致回波信號混疊,使得原來的信號失真,或者產生錯誤,難以準確識別甚至誤識別真實目標。
Jade在一家激光雷達龍頭供應商擔任產品經理,其公司在全球車載激光雷達市佔率位居前列,是激光雷達的專項技術提供商。他告訴《21汽車·一見 Auto》,“這已經是兩年前的論調”,現在存在很多方法解決多徑效應:
比如,用大量包含多徑效應的激光雷達數據訓練神經網絡模型,學習多徑信號的特徵,記住多徑信號的常見模式——如反射次數多導致信號強度衰減、波形畸變等——將其標記爲可疑數據,輸出時過濾掉這些干擾。又比如,在激光雷達方案中還存在多種傳感器,可通過多源數據對比排除多徑干擾。
總的來看,正是這一路上面臨的需求與質疑,倒逼純視覺與激光雷達不斷改善自身,形成了這兩大派別。
“雪嶺飛花”認爲,視覺肯定是目前智能駕駛系統感知的絕對主力,激光雷達取代不了視覺。因爲攝像頭分辨率高,語義信息豐富,激光雷達無論怎麼改善也無法識別語義。即使在激光雷達多傳感器融合方案中,感知也是主要依賴視覺,激光雷達只是起到補充作用。
現在的問題是,激光雷達是否具備不可被視覺替代的核心優勢?
“雪嶺飛花”認爲,激光雷達的核心優勢在於測距精度高,可以直接檢測目標,暗光、眩光等情況下都可以正常工作。攝像頭接收的是被動光線,但激光雷達是通過主動發出激光,再接受反射後的激光,計算出車輛與障礙物的距離。即便軟件算法和硬件技術再怎麼提升,攝像頭的測距效果最多是相對於傳統攝像頭有提升,不可能100%解決。例如在完全無光的場景,攝像頭探測到的範圍一般很難超越車燈照射範圍以外,但激光雷達可探測的範圍卻達兩三百米甚至更遠。
除了黑暗以外,Jade補充,在一些具備視覺欺騙性的場景,激光雷達也有不可替代的物體識別優勢。2016年5月7日,一輛特斯拉Model S在美國佛羅里達州高速公路上以自動駕駛模式行駛時,徑直撞向前方一輛白色外觀的卡車,最後車毀人亡,業界普遍認爲,是由於被撞的白色貨車車身產生強烈反光,導致特斯拉攝像頭將其與天空混淆。前NASA工程師Mark Rober在今年3月15日在Youtube上發表了一則視頻《如何騙過一輛自動駕駛汽車》,視頻中他將一面與周圍環境融爲一體的塑料牆放在道路中央,測試自己的特斯拉車型是否能識別前方障礙物,最後該試驗沒有成功。
但無論車廂的白色是否與天空一體,或者牆的外觀是否與環境一致,都不會影響到激光雷達判斷前面存在障礙物。激光雷達雖然無法識別物體的顏色與紋理,但能通過點雲數據確實知道前方存在物體,從而觸發AEB,規避事故的發生。
最後,法雷奧集團中國首席技術官顧劍民表示,攝像頭可能只認識數據庫中出現過的物體,但對於未出現過、未學習過的異形障礙物,純視覺方案未必能識別,這也有可能導致事故的發生。
先拼下限,再談上限
探測範圍更遠、測距精度更高,和在具備視覺欺騙性、未學習過的異形障礙物等更多的corner case中依然保持對物體的識別——激光雷達的這三大核心功能,能否被純視覺替代?
在小鵬看來,他們的純視覺方案不僅可以,還更好。第一,小鵬的AI鷹眼智能方案能讓攝像頭不僅在各種條件下看得比激光雷達更遠,還更清晰;第二,“大算力可以大幅度提高AI能力的上限,也能夠大幅度提升AI能力的下限,特別是跟安全相關的下限”;最後,至於Corner case,如果基座模型足夠強大,“大腦”足夠聰明,就能被強化學習不斷激發出能力上限,提高模型的泛化性和對未知場景的理解和推理能力,找到最可能降低風險的路徑。何小鵬認爲,“在AI時代裡,AI會越來越泛化,越來越聰明,會通過接近無窮的長尾數據裡面超高度壓縮和摺疊,找到長尾數據的共性,這就叫涌現。”
而“雪嶺飛花”的觀點,相對來講溫和很多。在他看來,智駕系統最重要的需求是安全和性能,如果目前視覺技術已經可以解決一切感知問題,那就用純視覺。如果答案是否定的,肯定要考慮同時使用其他傳感器。沒有傳感器是絕對完美的,每種傳感器都有其優勢場景和弱勢場景,多傳感器融合能最大化的彌補各自劣勢,減少Corner Case,提升整體安全性。
顧劍民進一步指出,在當前的L2階段,上不上激光雷達,其實“無所謂”。因爲根據交通法規,L2級別的輔助駕駛場景中,駕駛員始終要注視前方、手握方向盤。此時是否有激光雷達並不重要,因爲倘若發生事故,負責任的是駕駛員自己。
但在L3甚至以上的階段,就完全不同了。車企可以不上激光雷達,但必須證明純視覺方案更加安全。純視覺方案摘掉了激光雷達,但帶激光雷達的多傳感器融合方案卻從未排除攝像頭,甚至現在爲了解決黑夜無光的問題,已經有供應商推出了紅外攝像頭。多種傳感器之間並非非此即彼的關係,尺有所短,寸有所長,並存是爲了儘可能增加系統的安全冗餘。
更重要的是,在L3及以上的自動駕駛階段,車企“做減法”可以,前提是發生事故需要由車企自身負責,否則與不負責任的“渣男”有何區別?
應該對小鵬和特斯拉保持尊敬。多一個選擇,永遠比少一個選擇更好。他們的純視覺方案企圖“一力破萬法”——砸算力、砸數據、不斷優化模型本身,這也許是上限更高的路徑。但也必須看到,這條路徑更燒錢、見效更慢、技術難度更大,同時表現還不穩定,需要不斷迭代。何小鵬表示,小鵬輔助駕駛系統在年底會有次大更新,“就像去年8月到今年5月的幾次OTA之間,差距非常大。我們的純視覺系統的變化,將會翻天覆地.......最遲到2027年,純視覺與激光雷達之爭就會結束。”
“雪嶺飛花”覺得,自動駕駛路線本身沒有所謂的“勝利”或者“失敗”,最終路徑的選擇都是安全、性能、成本的綜合考量,假如有一天不用激光雷達能夠證明有足夠的安全性,他一定支持。
顧劍民則認爲,說2027年會結束路線之爭缺乏依據,車企不能習慣“吹牛”——“馬斯克早在2016年就說,特斯拉車主馬上可以把他們的愛車當作robotaxi上街去運營,結果呢?”他認爲,最終還是要看純視覺系統和帶激光雷達的感知融合系統的實際對比結果。消費者不要只聽宣傳,要看“療效”。
不管模型算法如何更迭,傳感器是祛除還是出新,對於用戶來說,自動駕駛的答案永遠只有一個:哪種方案下限更高,更能避免事故的發生,那就是答案。
轉自:21世紀經濟報道