196TOPS車規級大算力，黑芝麻智能高性能自動駕駛芯片賦能智慧出行

自動駕駛發展到今天，已經進入了半商用或局部或部分商用階段，但是離真正的商用還有很多的路要“跑”，處理能力還需要更大的提升，才能處理復雜的路況，成為真正為人類服務的自動駕駛。

在2021年11月3日由AspenCore舉辦的全球CEO峰會上，黑芝麻智能創始人兼CEO單記章分享了《高性能自動駕駛芯片如何賦能智慧出行》。

自動駕駛成為未來人類社會的核心生產力

經過多年的發展，特別是人工智能技術在2012年左右的突破，讓智能駕駛加速發展，到今天，智能駕駛在一些封閉的場景得到了廣泛的應用，比如在廠區的自動叉車、自動駕駛車輛，已經得到了很多應用。同時，在物流領域，干線物流也開始有了非常多的應用。還有很多初創公司，在RoboTaxi上做了很多嘗試，取得了巨大進展。在真正的乘用車里，大家已經體驗到了智能駕駛帶來的好處，解決了大家的剛需問題。比如我們在路上，有一些緊急情況，可以處理一些事情，而不會產生一些交通事故，包括自動泊車，解決了大家很多的需求。當然還有非常長的路要走，芯片技術還需要增強功能，還有一些其他的技術（如車路協同）還需要進一步發展，相信有很多技術人員在做這些方面的努力來解決問題。

智能駕駛、自動駕駛真正解放了人的手、腳、大腦，可以去做一些別的事情的時候，車里面有非常多的應用亟待開發，比如顯示類技術、娛樂類技術以及各種各樣的應用。

以前在手機或者別的領域得不到應用的，在車里應該會得到非常好的發展，比如3D顯示技術，還有AR/VR的技術，這些領域不光是駕駛和出行（有所改變），同時對大家的生活也帶來非常大的變化。

未來的車不是傳統意義上的車，會變成智能終端，會改變人類的生活方式。在這些改變的過程中，在技術演進的過程中，技術本身也是從傳統的機械技術、燃料技術、生產制造的技術，演變到芯片的技術，演變到人工智能的技術，演變到新能源的技術。

汽車本身的電子電氣架構，也發生了非常大的變化，從過去的分散式，慢慢做集中化、域控架構，慢慢過渡到更集中的方式，比如中央控制，變到中央計算的架構。從現在開始，慢慢發展的過程中，到未來無人駕駛的時代，人工智能技術、車路云結合的人工智能技術，也會需要且得到高速的發展。

汽車芯片短缺凸顯芯片與處理需求

近期，很多人都關注到汽車缺芯，這是非常嚴重的問題。前幾個月在中國市場，因為缺芯片，減少了上百萬輛車的生產，引起了各個車廠的關注，以前車廠基本不會關注芯片本身，芯片都交給供應商處理。

但因為缺芯的原因，讓各個車廠非常關注芯片。我們知道，一輛車里可能有幾百到上千片的芯片，它的價值對汽車來講非常重要?，F在從普通汽車往智能駕駛汽車轉變的過程中，芯片會越來越重要。為什么？現在智能駕駛的芯片，我們理解的，一輛駕駛的車，實際就是一個智能機器人，它有非常多的傳感器，有的車可能有十幾個攝像頭、幾個毫米波雷達，也會有很多超聲波雷達、激光雷達、GPS傳感器。需要有一個中央處理器，來處理解決傳感器送過來的信號，而且這些信號需要協調一致地來處理，所以我們需要一個非常強大的大腦。

• 智能汽車大腦需要高性能芯片

這跟過去的車完全不一樣，以前的車都是一個個分散的ECU，他們的處理能力不需要那么強。現在的汽車，需要能力非常強的一個大腦。這個大腦，要承擔硬件的中樞作用，同時要承擔新的電子電氣架構本身改變過程中產生的新需求、新計算能力，同時承擔新的軟件計算能力。

智能汽車的大腦，是非常高性能的芯片。一般來講，以前汽車的芯片比較先進是28nm工藝的，大量的是40nm的，甚至更低制程的芯片。但現在在智能駕駛的時代，智能駕駛的芯片復雜度越來越高，制程技術從28nm演變到16nm，而且正在往7nm演進，它需要有非常強大的計算能力。這些計算能力，才能支撐起它作為新的電子電器架構的中樞神經能力。

• 為什么需要這些？

以前汽車ECU的功能，基本都是比較單一的，現在的智能駕駛時代，車上有非常多的傳感器，有十幾個攝像頭、超聲波雷達，也有不少毫米波雷達，甚至有激光雷達，還有一些做定位用的傳感器，甚至有車路協同，從路端傳過來的感知信息。

• 算力需求呈指數級增長

這么多信息綜合在一起，需要有協調的控制和處理，這需要計算能力非常強的中央處理器。

首先，處理這么多信息，我們可以認為是計算能力。2012年人工智能深度學習的突破，產生了CNN神經網絡的計算能力，我們很多時候都把這個能力作為性能的重要指標。低級別的自動駕駛（如L1、L2），需要神經網絡的計算能力達到10TOPS，但是到了L3、L4、L5級別的自動駕駛，他們計算能力的需求呈指數級增長。到了L4級別，可能需要500-1000TOPS的計算能力，到了L5可能需要更高，可能是超過幾千TOPS的計算能力。

這是神經網絡的計算能力。在這個芯片里，除了神經網絡的計算能力之外，對CPU的計算能力也有非常強的需求。比如L5級別，CPU的計算能力需要超過500k，還有更多的處理能力，比如圖像處理。過去智能駕駛用到的傳感器，可能是100萬像素、200萬像素，但今天我們已經看到了，很多智能駕駛的車輛，會用到800萬像素，甚至更高。我們看到，已經有公司用到1500萬像素，甚至更高。這么多的圖像傳感器在一起，對芯片的要求非常之高。自動駕駛和智能駕駛的車輛所用的傳感器，和傳統的手機或者別的應用用到的圖像傳感器，是不太一樣的，主要原因是車輛對環境的適應能力非常強，會碰到各種各樣的光線條件，我們有一個高動態圖像處理技術，需要模擬人眼（的能力），甚至超過人眼的能力。比如傍晚太陽橫著照過來的時候，這個芯片需要處理非常亮的（像太陽光直射的）亮度。在比較暗的隧道里，也需要處理比較暗的處理能力，這兩個是需要同時處理的，我們認為，“只有看得清楚，才能看得懂”，首先要把信號處理好，然后才能識別出來、理解清楚，才能給真正的駕駛、正確的決策判斷提供依據。

• 電子電器架構的演變需要更高性能的處理能力

這么多處理器，而且每個處理器的數據量越來越大，推動了電子電氣架構的發展。傳統的電子電氣架構，經過那么多年的發展，是非常合理的。

• 現在為什么發生了巨大變化？

主要原因是，這些傳感器需要協同，需要協調一致，需要有中央大腦來處理它。任何一個單一的傳感器或數據處理，不能完成這個任務。所以我們看到，電子電氣架構的演變，從完全的分散式，到域控制器的非域控制方式，再演變到未來中央計算的方式，是有底層技術原因的。

我們做了一個比喻，把各種傳感器的信息、數據比喻成汽車的血液，智能駕駛的芯片是大腦，高速流轉的信息推動了電子電器架構的發展。

黑芝麻智能高性能芯片核心技術

黑芝麻智能擁有全球最領先的核心技術，擁有芯片+汽車資深復合型團隊和自研核心技術等多項優勢；核心團隊均來自博世、OV、英偉達、安霸、微軟、高通、華為、中興等業內頂尖公司，平均擁有15+年的汽車+芯片行業經驗；黑芝麻智能用了3年的時間研發和打磨兩大核心IP技術：自研車規級圖像處理核心ISP——NeuralIQ ISP和自研車規級低功耗神經網絡加速器NPU——DynamAI NN引擎，核心技術100%為自研。自研的兩大核心IP以及完善的、符合汽車安全要求的功能安全體系和通過車規級認證的可量產芯片構成企業的核心技術壁壘。

黑芝麻智能專注在智能駕駛芯片的研發領域，定位二級供應商，和傳感器供應商、軟件供應商、一級供應商乃至車廠一起合作，提供一個完整的自動駕駛/智能駕駛的解決方案。

除了芯片之外，黑芝麻智能會把其他所有的東西做成參考硬件、參考軟件，交給車廠和一級供應商，一起做整體的解決方案。同時，也把同樣的芯片用在路端，做FAD Edge解決方案，目前已經在全國不少城市安裝測試了。

黑芝麻智能從一開始，就開發了幾個自動駕駛重要的核心IP，包括圖像處理IP、神經網絡計算IP以及華山系列處理器。

• 圖像處理核心IP

圖像處理，要解決的是高動態。另外，車有可能會開在沒有街燈的場景下，對于低照度的圖像或場景，需要能夠看清楚，包括在這種低照度下，噪聲會非常大，我們需要把這個噪聲去掉。車里的圖像處理需要很多傳感器，所以本身也需要非常巨大的處理能力。現在這個芯片的處理能力，可以達到每秒15億像素。

• 顏色處理

在自動駕駛里，有時候顏色的保持是非常重要的，我們列了幾種圖像。

上圖中，左邊是黑芝麻智能（BST）處理的，右邊是另外一家公司給出的圖像。可以看到，我們對所有的顏色都保持得非常好。左下圖是我們的處理結果，右下圖是市面上大量的處理結果，可以看到黑芝麻智能做得非常好，非常清晰。

• 夜景場景處理

曾有著名自動駕駛廠家車輛發生的事故就是在夜景場景下，車旁邊非常黑暗。車燈有一個特殊情況，到了一定距離，亮度急劇下降，超過這個距離，黑色物體可能看不見，事故就是因為這個原因產生的。

上圖中，右邊是我們處理的圖像，左邊是現在市場上大家用的結果，側面和正面的物體，可以看到我們都顯示得非常清楚；

• 神經網絡加速IP

黑芝麻智能的神經網絡加速IP，有3D加速單元，也有2D/1D/非線性加速單元，可以非常靈活地做一些現在或未來我們不知道的計算單元，這個IP會同時讓這幾個計算單元聯系在一起，做一個大規模的神經網絡計算。

黑芝麻智能還開發了非常完善的神經網絡開發工具，支持現在市場上主流的訓練架構。支持兩種模式，一是post，訓練出來的model直接就可以用工具轉化成可以運行的神經網絡。二是QAT，提升或減少精度的損失，用這種方式，基本不會產生精度的損失。

• 華山系列芯片

黑芝麻智能專注在車規級大算力芯片，現在主要推的是第二代的芯片，有面向L2及以下級別的駕駛芯片華山二號A1000L，也有面向L2/L3級別的華山二號A1000。

今年黑芝麻智能推出另外一個高性能芯片華山二號A1000 Pro，這是到目前為止中國性能最高的芯片，性能達到106-196TOPS。

華山二號A1000是現在國內真正能夠量產的性能最好的芯片，包括功耗、利用率都超過全球TOP的公司。黑芝麻智能即將發布華山二號A2000，性能將實現進一步迭代。 

華山二號A1000通過了非常嚴格的AEC-Q100的車規級認證，通過了功能安全的團隊、流程、產品的認證，在全球都是領先的。

除了開發工具，黑芝麻智能也提供SDK。例如會提供一些模塊和生產工具，比如自檢、上路的工具，完整的軟件系統，來為客戶方便使用神經網絡系統。

在軟件的基礎上，黑芝麻智能提供軟硬件的完整解決方案，同時打造一個開放的生態。黑芝麻智能現在與四十多家生態伙伴緊密合作，提供端到端的完整解決方案。與中國主流的Tier1合作得非常緊密，與主流車廠也有合作。包括車路協同，國內的一些城市已經在安裝基于華山二號芯片做FAD Edge解決方案。

開發工具鏈是否完善是體現黑芝麻芯片易用性的重要指標。配合華山系列自動駕駛芯片，黑芝麻智能還發布了山海人工智能開發平臺。它擁有50多種AI參考模型庫轉換用例，降低客戶的算法開發門檻；能夠實現QAT和訓練后量化的綜合優化，保障算法模型精度；支持動態異構多核任務分配，同時還支持客戶自定義算子開發，完善的工具鏈開發包及應用支持，能夠助力客戶快速移植模型和部署落地的一體化流程。同時在商業合作上，公司同樣擁有開放且龐大的自動駕駛朋友圈生態，與中國一汽、博世、上汽、東風悅享、中科創達、亞太、保隆、所托瑞安、紐勱科技、聯友等在L2/3級ADAS和自動駕駛感知系統解決方案上開展了一系列商業合作。

黑芝麻智能最近有幾筆耀眼的融資，黑芝麻智能創始人兼CEO單記章先生表示戰略輪及C輪融資后，黑芝麻智能通過構建堅實的資本、產業和技術壁壘，將持續吸引行業頂尖人才、引領技術創新、推動產品的大規模量產落地。最新的華山二號目前已經有定點和量產項目。