作者｜云鵬
編輯｜漠影

DeepSeek的火爆給全球AI產(chǎn)業(yè)發(fā)展帶來的核心價值之一，就是極大加快了AI應(yīng)用的普及，尤其在國內(nèi)市場，幾乎各類產(chǎn)品都在增加與AI能力的融合。

這意味著AI大語言模型將不再只是在天上飛（局限于云端），更是可以真正落地在我們身邊生活中的設(shè)備上，走向邊緣和端側(cè)，而IoT市場作為邊緣智能的代表性領(lǐng)域，成為這波邊緣AI的最大關(guān)注點之一。

今天，隨著AI技術(shù)的快速發(fā)展，IoT等邊緣AI領(lǐng)域也逐漸涉及更復(fù)雜的算法，且涌現(xiàn)出了更多的邊緣AI推理需求。這樣一來，應(yīng)用對計算性能以及算效比的需求越來越高，與此同時，數(shù)據(jù)安全問題也愈發(fā)凸顯。

從智慧城市、智慧工業(yè)、智能家居、智能穿戴到新零售，AI技術(shù)的廣泛應(yīng)用帶來了AI計算需求和安全性方面的新挑戰(zhàn)。面對這些新的需求，行業(yè)正呼喚新的解法。

就在昨天，Arm發(fā)布了全球首個專為物聯(lián)網(wǎng)優(yōu)化，以全新的Cortex-A320 CPU和Arm Ethos-U85 NPU為核心的Armv9邊緣AI計算平臺。它不是CPU和AI加速器的簡單堆疊，而是實現(xiàn)了CPU和NPU深度融合、相得益彰的解決方案。

這是Armv9架構(gòu)諸多優(yōu)勢特性首次在IoT市場落地，其在效率、性能和安全方面的升級直指當下邊緣AI新需求。與此同時，Arm還將軟件層的KleidiAI拓展到了IoT領(lǐng)域，使邊緣AI開發(fā)進一步簡化。

Cortex-A320如何解決以IoT為代表的邊緣AI領(lǐng)域行業(yè)需求痛點、Armv9帶來了哪些關(guān)鍵技術(shù)升級？軟件層面的新進展又如何加速IoT領(lǐng)域的技術(shù)創(chuàng)新、應(yīng)用落地？我們將嘗試找到答案。

一、邊緣AI風暴來襲，算力和安全成兩大IoT突出難題

近年來，隨著AI技術(shù)的發(fā)展和廣泛應(yīng)用、計算需求快速增長，越來越多AI工作負載從數(shù)據(jù)中心和云端轉(zhuǎn)向邊緣側(cè)進行處理，這給人們的生產(chǎn)和生活帶來了切實的益處，但同時也帶來計算性能瓶頸、安全挑戰(zhàn)等問題。

比如在工業(yè)質(zhì)檢領(lǐng)域，AI視覺質(zhì)檢系統(tǒng)每帶來1%的產(chǎn)線漏檢率降低，可能意味著千萬級的成本節(jié)約，但在復(fù)雜的工廠條件下實現(xiàn)這1% 的小目標，從技術(shù)上來講絕非易事；汽車行業(yè)，自動駕駛與駕駛員的生命安全息息相關(guān)，它的成功應(yīng)用需要激光雷達、攝像頭等傳感器的數(shù)據(jù)需要在100ms內(nèi)融合并被模型處理。

智慧醫(yī)療領(lǐng)域，邊緣AI系統(tǒng)通過實時分析監(jiān)護儀數(shù)據(jù)，預(yù)警相關(guān)病癥的早期癥狀，這一過程的高效與精準，高度依賴于底層芯片的性能表現(xiàn)，算力不足導致的預(yù)警延遲以及預(yù)測準確率下降，都會極大影響到病人的健康。

未來隨著AI高清視頻實時分析、AI工業(yè)設(shè)備故障檢測等復(fù)雜任務(wù)需求越來越多，邊緣AI計算能力的重要性愈發(fā)凸顯。IoT領(lǐng)域正呼喚從芯片架構(gòu)到算法層的全面革新，進而真正釋放AI帶來的革命性潛力。

在計算性能、效率之外，邊緣AI的發(fā)展同樣帶來了數(shù)據(jù)安全層面的風險。在邊緣計算中，隨著越來越多的邊緣AI設(shè)備接入網(wǎng)絡(luò)，數(shù)據(jù)在邊緣設(shè)備和云端或者其他邊緣設(shè)備之間傳輸，容易受到網(wǎng)絡(luò)攻擊。

因此面對邊緣AI迅猛發(fā)展，邊緣設(shè)備必須具備更強的推理能力、更安全的計算架構(gòu)。

從行業(yè)視角來看，傳統(tǒng)邊緣側(cè)設(shè)備所使用的芯片以無法滿足越來越多的實時AI處理、計算密集型推理任務(wù)。

在昨日的Arm新品發(fā)布會上，Arm物聯(lián)網(wǎng)事業(yè)部業(yè)務(wù)拓展副總裁馬健提到，在她近期與許多合作伙伴針對邊緣AI的交流中，大家一致的反饋是，AI將使他們重新定義產(chǎn)品設(shè)計——把具有Transformer這種加速功能的 AI 加速器加進去，或者采用能夠更好支持AI的CPU。

▲Arm物聯(lián)網(wǎng)事業(yè)部業(yè)務(wù)拓展副總裁馬健

IoT產(chǎn)業(yè)對于在邊緣側(cè)也能擁有更高性能的Cortex-A級別的計算能力以及升級至Armv9架構(gòu)的需求十分突出，Arm的邊緣AI平臺新品，可以說是直指痛點。

二、10倍AI計算性能，異構(gòu)計算擴展場景適應(yīng)力，支持Armv9 四大安全特性

基于這樣的行業(yè)背景，Arm此次推出了首款基于Armv9架構(gòu)、專為邊緣AI設(shè)計的 Cortex-A CPU——Cortex-A320，以及結(jié)合了Cortex-A320和Ethos-U85的邊緣AI計算平臺。

在AI計算性能和能效提升方面，Cortex-A320相比Cortex-A35最高有著10倍的AI計算性能提升，相比Cortex-A53也有6倍以上的提升，這對于增強邊緣設(shè)備的推理能力十分關(guān)鍵。

相較Cortex-A520，Cortex-A320的能效提升可以達到50%，在相同芯片面積下，Cortex-A320較Cortex-A53有著15%的性能提升，相較Cortex-A35有30%左右的性能提升。

這樣的性能和能效提升反應(yīng)在產(chǎn)業(yè)落地端，究竟能夠帶來怎樣的改變？

以一個貼近日常的例子來說，相較于Cortex-M系列，Cortex-A320在內(nèi)存尋址能力、整體性能以及安全防護上均實現(xiàn)了顯著提升，這使得它能夠游刃有余地支撐起多種人機交互場景，特別是對視頻流等視覺交互應(yīng)用有著出色的支持。

設(shè)想一下，在某個重要的展覽會上，你偶遇了一位熟人，卻一時想不起他的名字，這時，你的智能眼鏡就能即刻為你識別并提供對方的信息，甚至還能貼心地在你的視線中嵌入演講要點，助你實現(xiàn)“即興”發(fā)言。

隨著技術(shù)的不斷進步，智能眼鏡這類邊緣設(shè)備正逐步成為我們生活中的得力助手，讓我們得以釋放雙手，去專注于更多想要完成的事情。

Arm Cortex-A320帶來的不僅是技術(shù)參數(shù)的變化，在部分領(lǐng)域甚至可以帶來商業(yè)模式升級重構(gòu)。邊緣AI的算力躍遷，本質(zhì)是在重構(gòu)人、機器與物理世界的交互范式。

除了性能和能效的提升，異構(gòu)計算的特性支持也同樣重要。

這次Arm的Cortex-A320與Ethos-U85 NPU一起組成了CPU+NPU協(xié)同計算架構(gòu)，形成完整的異構(gòu)計算平臺。要知道，Ethos-U85是Arm Ethos-U產(chǎn)品線中的第三代NPU，也是迄今為止性能和能效最強的Ethos NPU，與上一代產(chǎn)品相比，其性能提升了4倍，能效提高了20%。

基于異構(gòu)計算能力，任何開發(fā)者們不希望在Ethos-U85上運行的AI操作，都可以回退到Cortex-A320上，利用其Neon/SVE2引擎更靈活有效地在CPU上執(zhí)行。

這樣一來，智能物聯(lián)網(wǎng)與消費類電子生態(tài)系統(tǒng)能夠在正確的時間、合適的地方運行最適合的工作負載。

CPU與NPU的深度融合之下，新的AI計算平臺可以覆蓋更多應(yīng)用場景，實現(xiàn)包括視覺和自然語言在內(nèi)的多模態(tài)的環(huán)境感知與理解，進而運行AI智能體、自主規(guī)劃、執(zhí)行復(fù)雜任務(wù)。

8倍的機器學習計算性能提升，令其可以賦能邊緣AI設(shè)備本地運行超過10億參數(shù)的大模型，讓基于大模型的生成式AI更好地在物聯(lián)網(wǎng)領(lǐng)域落地。

值得一提的是，在當下AI大模型需求較高的內(nèi)存訪問性能方面，Cortex-A320支持更大的可尋址內(nèi)存空間，能更靈活地管理多層次內(nèi)存訪問延遲。同時Cortex-A320還能運行功能更豐富的操作系統(tǒng)，讓設(shè)備管理更靈活。

最后在安全性方面，Armv9支持MTE（內(nèi)存標記擴展）、PAC（指針認證）、BTI（分支目標識別）以及S-EL2虛擬化，可以給邊緣設(shè)備提供端到端的安全防護。

整體來看，在硬件層面，Arm的Cortex-A320與Ethos-U85異構(gòu)計算平臺是實實在在地幫助企業(yè)解決了性能、能效和安全方面的邊緣AI新需求。Armv9架構(gòu)層面的諸多優(yōu)勢特性，開始給IoT領(lǐng)域企業(yè)帶來AI創(chuàng)新和應(yīng)用落地的加速。

據(jù)悉，這次Arm發(fā)布的邊緣AI計算平臺已經(jīng)獲得亞馬遜云科技、西門子、瑞薩電子、研華科技等廠商的支持。

三、Arm軟件大招落地IoT，邊緣AI規(guī)?；瘧?yīng)用提速

當然，Arm的完整解決方案不止于此。硬件是基礎(chǔ)，軟件是加速器，軟硬件組合拳才能更高效地解決邊緣AI痛點，此次Arm還同步將KleidiAI引入IoT領(lǐng)域，加速AI應(yīng)用在邊緣落地。

縱觀行業(yè)發(fā)展，完善的軟件生態(tài)可以降低開發(fā)者門檻，而軟件也一直是Arm計算平臺不可或缺的一部分。

正如前文所提到的，邊緣設(shè)備種類繁多，硬件性能和功能差異大，在這一場景中，出色軟件技術(shù)可以優(yōu)化算法和模型，使AI模型能在各種邊緣設(shè)備上高效運行。

對于邊緣設(shè)備有限的計算資源，軟件技術(shù)可通過模型壓縮、量化、優(yōu)化算法等手段，在保證AI性能的前提下，降低模型對計算資源的需求，進而提高計算效率。

KleidiAI是一套專為AI框架開發(fā)者設(shè)計的計算內(nèi)核，讓開發(fā)者可以無縫地在Arm CPU上獲取最佳性能，適用于各類設(shè)備。

從去年初次面向終端市場亮相、隨后擴展至基礎(chǔ)設(shè)施領(lǐng)域，KleidiAI如今進一步覆蓋IoT領(lǐng)域，給各個領(lǐng)域的開發(fā)者提供所需的性能、工具和軟件庫支持。

簡單來說，Arm Kleidi軟件庫最核心的作用就是幫助開發(fā)者讓AI應(yīng)用得到Arm CPU加速，因為目前全球大多數(shù)AI推理工作負載都在Arm CPU上運行。開發(fā)者不需要額外學習新工具和技能、無需復(fù)雜的集成工作，IoT應(yīng)用開發(fā)門檻和成本大幅降低。

在出色的軟件生態(tài)和豐富開發(fā)工具的支持下，Arm AI計算平臺的靈活性得到了極大釋放。

這次Arm的Cortex-A320兼容Linux、Zephyr、RTOS等多種操作系統(tǒng)，依托Arm Kleidi，可以適配Llama.cpp、ExecuTorch、MediaPipe等主流AI框架，實現(xiàn)70%性能提升，這對于AI應(yīng)用在邊緣落地是非常關(guān)鍵的。

馬健在發(fā)布會上特別提到，這一優(yōu)勢讓Cortex-A320在多個市場領(lǐng)域、應(yīng)用場景和操作系統(tǒng)之間都具有更好的靈活性，對于合作伙伴來說，選擇空間極大擴展，規(guī)劃產(chǎn)品路線時也可以更好地適配不同場景需求。

此次Arm Kleidi擴展至物聯(lián)網(wǎng)領(lǐng)域，進一步加強了Arm在IoT AI領(lǐng)域的技術(shù)優(yōu)勢，吸引更多開發(fā)者和企業(yè)基于Arm架構(gòu)開發(fā)IoT應(yīng)用，促進上下游產(chǎn)業(yè)的合作與創(chuàng)新。

展望未來，Arm的邊緣AI計算平臺必然將在IoT生態(tài)系統(tǒng)中扮演至關(guān)重要的角色，各個細分市場都將從Cortex-A320中受益，Arm無疑給IoT行業(yè)帶來了更多可能性，為IoT市場的產(chǎn)品和應(yīng)用創(chuàng)新打好了新的基礎(chǔ)。

結(jié)語：IoT邊緣AI提速，Arm軟硬兩手抓

近年來，Arm持續(xù)進行平臺化轉(zhuǎn)型，此次Arm發(fā)布首個面向IoT的Armv9處理器Cortex-A320、以及以Cortex-A320和Ethos-U85為核心的邊緣AI計算平臺，并擴展KleidiAI到物聯(lián)網(wǎng)領(lǐng)域，無疑是通過軟硬件協(xié)同，為邊緣AI的加速發(fā)展、應(yīng)用落地增添助力，也是Arm近年積極扮演賦能AI在各領(lǐng)域落地的有力展現(xiàn)。

放眼未來，AI計算正加速從云端走向邊緣，未來邊緣AI計算需求必然將持續(xù)增長，就像會中馬健說道的，“AI的未來在邊緣，而邊緣AI的未來屬于Arm。”我們拭目以待。