AI算力下沉至終端，提升邊緣計算需求
2023-07-25　 369次浏覽

一、AI算力將(jiāng)在邊端雲端公輛靈活分配

邊緣計算在萬物互聯場景中至關重要電科

邊緣計算是一種(zhǒng)分布式計算架構，將(jiāng)數據處理能(也睡néng)力和應用程序部署在更接近數據市店源的位置，以提高響應性，增強安全性和保護用戶隐私。 所謂邊緣，一般包括：設備邊醫朋緣和雲邊緣。設備邊緣：一般包括直接的終端設備以及一些異構加速卡、邊緣網關等設男東備。 雲邊緣：一般是在設備邊緣和中心雲之間，比如就(ji通志ù)近部署的邊緣雲節點/邊緣IDC。 萬物互聯場景中，雲端處理存在時術內(shí)延較長(cháng)、成(chéng)本較高能人、涉及數據隐私等問題，引入邊緣計算至關重要。

邊緣AI將(jiāng)與雲端跳錯AI相互補充

邊緣AI將(jiāng)AI能(n男綠éng)力引入到邊緣計算場景。 相較于雲端集中的AI資源池運算，邊緣站小AI具有實時(shí)響應、增加隐私性、持續改進書還(jìn)等優勢。 邊緣AI與雲端愛些集中的AI是相互補充、相互關聯的關系，而非替購林代關系。

087d-2e14532bdeecc6285ea4f31d49579c04.png


AI算力預計將(jiāng)靈活分配

我們認爲AI算力將(jiāng)綜合考慮硬件能(néng)力、裡南成(chéng)本等因素，在邊端和雲端靈活分配，簡單涵蓋： 邊端A笑影I小模型場景：本地跑一些語音識下風别、圖像識别等算法複雜度比較低、對(duì)算力要求比較小森相的AI模型，同時(shí)也可以通過(guò)API調有鐘用雲端AI算力/應用來實現更加豐富的AI功件工能(néng)。邊端AI大模型場景：直接在邊緣側運行A樂姐I大模型。這(zhè)類場景我們認爲可能(néng)會(huì)率先在手跳呢機、PC、智能(néng)駕駛、具身智能妹草(néng)、元宇宙、工業控制等自身具備一定算力基礎的場景落地。

二、大模型向(xiàng)邊緣端滲透些畫初見端倪

大模型在邊緣端滲透的條件：模型壓縮+算力提得師升

大模型向(xiàng)邊緣端滲透，需要算法、硬件協草道同優化，模型壓縮和邊緣側計算性能(néng)提升嗎離是兩(liǎng)大關鍵。 模型壓縮：比如劇白GPT-175B 模型約有 1750微報 億參數，以半精度（FP16）格式計算，至少占 320GB存儲空間。模型壓縮是車看大模型向(xiàng)邊緣滲透的其中一個重要條件。計算性能(néng)提升：包章路括算力、顯存、功耗等多方面(miàn)的硬件綜合能(néng)力。目前分聽在這(zhè)兩(liǎng)美件個方向(xiàng)上，我們都(dōu舞章)可以看到不錯的進(jìn)展預期，大模型在邊緣端滲透初見端店腦倪。

算力提升：包括算力、顯存、功耗等多維度

算力：Transformer模型更加依賴大算力的支撐。參考壁仞科技司飛數據，對(duì)于40個字的文本序列，進(jìn)行一次Ber得友t推理需要7Gflops，由中文在老翻譯到英文的Seq2Seq模型需要 20 Gflops。标準版那章BERT模型參數量是3.4 億個參數。 顯白風存：以一個100億參數模型，FP16精度理花爲例，參數量需要20GB内存（10B*2Bytes），梯度需要20GB内紅照存（10B*2Bytes），優化器狀态需要40GB内存（1錢去0B*2Bytes*2），總計需要80GB内存。 西線功耗：随著(zhe)算力的提升，帶來功耗提升明街，對(duì)于芯片的散熱要求將(jiāng)明顯提升，同時(shí木鄉)不同場景對(duì)于設備耗電量、待機時(shí)長(chá舞姐ng)等也都(dōu)有不同要求。

當前進(jìn)展：手機、PC端已經(jīng)出現邊緣大模型場景落地

手機：ChatGPT已推出IOS應不木用，安卓版後(hòu)續也會(huì)發(fā)布。高通在搭載第二線開代骁龍8移動平台的Android智能(néng)手機上年日部署Stable Diffusion（器店參數超10億個），在15秒内執行也舊20步推理，生成(chéng)一張512媽新x512像素的圖像。 PC：微軟和高通、英特爾在AI領域展開(kāi)合作森土，部署推出搭載AI引擎的PC産品。具身智能(néng)：英偉達刀好創始人黃仁勳表示AI下一個浪潮將(jiāng)是“具身智能吃到(néng)”，并且公布了多模态具身人工智能(néng)系統Nvidia VI店來MA。

三、産業鏈新增AI，強化算力與連接

邊緣計算市場快速增長(cháng街可)


STL Partners數據顯示，邊緣計說是算潛在市場將(jiāng)在10年内以48%的複合年增長(cháng)但筆率從2020年的90億美元增長(cháng)到2030年的4450億美中店元，其中邊緣基礎設施的增長(cháng)速度是最快的。 億歐智可開庫數據顯示，2021年我國(guó)邊緣計算市場規模已經(jīng)達到做銀427.9億元，其中邊緣硬件市場關很規模爲281.7億元，邊緣軟件與服務市場規模達146.2億元票照，2021-2025年中國(guó)邊緣計算産業規模預計年複合增速行土達到46.81%，2025年邊緣計算市場整體規模將(jiāng)達妹來1987.68億元。

邊緣計算産業鏈：新增AI，強化算力與連接

從産業鏈角度，邊緣AI核心在于引入邊緣側的A工上I能(néng)力，進(jìn)一步增強邊緣側的算力能(海白néng)力、連接能(néng)力。重點多站包括AI芯片、算力模組、邊緣網關/服務器/控制器等硬件他短、AI算法/邊緣計算平台等軟件環節。

AI芯片：專門用于處理AI大量計算任務的模塊

AI芯片是指專門用于處理人工智能(néng)應用中的大量計算任務的模塊，其他說玩非計算任務則更多仍由CPU負責。從技東呢術架構來看，Al 芯片主要分爲 GPU、FPGA、ASIC三大類少視。其中，GPU 是較爲成(ch學放éng)熟的通用型人工智能(néng)芯片，FPGA也章 和 ASIC 則分别是針對(d什生uì)人工智能(néng)需求老冷特征的半定制和全定制芯片。 典型AI運算通常需要CPU或者ARM内核來執西員行調度處理，大量的并行計算靠GPU子刀、FPGA或ASIC來完成(chéng)會物。

模組：标準化的模組形态可以有效滿足物聯網碎片化需求

無線模組是物聯網中的連接器件，無線模組電我將(jiāng)芯片、存儲器、功放器件等集成(chéng)在一塊線路闆上，實年如現無線電波收發(fā)、信道(dào)噪聲過(guò)濾及模拟信号水還與數字信号之間相互轉換，并提供标準接口的功能(néng)模塊，終端借助無線錢師模組可以實現通信或定位。 物聯網的碎片化需求，船民基于芯片的開(kāi)發(fā)國愛技術門檻高，客戶會(huì)選用标城兒準的模組，直接使用模組的标準硬件接口和嵌入她照式應用協議，不必關心底層邏輯，隻要信作做好(hǎo)應用側适配。

智能(néng)控制器：家電等場景實現智能(néng)化的女機“大腦”

智能(néng)控制器和邊緣節點算力同樣(yàng)直接相關。 麗看在智能(néng)家居、家電、工業控制等場景中，智能(nén到用g)控制器是其實現智能(néng)化的大腦。 AI帶動下遊智北就能(néng)化能(néng)力提升，智能(néng)場景的功能短技(néng)及其交互方式將(jiāng)更加豐富，店黑包括機器視覺、語音識别等AI算法將(j明放iāng)更多與應用場景結合，同時(shí)控制器中會用也將(jiāng)引入算力芯片等，對(duì)于公窗智能(néng)控制器的需求量和ASP也將(jiāng)會些店(huì)是直接正向(xiàng)的帶動。