AI算力下沉至終端，提升邊緣計算需求
2023-07-25　 370次浏覽

一、AI算力將(jiāng)在唱工邊端雲端靈活分配

邊緣計算在萬物互聯場景中至關重要

邊緣計算是一種(zhǒng)分布式計算架構，將(j她制iāng)數據處理能(néng)力和應用程序部署在更接近數據議些源的位置，以提高響應性，增強安全性和保護用戶隐私。 所新你謂邊緣，一般包括：設備邊緣和雲金上邊緣。設備邊緣：一般包括直接的終端設備以及一些異構加速卡、邊員習緣網關等設備。 雲邊緣：一般是在設備邊緣和中月嗎心雲之間，比如就(jiù)近部署的邊緣雲節點/邊緣I女作DC。 萬物互聯場景中，雲端處理存在時(黑下shí)延較長(cháng)、成(chéng)本較高、涉及數據隐私等問對樂題，引入邊緣計算至關重要。

邊緣AI將(jiāng)與雲端A黑美I相互補充

邊緣AI將(jiāng)AI能(néng)力引入到邊緣計算場景。 相家冷較于雲端集中的AI資源池運算，邊緣AI具有實時(shí)響應、增加隐私性、朋南持續改進(jìn)等優勢。 邊緣數通AI與雲端集中的AI是相互補充、相互關聯的關系，而非替代關系。

087d-2e14532bdeecc6285ea4f31d49579c04.png


AI算力預計將(jiāng)靈活分配

我們認爲AI算力將(jiāng)綜合考慮硬件能(néng)力、成(視南chéng)本等因素，在邊端和雲端靈活分配，簡單涵蓋： 邊端AI小模型場景：舞林本地跑一些語音識别、圖像識别等算法複雜度比較低、對(duì從日)算力要求比較小的AI模型，同時(shí)也從煙可以通過(guò)API調用雲端AI算力裡飛/應用來實現更加豐富的AI功能(néng)。邊端AI大模型場景：直接體來在邊緣側運行AI大模型。這(zhè)類場景我們認爲可能用河(néng)會(huì)率先在手機、PC、智能(nén機空g)駕駛、具身智能(néng)、元宇宙、工業控制等自身具備一定算力基礎的場景民睡落地。

二、大模型向(xiàng)邊緣端滲透初見端倪

大模型在邊緣端滲透的條件：模型壓縮+算力提升

大模型向(xiàng)邊緣端滲透，需信用要算法、硬件協同優化，模型壓縮和邊緣側計算性能(néng)提升是兩(l報弟iǎng)大關鍵。 模型壓縮：比如GPT-17但視5B 模型約有 1750 億參數，以半精度（FP16男費）格式計算，至少占 320GB存儲空近動間。模型壓縮是大模型向(xiàng)邊緣滲透的其中一個重生水要條件。計算性能(néng)提升：包括算力、顯存、功耗等多方化光面(miàn)的硬件綜合能(néng)力。目前在這(zhè)兩(l關工iǎng)個方向(xiàng)上，我們都(dōu)可以看到不錯我匠的進(jìn)展預期，大模型在邊緣端滲透初見端倪。

算力提升：包括算力、顯存、功耗等多維度

算力：Transformer模型更加依賴大算力的支撐。參考壁仞科技西和數據，對(duì)于40個字的文本序列，進(j窗謝ìn)行一次Bert推理需要7Gflops，由中文翻譯到英文的Se志少q2Seq模型需要 20 Gflops。标準版BERT模型唱區參數量是3.4 億個參數。 顯存：以一個100億問長參數模型，FP16精度爲例，參數量需要20GB内存（10B*窗上2Bytes），梯度需要20GB還熱内存（10B*2Bytes），優化器暗線狀态需要40GB内存（10B*2Bytes*2），總計需要80GB内存。 花森功耗：随著(zhe)算力的提升，帶來功耗提升，對(數些duì)于芯片的散熱要求將(jiāng)明顯提升，同時(shí)不鄉呢同場景對(duì)于設備耗電量、待機時(shí)長(cháng)等也都(d看現ōu)有不同要求。

當前進(jìn)展：手機、PC端已經(jīng)出現邊校年緣大模型場景落地

手機：ChatGPT已推出IOS應用，安卓版後(hò爸河u)續也會(huì)發(fā)布。高通在搭載第二代骁龍8移動平台跳生的Android智能(néng)手機上部署Stable話厭 Diffusion（參數超10億個），在15秒内執行20步推理東科，生成(chéng)一張512x5離樂12像素的圖像。 PC：微軟和高通、英特妹頻爾在AI領域展開(kāi)合作，部署推出個樹搭載AI引擎的PC産品。具身智能(néng)：英偉達創始人黃仁勳校東表示AI下一個浪潮將(jiāng)是“具身智能(néng)”，并且唱南公布了多模态具身人工智能(néng)系統Nvidia VIM都的A。

三、産業鏈新增AI，強化算力與連接

邊緣計算市場快速增長(cháng)


STL Partners數據顯示，邊緣計算潛在市場將(jiān城要g)在10年内以48%的複合年增長(chá美藍ng)率從2020年的90億美元增長(chán村話g)到2030年的4450億美元，其中能低邊緣基礎設施的增長(cháng)速度是最快的。 億歐智庫數事水據顯示，2021年我國(guó白習)邊緣計算市場規模已經(jīng爸技)達到427.9億元，其中邊緣硬件市場規模爲281.7億元，邊緣軟件關高與服務市場規模達146.2億元，2021-2025年中國(guó)邊緣計車書算産業規模預計年複合增速達到46.81%，2025年邊緣計算市場整體規模將動懂(jiāng)達1987.68億元。

邊緣計算産業鏈：新增AI，強化算力與連接

從産業鏈角度，邊緣AI核心在于引入邊緣側的AI能(néng)力中能，進(jìn)一步增強邊緣側的算力能(néng)力、連接能(n票北éng)力。重點包括AI芯片、算力模組、邊緣網關/服務器/控制器等硬件、AI算讀東法/邊緣計算平台等軟件環節。

AI芯片：專門用于處理AI大量計算任務的模塊

AI芯片是指專門用于處理人工智能(néng)應用中的大量紅吧計算任務的模塊，其他非計算任務則更多樂煙仍由CPU負責。從技術架構來看，Al 芯片主要分爲 GPU、電姐FPGA、ASIC三大類。其中，GPU 是較爲成小刀(chéng)熟的通用型人工智能(néng)芯片，FPGA 和 ASIC學事 則分别是針對(duì)人工智能(néng)需求樂問特征的半定制和全定制芯片。 典型AI運算通常需要CP章都U或者ARM内核來執行調度處理，大量的并行計算靠GPU、FPGA或ASIC些相來完成(chéng)。

模組：标準化的模組形态可以有效滿足物聯網碎片化需求

無線模組是物聯網中的連接器件，無線模組將(jiāng)芯片、存儲樂作器、功放器件等集成(chéng)在一塊線鄉議路闆上，實現無線電波收發(fā)、信道(dào)噪聲過(guò)濾及模一舞拟信号與數字信号之間相互轉換，并道高提供标準接口的功能(néng)模塊，終端借助無線模組可以實現通信或很我定位。 物聯網的碎片化需求，基于芯片的開(kāi)發(fā)技術門檻高，客戶會看道(huì)選用标準的模組，直接使用模組的标準硬件接口一樂和嵌入式應用協議，不必關心底層邏輯，隻要做好(hǎo遠樂)應用側适配。

智能(néng)控制器：家電等場景實現智能(néng)化的森哥“大腦”

智能(néng)控制器和邊緣節點算力同樣(yàng)直接相關嗎工。 在智能(néng)家居、家電、工業控制等場景中，智能(話能néng)控制器是其實現智能(懂錢néng)化的大腦。 AI帶動下遊智能站雜(néng)化能(néng)力提升，智能(néng)場景的功能(n船聽éng)及其交互方式將(jiāng)更加豐富，包括機器哥拿視覺、語音識别等AI算法將(jiāng)更多與應用場景結合，同時(放東shí)控制器中也將(jiāng)引入算力芯體河片等，對(duì)于智能(néng)控制器的需求量體線和ASP也將(jiāng)會(huì)是直接正向(xi區飛àng)的帶動。









聯系我們

全國(guó)統一服務熱線：400808160舞志7
電話：13912903125 025-52292為民116
地址：南京市建邺區白龍江東街8号A3棟2層

AI邊緣計算：
數據安全管理：
切換器：
軍用産品：
關注漢榮公衆号