隨著人工智能(AI)，尤其是生成式AI的引入，汽車(chē)行業(yè)正迎來(lái)變革性轉(zhuǎn)變。麥肯錫最近對(duì)汽車(chē)和制造業(yè)高管開(kāi)展的一項(xiàng)調(diào)查表明，超過(guò)40%的受訪(fǎng)者對(duì)生成式AI研發(fā)的投資額高達(dá)500萬(wàn)歐元，超過(guò)10%受訪(fǎng)者的投資額超過(guò)2，000萬(wàn)歐元。

隨著行業(yè)向軟件定義汽車(chē)(SDV)不斷發(fā)展，到2030年，汽車(chē)中的代碼行數(shù)預(yù)計(jì)將從每輛車(chē)1億行增加至約3億行。面向汽車(chē)的生成式AI與SDV相結(jié)合，可共同實(shí)現(xiàn)性能和舒適性方面的車(chē)載用例，以幫助提升駕乘體驗(yàn)。

本文將介紹一項(xiàng)由Arm與亞馬遜云科技(AWS)合作開(kāi)發(fā)的車(chē)載生成式AI用例及其實(shí)現(xiàn)詳情。

用例介紹

隨著汽車(chē)愈發(fā)精密，車(chē)主已經(jīng)能在交車(chē)后持續(xù)接收諸如停車(chē)輔助或車(chē)道保持等功能更新，伴隨而來(lái)的挑戰(zhàn)是，如何讓車(chē)主及時(shí)了解新增的更新和新功能？過(guò)往通過(guò)紙質(zhì)或在線(xiàn)手冊(cè)等傳統(tǒng)方法的更新方式已證明存在不足，導(dǎo)致車(chē)主無(wú)法充分了解汽車(chē)的潛能。

為了應(yīng)對(duì)這一挑戰(zhàn)，AWS將生成式AI、邊緣計(jì)算和物聯(lián)網(wǎng)(IoT)的強(qiáng)大功能相結(jié)合，開(kāi)發(fā)了一項(xiàng)車(chē)載生成式AI的演示。這項(xiàng)演示所展現(xiàn)的解決方案是由小語(yǔ)言模型(SLM)所支持的車(chē)載應(yīng)用，旨在使駕駛員能夠通過(guò)自然語(yǔ)音交互獲取比較新的車(chē)輛信息。該演示應(yīng)用能夠在部署后離線(xiàn)運(yùn)行，確保駕駛員在沒(méi)有互聯(lián)網(wǎng)連接的情況下，也能訪(fǎng)問(wèn)有關(guān)車(chē)輛的重要信息。

該解決方案集成了多項(xiàng)先進(jìn)技術(shù)，為用戶(hù)打造出更無(wú)縫、更有效的產(chǎn)品體驗(yàn)。這項(xiàng)演示的應(yīng)用部署在車(chē)內(nèi)本地的小語(yǔ)言模型，該模型利用經(jīng)Arm KleidiAI優(yōu)化的例程對(duì)性能進(jìn)行提升。未經(jīng)KleidiAI優(yōu)化的系統(tǒng)的響應(yīng)時(shí)間為8至19秒左右，相比之下，經(jīng)KleidiAI優(yōu)化的小語(yǔ)言模型的推理響應(yīng)時(shí)間為1至3秒。通過(guò)使用KleidiAI，應(yīng)用開(kāi)發(fā)時(shí)間縮短了6周，而且開(kāi)發(fā)者在開(kāi)發(fā)期間無(wú)需關(guān)注底層軟件的優(yōu)化。

Arm虛擬硬件(Arm Virtual Hardware)支持訪(fǎng)問(wèn)許多AWS上的熱門(mén)物聯(lián)網(wǎng)開(kāi)發(fā)套件。當(dāng)物理設(shè)備不可用，或者全球各地的團(tuán)隊(duì)無(wú)法訪(fǎng)問(wèn)物理設(shè)備時(shí)，在Arm虛擬硬件上進(jìn)行開(kāi)發(fā)和測(cè)試可節(jié)省嵌入式應(yīng)用的開(kāi)發(fā)時(shí)間。AWS在汽車(chē)虛擬平臺(tái)上成功測(cè)試了該演示應(yīng)用，在演示中，Arm虛擬硬件提供了樹(shù)莓派設(shè)備的虛擬實(shí)例。同樣的KleidiAI優(yōu)化也可用于Arm虛擬硬件。

這個(gè)在邊緣側(cè)設(shè)備上運(yùn)行的生成式AI應(yīng)用所具備的關(guān)鍵特性之一是，它能夠接收OTA無(wú)線(xiàn)更新，其中部分更新使用AWS IoT Greengrass Lite接收，從而確保始終向駕駛員提供比較新信息。AWS IoT Greengrass Lite在邊緣側(cè)設(shè)備上僅占用5 MB的RAM，因此具有很高的內(nèi)存效率。此外，該解決方案包含自動(dòng)質(zhì)量監(jiān)控和反饋循環(huán)，用于持續(xù)評(píng)估小語(yǔ)言模型響應(yīng)的相關(guān)性和準(zhǔn)確性。其中采用了一個(gè)比較系統(tǒng)，對(duì)超出預(yù)期質(zhì)量閾值的響應(yīng)進(jìn)行標(biāo)記，以進(jìn)行審核。然后，通過(guò)AWS上的儀表板，以近乎實(shí)時(shí)的速度對(duì)收集到的反饋數(shù)據(jù)進(jìn)行可視化，使整車(chē)廠(chǎng)的質(zhì)保團(tuán)隊(duì)能夠?qū)徍撕痛_定需要改進(jìn)的方面，并根據(jù)需要發(fā)起更新。

這個(gè)由生成式AI提供支持的解決方案，所具備的優(yōu)勢(shì)不僅僅在于為駕駛員提供準(zhǔn)確的信息。它還體現(xiàn)了SDV生命周期管理的范式轉(zhuǎn)變，實(shí)現(xiàn)了更持續(xù)的改進(jìn)周期，整車(chē)廠(chǎng)可以根據(jù)用戶(hù)交互來(lái)添加新內(nèi)容，而小語(yǔ)言模型可以使用通過(guò)無(wú)線(xiàn)網(wǎng)絡(luò)無(wú)縫部署的更新信息進(jìn)行微調(diào)。這樣一來(lái)，通過(guò)保證比較新的車(chē)輛信息，用戶(hù)體驗(yàn)得以提升，此外整車(chē)廠(chǎng)也有機(jī)會(huì)向用戶(hù)介紹和指導(dǎo)新特性或可購(gòu)買(mǎi)的附加功能。通過(guò)利用生成式AI、物聯(lián)網(wǎng)和邊緣計(jì)算的強(qiáng)大功能，這個(gè)生成式AI應(yīng)用可以起到汽車(chē)用戶(hù)向?qū)У淖饔茫渲姓故镜姆椒ㄓ兄谠赟DV時(shí)代實(shí)現(xiàn)更具連接性、信息化和適應(yīng)性的駕駛體驗(yàn)。

端到端的上層實(shí)現(xiàn)方案

下圖所示的解決方案架構(gòu)用于對(duì)模型進(jìn)行微調(diào)、在Arm虛擬硬件上測(cè)試模型，以及將小語(yǔ)言模型部署到邊緣側(cè)設(shè)備，并且其中包含反饋收集機(jī)制。

圖：基于生成式AI的汽車(chē)用戶(hù)向?qū)У慕鉀Q方案架構(gòu)圖

上圖中的編號(hào)對(duì)應(yīng)以下內(nèi)容：

1.模型微調(diào)：AWS演示應(yīng)用開(kāi)發(fā)團(tuán)隊(duì)選擇TinyLlama-1.1B-Chat-v1.0作為其基礎(chǔ)模型，該模型已針對(duì)會(huì)話(huà)任務(wù)進(jìn)行了預(yù)訓(xùn)練。為了優(yōu)化駕駛員的汽車(chē)用戶(hù)向?qū)Я奶旖缑?，團(tuán)隊(duì)設(shè)計(jì)了言簡(jiǎn)意賅、重點(diǎn)突出的回復(fù)，以便適應(yīng)駕駛員在行車(chē)時(shí)僅可騰出有限注意力的情況。團(tuán)隊(duì)創(chuàng)建了一個(gè)包含1，000組問(wèn)答的自定義數(shù)據(jù)集，并使用Amazon SageMaker Studio進(jìn)行了微調(diào)。

2.存儲(chǔ)：經(jīng)過(guò)調(diào)優(yōu)的小語(yǔ)言模型存儲(chǔ)在Amazon Simple Storage Service (Amazon S3)中。

3.初始部署：小語(yǔ)言模型最初部署到基于Ubuntu的Amazon EC2實(shí)例。

4.開(kāi)發(fā)和優(yōu)化：團(tuán)隊(duì)在EC2實(shí)例上開(kāi)發(fā)并測(cè)試了生成式AI應(yīng)用，使用llama.cpp進(jìn)行小語(yǔ)言模型量化，并應(yīng)用了Q4_0方案。KleidiAI優(yōu)化預(yù)先集成了llama.cpp。與此同時(shí)，模型還實(shí)現(xiàn)了大幅壓縮，將文件大小從3.8 GB減少至607 MB。

5.虛擬測(cè)試：將應(yīng)用和小語(yǔ)言模型傳輸?shù)紸rm虛擬硬件的虛擬樹(shù)莓派環(huán)境進(jìn)行初始測(cè)試。

6.虛擬驗(yàn)證：在虛擬樹(shù)莓派設(shè)備中進(jìn)行全面測(cè)試，以確保功能正常。

7.邊緣側(cè)部署：通過(guò)使用AWS IoT Greengrass Lite，將生成式AI應(yīng)用和小語(yǔ)言模型部署到物理樹(shù)莓派設(shè)備，并利用AWS IoT Core作業(yè)進(jìn)行部署管理。

8.部署編排：AWS IoT Core負(fù)責(zé)管理部署到邊緣側(cè)樹(shù)莓派設(shè)備的任務(wù)。

9.安裝過(guò)程：AWS IoT Greengrass Lite處理從Amazon S3下載的軟件包，并自動(dòng)完成安裝。

10.用戶(hù)界面：已部署的應(yīng)用在邊緣側(cè)樹(shù)莓派設(shè)備上為最終用戶(hù)提供基于語(yǔ)音的交互功能。

11.質(zhì)量監(jiān)控：生成式AI應(yīng)用實(shí)現(xiàn)對(duì)用戶(hù)交互的質(zhì)量監(jiān)控。數(shù)據(jù)通過(guò)AWS IoT Core收集，并通過(guò)Amazon Kinesis Data Streams和Amazon Data Firehose處理，然后存儲(chǔ)到Amazon S3。整車(chē)廠(chǎng)可通過(guò)Amazon QuickSight儀表板來(lái)監(jiān)控和分析數(shù)據(jù)，及時(shí)發(fā)現(xiàn)并解決任何小語(yǔ)言模型質(zhì)量問(wèn)題。

接下來(lái)將深入探討KleidiAI及該演示采用的量化方案。

Arm KleidiAI

Arm KleidiAI是專(zhuān)為AI框架開(kāi)發(fā)者設(shè)計(jì)的開(kāi)源庫(kù)。它為Arm CPU提供經(jīng)過(guò)優(yōu)化的性能關(guān)鍵例程。該開(kāi)源庫(kù)最初于2024年5月推出，現(xiàn)在可為各種數(shù)據(jù)類(lèi)型的矩陣乘法提供優(yōu)化，包括32位浮點(diǎn)、Bfloat16和4位定點(diǎn)等超低精度格式。這些優(yōu)化支持多項(xiàng)Arm CPU技術(shù)，比如用于8位計(jì)算的SDOT和i8mm，以及用于32位浮點(diǎn)運(yùn)算的MLA。

憑借四個(gè)Arm Cortex-A76核心，樹(shù)莓派5演示使用了KleidiAI的SDOT優(yōu)化，SDOT是最早為基于Arm CPU的AI工作負(fù)載設(shè)計(jì)的指令之一，它在2016年發(fā)布的Armv8.2-A中推出。

SDOT指令也顯示了Arm持續(xù)致力于提高CPU上的AI性能。繼SDOT之后，Arm針對(duì)CPU上運(yùn)行AI逐步推出了新指令，比如用于更有效8位矩陣乘法的i8mm和Bfloat16支持，以期提高32位浮點(diǎn)性能，同時(shí)減半內(nèi)存使用。

對(duì)于使用樹(shù)莓派5進(jìn)行的演示，通過(guò)按塊量化方案，利用整數(shù)4位量化（也稱(chēng)為llama.cpp中的Q4_0）來(lái)加速矩陣乘法，KleidiAI扮演關(guān)鍵作用。

llama.cpp中的Q4_0量化格式

llama.cpp中的Q4_0矩陣乘法包含以下組成部分：

·左側(cè)(LHS)矩陣，以32位浮點(diǎn)值的形式存儲(chǔ)激活內(nèi)容。

·右側(cè)(RHS)矩陣，包含4位定點(diǎn)格式的權(quán)重。在該格式中，量化尺度應(yīng)用于由32個(gè)連續(xù)整數(shù)4位值構(gòu)成的數(shù)據(jù)塊，并使用16位浮點(diǎn)值進(jìn)行編碼。

因此，當(dāng)提到4位整數(shù)矩陣乘法時(shí)，它特指用于權(quán)重的格式，如下圖所示：

在這個(gè)階段，LHS和RHS矩陣均不是8位格式，KleidiAI如何利用專(zhuān)為8位整數(shù)點(diǎn)積設(shè)計(jì)的SDOT指令？這兩個(gè)輸入矩陣都必須轉(zhuǎn)換為8位整數(shù)值。

對(duì)于LHS矩陣，在矩陣乘法例程之前，還需要一個(gè)額外的步驟：動(dòng)態(tài)量化為8位定點(diǎn)格式。該過(guò)程使用按塊量化方案將LHS矩陣動(dòng)態(tài)量化為8位，其中，量化尺度應(yīng)用于由32個(gè)連續(xù)8位整數(shù)值構(gòu)成的數(shù)據(jù)塊，并以16位浮點(diǎn)值的形式存儲(chǔ)，這與4位量化方法類(lèi)似。

動(dòng)態(tài)量化可比較大限度降低準(zhǔn)確性下降的風(fēng)險(xiǎn)，因?yàn)榱炕叨纫蜃邮窃谕评頃r(shí)根據(jù)每個(gè)數(shù)據(jù)塊中的最小值和比較大值計(jì)算得出的。與該方法形成對(duì)比的是，靜態(tài)量化的尺度因子是預(yù)先確定的，保持不變。

對(duì)于RHS矩陣，在矩陣乘法例程之前，無(wú)需額外步驟。事實(shí)上，4位量化充當(dāng)壓縮格式，而實(shí)際計(jì)算是以8位進(jìn)行的。因此，在將4位值傳遞給點(diǎn)積指令之前，首先將其轉(zhuǎn)換為8位。從4位轉(zhuǎn)換為8位的計(jì)算成本并不高，因?yàn)橹恍柽M(jìn)行簡(jiǎn)單的移位/掩碼運(yùn)算即可。

既然轉(zhuǎn)換效率如此高，為什么不直接使用8位，省去轉(zhuǎn)換的麻煩？

使用4位量化有兩個(gè)關(guān)鍵優(yōu)勢(shì)：

·縮小模型尺寸：由于4位值所需的內(nèi)存只有8位值的一半，因此這對(duì)可用RAM有限的平臺(tái)尤其有益。

·提升文本生成性能：文本生成過(guò)程依賴(lài)于一系列矩陣向量運(yùn)算，這些運(yùn)算通常受內(nèi)存限制。也就是說(shuō)，性能受限于內(nèi)存和處理器之間的數(shù)據(jù)傳輸速度，而不是處理器的計(jì)算能力。由于內(nèi)存帶寬是一個(gè)限制因素，縮小數(shù)據(jù)大小可比較大限度減少內(nèi)存流量，從而顯著提高性能。

如何結(jié)合使用KleidiAI與llama.cpp？

非常簡(jiǎn)單，KleidiAI已集成到llama.cpp中。因此，開(kāi)發(fā)者不需要額外的依賴(lài)項(xiàng)就能充分發(fā)揮Armv8.2及更新架構(gòu)版本的Arm CPU性能。

兩者的集成意味著，在移動(dòng)設(shè)備、嵌入式計(jì)算平臺(tái)和基于Arm架構(gòu)處理器的服務(wù)器上運(yùn)行l(wèi)lama.cpp的開(kāi)發(fā)者，現(xiàn)在可以體驗(yàn)到更好的性能。

除了llama.cpp，還有其他選擇嗎？

對(duì)于在Arm CPU上運(yùn)行大語(yǔ)言模型，雖然llama.cpp是一個(gè)很好的選擇，但開(kāi)發(fā)者也可以使用其他采用了KleidiAI優(yōu)化的高性能生成式AI框架。例如（按首字母順序排列）：ExecuTorch、MediaPipe、MNN和PyTorch。只需選擇比較新版本的框架即可。

因此，如果開(kāi)發(fā)者正考慮在Arm CPU上部署生成式AI模型，探索以上框架有助于實(shí)現(xiàn)性能和效率的優(yōu)化。

總結(jié)

SDV和生成式AI的融合，正在共同開(kāi)創(chuàng)一個(gè)新的汽車(chē)創(chuàng)新時(shí)代，使得未來(lái)的汽車(chē)變得更加智能化，更加以用戶(hù)為中心。文中介紹的車(chē)載生成式AI應(yīng)用演示由Arm KleidiAI進(jìn)行優(yōu)化并由AWS所提供的服務(wù)進(jìn)行支持，展示了新興技術(shù)如何幫助解決汽車(chē)行業(yè)的實(shí)際挑戰(zhàn)。該解決方案可實(shí)現(xiàn)1至3秒的響應(yīng)時(shí)間并將開(kāi)發(fā)時(shí)間縮短數(shù)周，證明更有效且離線(xiàn)可用的生成式AI應(yīng)用不僅能夠?qū)崿F(xiàn)，而且非常適合車(chē)載部署。

汽車(chē)技術(shù)的未來(lái)在于打造無(wú)縫融合邊緣計(jì)算、物聯(lián)網(wǎng)功能和AI的解決方案。隨著汽車(chē)不斷演變且軟件越來(lái)越復(fù)雜，潛在解決方案（比如本文介紹的解決方案）將成為彌合先進(jìn)汽車(chē)功能與用戶(hù)理解間差距的關(guān)鍵。

（推廣）