劃重點(diǎn):

- ?? LoRAShear:一種高效的LLMs結(jié)構(gòu)化剪枝與知識(shí)恢復(fù)方法。

- ?? LLMs:快速處理文本數(shù)據(jù)，助力搜索引擎和問答系統(tǒng)。

- ?? 知識(shí)更新:微軟研究人員提出結(jié)構(gòu)剪枝方法，提高知識(shí)保存率。

站長之家（ChinaZ.com）11月7日 消息:微軟的研究人員近日推出了一項(xiàng)名為LoRAShear的創(chuàng)新技術(shù)，旨在剪枝大型語言模型（LLMs）并實(shí)現(xiàn)知識(shí)的高效恢復(fù)。LLMs在處理文本數(shù)據(jù)和迅速檢索相關(guān)信息方面表現(xiàn)出色，廣泛應(yīng)用于搜索引擎和問答系統(tǒng)。這項(xiàng)技術(shù)的問世將有望幫助用戶更輕松地找到所需信息，極大地促進(jìn)了人工智能的發(fā)展。

在LLMs的日常維護(hù)工作中，知識(shí)的更新和恢復(fù)是至關(guān)重要的任務(wù)之一。目前，一種常見的知識(shí)更新方法是通過精細(xì)調(diào)整（fine-tuning）。開發(fā)人員可以取得一個(gè)預(yù)訓(xùn)練的模型，然后在特定數(shù)據(jù)集上進(jìn)行精細(xì)調(diào)整，從而更新其知識(shí)。這使得模型能夠了解最新事件或特定領(lǐng)域的信息，為研究人員和專業(yè)人士提供了有力的工具。

微軟的研究人員在這一領(lǐng)域取得了新的突破，他們開發(fā)了LoRAShear技術(shù)，這是一種高效的LLMs剪枝與知識(shí)恢復(fù)方法。所謂的“剪枝”是指通過移除或減少神經(jīng)網(wǎng)絡(luò)架構(gòu)中的某些組件或元素，從而使其更加高效、緊湊和計(jì)算要求更低。

LoRAShear采用了Lora Half-Space Projected Gradient（LHSPG）方法，實(shí)現(xiàn)了漸進(jìn)式結(jié)構(gòu)剪枝，實(shí)現(xiàn)知識(shí)的高效傳遞，同時(shí)引入了動(dòng)態(tài)知識(shí)恢復(fù)階段，使其在預(yù)訓(xùn)練和指導(dǎo)性微調(diào)的方式下執(zhí)行多階段的精細(xì)調(diào)整。

研究人員表示，LoRAShear技術(shù)可以應(yīng)用于通用的LLMs，通過分析LLMs與LoRA模塊的依賴圖，實(shí)現(xiàn)結(jié)構(gòu)剪枝和知識(shí)恢復(fù)。他們提出了一種獨(dú)特的算法，用于創(chuàng)建原始LLMs和LoRA模塊的依賴圖，還引入了一種結(jié)構(gòu)稀疏優(yōu)化算法，利用LoRA模塊的信息來更新權(quán)重，從而提高了知識(shí)的保存率。

LoRAPrune技術(shù)將LoRA與迭代結(jié)構(gòu)剪枝相結(jié)合，實(shí)現(xiàn)了高效的參數(shù)微調(diào)和直接硬件加速。他們表示，這種方法在內(nèi)存使用效率上非常高，僅依賴于LoRA的權(quán)重和梯度來進(jìn)行剪枝標(biāo)準(zhǔn)。

研究人員通過在開源LLAMAv1上實(shí)施LoRAShear技術(shù)來證明其有效性，他們發(fā)現(xiàn)，20%的LLAMAv1剪枝后，性能下降了1%，而50%的剪枝模型在評(píng)估基準(zhǔn)上保持了82%的性能。

盡管LoRAShear技術(shù)在LLMs的知識(shí)恢復(fù)方面取得了顯著的進(jìn)展，但仍然面臨著大規(guī)模計(jì)算資源的需求和缺乏預(yù)訓(xùn)練和指導(dǎo)性微調(diào)數(shù)據(jù)集的挑戰(zhàn)。未來的工作將集中在解決這些挑戰(zhàn)，為人工智能領(lǐng)域的發(fā)展提供更多的支持。

論文網(wǎng)址:https://arxiv.org/abs/2310.18356

（舉報(bào)）