要點:

1. 南加州大學(xué)和Google Research提出了通道式輕量級重編碼（Channel-wise Lightweight Reprogramming）方法，用于解決持續(xù)學(xué)習(xí)問題，通過在固定任務(wù)不變的模型背骨干中添加輕量級可訓(xùn)練模塊，對每層通道的特征圖進行重編程，以適應(yīng)新任務(wù)，僅占0.6%的額外參數(shù)。

2. 通道式輕量級重編碼方法采用動態(tài)網(wǎng)絡(luò)方式，可以持續(xù)學(xué)習(xí)多個新任務(wù)而不會出現(xiàn)災(zāi)難性遺忘，使模型在不同任務(wù)之間靈活轉(zhuǎn)換。

3. 這項研究的動機是持續(xù)學(xué)習(xí)中的遺忘問題，提出了一種更輕量級但更強大的重編程方法，通過通道線性映射和卷積核的重編碼，使模型能夠適應(yīng)多個新任務(wù)，實現(xiàn)更好的性能。

站長之家（ChinaZ.com）10月13日 消息:在持續(xù)學(xué)習(xí)領(lǐng)域，南加州大學(xué)和Google Research提出了一項創(chuàng)新的方法，通道式輕量級重編碼（Channel-wise Lightweight Reprogramming，CLR），旨在解決模型在持續(xù)學(xué)習(xí)新任務(wù)時出現(xiàn)的災(zāi)難性遺忘問題。持續(xù)學(xué)習(xí)的關(guān)鍵挑戰(zhàn)是如何在學(xué)習(xí)新任務(wù)后仍然保持對舊任務(wù)的性能，而CLR方法提供了一種有前景的解決方案。

與傳統(tǒng)的多任務(wù)學(xué)習(xí)不同，持續(xù)學(xué)習(xí)是在一個接一個的任務(wù)中進行學(xué)習(xí)，模型需要逐個適應(yīng)新的任務(wù)，同時盡量避免遺忘之前學(xué)到的知識。

• 論文地址: https://arxiv.org/pdf/2307.11386.pdf

• 項目地址: https://github.com/gyhandy/Channel-wise-Lightweight-Reprogramming

• 數(shù)據(jù)集地址: https://ilab.usc.edu/andy/skill102

CLR的創(chuàng)新之處在于它通過在模型的固定骨干（backbone）中引入可訓(xùn)練的輕量級模塊，對每一層的通道特征圖進行重編程，使其適用于新任務(wù)。這些輕量級模塊僅占整個模型的0.6%額外參數(shù)，但為每個新任務(wù)提供了定制的特征。這意味著模型可以連續(xù)學(xué)習(xí)無數(shù)個新任務(wù)，而不會受到災(zāi)難性遺忘的困擾。

CLR方法采用了動態(tài)網(wǎng)絡(luò)的方式，通過通道線性映射對卷積核產(chǎn)生的特征圖進行重編程，實現(xiàn)了多個新任務(wù)之間的平滑切換。該方法的靈活性使其在持續(xù)學(xué)習(xí)中表現(xiàn)出色，即使面對眾多新任務(wù)，每個輕量級模塊所需的訓(xùn)練參數(shù)仍然非常有限，這使得模型的規(guī)模保持相對較小。

CLR方法通過引入輕量級重編程參數(shù)，使模型能夠以更輕量級但更強大的方式適應(yīng)不同的新任務(wù)。它解決了持續(xù)學(xué)習(xí)中的遺忘問題，為模型提供了更好的性能和靈活性。

通道式輕量級重編碼（CLR）方法為持續(xù)學(xué)習(xí)領(lǐng)域帶來了新的機會，使模型能夠在不斷學(xué)習(xí)新任務(wù)的同時，有效地保持對舊任務(wù)的性能，為多任務(wù)學(xué)習(xí)領(lǐng)域帶來了新的突破。這一創(chuàng)新方法有望為未來的持續(xù)學(xué)習(xí)研究和應(yīng)用提供更多的可能性。

（舉報）