站長(zhǎng)之家(ChinaZ.com) 11 月 2 日消息:為了解決大型語(yǔ)言模型運(yùn)行所需的 GPU 資源短缺問(wèn)題，亞馬遜 AWS 今日推出了 Amazon Elastic Compute Cloud (EC2) Capacity Blocks for ML 服務(wù)。該服務(wù)允許客戶按照定義的時(shí)間購(gòu)買 Nvidia H100 Tensor Core GPU 資源，用于執(zhí)行特定的 AI 相關(guān)任務(wù)，如訓(xùn)練機(jī)器學(xué)習(xí)模型或運(yùn)行現(xiàn)有模型的實(shí)驗(yàn)。

AWS 的 Channy Yun 在博客中寫道：「這是一種創(chuàng)新的 GPU 實(shí)例調(diào)度方式，您可以預(yù)訂未來(lái)日期所需的實(shí)例數(shù)量，僅按您需要的時(shí)間長(zhǎng)度計(jì)費(fèi)?！?/p>

客戶可以按集群大小購(gòu)買 1 至 64 個(gè)實(shí)例，每個(gè)實(shí)例含 8 個(gè) GPU，并可預(yù)訂最長(zhǎng) 14 天的使用時(shí)間，最多可提前 8 周預(yù)訂。預(yù)定時(shí)間結(jié)束后，實(shí)例將自動(dòng)關(guān)閉。

這種新的購(gòu)買方式讓客戶能夠像預(yù)訂酒店房間一樣，預(yù)定一段時(shí)間內(nèi)所需的實(shí)例數(shù)量。這種方式為客戶提供了成本確定性，他們將清楚地知道任務(wù)的運(yùn)行時(shí)長(zhǎng)、需要使用的 GPU 數(shù)量以及前期的費(fèi)用。

對(duì)于亞馬遜來(lái)說(shuō)，它們可以在類似拍賣的環(huán)境中投放這些炙手可熱的資源，確保收入（前提是有客戶購(gòu)買）。資源的價(jià)格將根據(jù)供需關(guān)系動(dòng)態(tài)變化。

用戶在注冊(cè)該服務(wù)時(shí)，系統(tǒng)會(huì)顯示預(yù)定時(shí)間和資源的總成本。用戶可以根據(jù)自己的資源需求和預(yù)算來(lái)調(diào)整這個(gè)數(shù)字，然后再?zèng)Q定是否購(gòu)買。

該新功能從今天開始在 AWS 美國(guó)東部（俄亥俄州）區(qū)域提供。

（舉報(bào)）