11.11云上盛惠!海量產(chǎn)品 · 輕松上云!云服務(wù)器首年1.8折起,買1年送3個(gè)月!超值優(yōu)惠,性能穩(wěn)定,讓您的云端之旅更加暢享??靵眚v訊云選購(gòu)吧!
大模型長(zhǎng)文本能力測(cè)試,又有新方法了!騰訊MLPD實(shí)驗(yàn)室,用全新開源的“數(shù)星星”方法替代了傳統(tǒng)的“大海撈針”測(cè)試。新方法更注重對(duì)模型處理長(zhǎng)依賴關(guān)系能力的考察,對(duì)模型的評(píng)估更加全面精準(zhǔn)。CountingStars的出現(xiàn),或許正好有助于我們了解這些模型的真實(shí)表現(xiàn)。
該報(bào)記者從知情人士獲悉百度即將免費(fèi)開放200萬-500萬長(zhǎng)文本能力。百度文心一言將進(jìn)行版本升級(jí),屆時(shí)將開放長(zhǎng)文本能力,文字范圍將在200萬-500萬之間。希望這一舉措能夠?yàn)橛脩魩砀啾憷蛯?shí)用性,促進(jìn)文本處理技術(shù)的創(chuàng)新和進(jìn)步。
一提到提高大模型長(zhǎng)文本能力,就想到長(zhǎng)度外推或者上下文窗口擴(kuò)展?不行,這些都太費(fèi)硬件資源了。來看一個(gè)奇妙新解:和長(zhǎng)度外推等方法使用KV緩存的本質(zhì)不同,它用模型的參數(shù)來存儲(chǔ)大量上下文信息。不過從郵箱信息來看,可能來自港城大、港中文等學(xué)校。