站長之家(ChinaZ.com) 5月15日消息:聊天機器人經常被忽視的一個限制是記憶能力。雖然這些系統(tǒng)的 AI 語言模型是基于 TB 級的文本上訓練的，但它們在使用過程中能夠處理的文本量（即輸入文本和輸出的組合，也稱為「context window 上下文窗口」）是有限的。對于 ChatGPT 來說，大約是 3000 個單詞。雖然有辦法可以解決這個問題，但它仍然不是大量的信息。

現(xiàn)在，由前 OpenAI 工程師創(chuàng)立的人工智能初創(chuàng)公司 Anthropic 大大擴展了其聊天機器人 Claude 的上下文窗口，將其推至約 75，000 個單詞。正如該公司在一篇博文中指出的，這足以一次性處理《了不起的蓋茨比》這本小說的全部內容。事實上，該公司就是通過這樣做來測試系統(tǒng)的——編輯小說中的一句話，并要求 Claude 發(fā)現(xiàn)變化。結果它在 22 秒內完成了此操作。

你可能已經注意到，在描述這些上下文窗口的長度時不夠精確。這是因為 AI 語言模型不是以字符或單詞的數(shù)量來衡量信息量，而是以「token」來衡量，這是一個不完全對應這些熟悉數(shù)量的語義單位。仔細想想，這是有道理的。畢竟，單詞的長度可能長或短，并且它們的長度不一定與其意義的復雜性相對應（詞典中最長的定義通常是給最短的詞）。使用「token」反映了這個事實，因此，更精確地說：Claude 的上下文窗口現(xiàn)在可以處理 100，000 個 token，而之前只能處理 9，000 個 token。相比之下，OpenAI 的 GPT-4 可以處理大約 8，000 個 token（這不是 ChatGPT 中提供的標準模型——你需要付費才能使用），而 GPT-4 的完整模型可以處理多達 32，000 個 token。

目前，Claude 的新功能僅向 Anthropic 的商業(yè)合作伙伴提供，他們通過該公司的 API 接入聊天機器人。定價情況尚不清楚，但肯定會有相當大的增加。處理更多文本意味著在計算上需要花費更多。

但這個消息表明，AI 語言模型處理信息的能力正在增加，這無疑會使這些系統(tǒng)更加有用。正如 Anthropic 所指出的，一個人讀完 75，000 個單詞的文本大約需要五個小時，但通過 Claude 擴展的上下文窗口，它可以在幾分鐘內讀取、總結和分析一篇長文檔。（盡管這并不能解決聊天機器人常常編造信息的問題。）更大的上下文窗口還意味著系統(tǒng)能夠進行更長時間的對話。導致聊天機器人失控的一個因素是，當它們的上下文窗口填滿時，它們會忘記之前的對話內容，這也是為什么 Bing 的聊天機器人僅限于 20 個對話輪次。更多的上下文意味著更多的對話可能性。

這種擴展的上下文窗口對于許多應用場景都非常有用。在處理大量文本的任務中，聊天機器人可以更全面地理解和回應用戶的問題。它們可以在更長的對話中保持上下文一致性，并提供更準確的回答和指導。例如，在客戶服務中，聊天機器人可以更好地跟蹤用戶的問題和需求，從而提供更個性化和有針對性的支持。

盡管目前 Anthropic 的擴展上下文窗口功能只針對其商業(yè)合作伙伴開放，但隨著時間的推移，這種技術可能會在更廣泛的范圍內得到應用。隨著 AI 語言模型的進一步發(fā)展，處理更多信息的能力將會成為聊天機器人和其他自然語言處理系統(tǒng)的重要進步。

（舉報）