11.11云上盛惠!海量產品 · 輕松上云!云服務器首年1.8折起,買1年送3個月!超值優(yōu)惠,性能穩(wěn)定,讓您的云端之旅更加暢享。快來騰訊云選購吧!
令人失望的Llama4,只是前奏已。接下來我們恐將看到——全球局勢的改變,將徹底阻止AI進步!最近,一位AICEO做出長視頻,逐級對Llama4身上的六大疑點進行了扒皮。GaryMarcus正在尋找對開發(fā)更可靠替代方法有興趣的投資者。
【新智元導讀】DeepSeek新論文來了!在清華研究者共同發(fā)布的研究中,他們發(fā)現(xiàn)了獎勵模型推理時Scaling的全新方法。DeepSeekR2,果然近了。他們用包含300個樣本的降采樣測試集測試了DeepSeek-R1,發(fā)現(xiàn)其性能甚至不如236BMoERFT模型,這表明延長推理任務的思維鏈并不能顯著提升通用RM的性能。
蒸餾模型的性能可以量化估算了。知識蒸餾技術當前正被大模型領域廣泛使用,它可以在大幅壓縮模型體量的同時保持一定的性能、降低模型時延、提升模型精度,與此同時還能對知識域進行集成和遷移。正如監(jiān)督擴展減輕了監(jiān)督預訓練中的風險一樣,新工作為生產更小、更強大的模型提供了路線圖,并增強了測試時擴展的可行性。
明天就是辭舊迎新的春節(jié)假期,咱來點不一樣的——送上一份「年初展望」,站在2025年伊始,把AI科技領域不同領域的熱點趨勢,淺淺盤了一圈。從人型機器人、AI眼鏡,從推理模型到AICoding……分別從產品側和技術側,把今年最有料的8個大熱門趨勢一網打盡,干貨過年。若有掛一漏萬之處請諸位海涵,也歡迎小伙伴們在評論區(qū)指出和探討。
ScalingLaw又能續(xù)命了?如何通過語言智能體的高級規(guī)劃來Scaling推理時計算?答案就是——使用LLM作為世界模型。使用GPT-4o來預測網站上操作的結果,可以提供強大的性能,同時還能提高安全性和效率。其他還有多模態(tài),基礎、規(guī)劃與推理,合成數據和智能體安全。
就連「量化」也不管用,scalinglaw真的要終結了嗎?一提scalinglaw,人們重點關注的是參數規(guī)模、數據量等因素,卻忽視了「精度」這一關鍵變量。哈佛斯坦福MIT等機構研究人員竟發(fā)現(xiàn),低精度訓練會降低模型的「有效參數量」!對此,他們提出了「精度感知」scalinglaw。他的研究旨在通過對簡單建模變化的深入實證調查來改進LLM。
Ilya終于承認,自己關于Scaling的說法錯了!現(xiàn)在訓練模型已經不是「越大越好」是找出Scaling的對象究竟應該是什么。SSI在用全新方法擴展預訓練。如果GPT的發(fā)展沒有加速,是不是就意味著末日論者錯了——AI不會進入所謂的遞歸自我改進循環(huán),在這個循環(huán)中,AI會一次又一次地找出如何制造下一個更好版本的自己?對此,MarcAndreessen認為,這種明顯的平臺期意味著這樣的恐懼目前看
半年兩次大融資后,這家具身智能黑馬再次獲得融資!作為柏睿資本首次投資的具身智能企業(yè),千尋智能不僅擁有出身自伯克利系聯(lián)創(chuàng),在技術、硬件、商業(yè)化上,也讓人極有信心。我們意外發(fā)現(xiàn),具身智能領域的明星初創(chuàng)公司千尋智能,悄悄完成了工商變更。具身智能這盤大棋,接下來就看千尋智能如何交卷了。
OpenAIo1的發(fā)布,再次給AI領域帶來了一場地震。o1能像人類一樣「思考」復雜問題,擁有優(yōu)秀的通用推理能力。從SambaNova的RDU開始,人工智能領域可能正在翻開全新的一頁。
OpenAI的新模型o1,可謂是開啟了ScalingLaw的新篇章——隨著更多的強化學習和更多的思考時間,o1在邏輯推理能力上已經達到了目前天花板級別。尤其是在北大給出的一項評測中,o1-mini模型的跑分比o1-preview還要高:這就展示一種新的思路和可能性——小模型專門加強推理能力,放棄在參數中存儲大量世界知識。我們希望通過這個專欄,讓更多的人了解CPU在AI推理加速,甚至是整個A