OpenAI發(fā)布GPT5之前,中國大模型公司的下一步怎么走?11月16日,通用人工智能公司月之暗面創(chuàng)始人楊植麟分享了他的觀點與思考。 現(xiàn)場,月之暗面旗下Kimi發(fā)布新一代數(shù)學推理模型 k0-math,是Kimi 推出的首款推理能力強化模型,也是楊植麟技術路線思考的直觀體現(xiàn)。在他看來,行業(yè)接下來的重點是強化學習,技術范式會發(fā)生變化。 k0-math 模型采用強化學習和思維鏈推理技術,通過模擬人腦的思考和反思過程,提升解決數(shù)學難題的能力。在業(yè)界最常使用的數(shù)學能力基準測試 MATH 中,k0-math 初代模型成績超過OpenAI旗下o1-mini和o1-preview模型。 需注意的是,k0-math 模型雖然可以解答大部分有難度的數(shù)學題,但當前版本暫時無法解答 LaTeX 格式(一種排版語言)難以描述的幾何圖形類問題。還有一些局限性需要突破,如對過于簡單的數(shù)學問題,k0-math模型可能會過度思考;對高考難題和IMO(國際數(shù)學奧林匹克)題目有一定概率做錯。未來模型需要更好地泛化,才能在更多學科的場景中落地使用。 泛化是指模型應用到數(shù)據(jù)上時,能夠精準預測或分類。過去,行業(yè)共識于Scaling Law(規(guī)模定律)提供的理論框架能夠幫助研究者理解和預測模型在不同規(guī)模下的泛化性能,但近期,關于“Scaling Law失效”的觀點聲起。在楊植麟看來,AI的關鍵詞仍包括“Scaling”,這也是支撐AI技術在過去幾年有所進展的重要因素。Scaling不是簡單地將模型做得更大就好,而是找到有效的方法去Scale,比如更好的數(shù)據(jù)和方法。 目前行業(yè)在楊植麟看來已經(jīng)發(fā)生變化,月之暗面的重點是基于強化學習去Scale,而非簡單預測下一個token(文本中的最小單位)是什么,因為后者具備局限性——只基于靜態(tài)數(shù)據(jù)集無法探索更難的任務,加入強化學習的預測會在思考過程中生成更多的數(shù)據(jù)。 月之暗面選擇的試驗場景是數(shù)學,在楊植麟看來,數(shù)學是最適合讓AI鍛煉思考能力的場景。因為在計算過程中,模型需要不斷試錯。如果算錯了,可以返回驗證、校對,再計算,這也是OpenAI提出o1模型核心想要表達的觀點。楊植麟稱,o1最初也是從數(shù)學場景開始,通過嚴密的自成一體,不需要與外界交互。此次發(fā)布的數(shù)學模型 k0-math 有兩個層面的價值:一是在教育場景應用,二是實現(xiàn)公司技術迭代和驗證。 在明確強化學習與AI思考能力方向之前,月之暗面也經(jīng)歷過戰(zhàn)略調(diào)整。楊植麟表示,公司一開始嘗試過幾個產(chǎn)品一起做,這個方式在一定時期有效,但最終發(fā)現(xiàn)還是要聚焦,將一款產(chǎn)品做到最好是月之暗面認為最重要的事。于是在今年3月左右,公司決定聚焦Kimi。“如果現(xiàn)在三個業(yè)務一起做,活生生把自己變成大廠,那我就會沒有任何優(yōu)勢。”楊植麟表示。 另外,楊植麟稱,公司也會根據(jù)美國市場的情況去判斷哪個業(yè)務最后可以做大。例如ChatGPT目前已有超過5億的月活,算得上半個超級應用,Super APP的路徑在很大程度上被驗證。但也有像Character.ai這樣的產(chǎn)品一開始用戶量很多,后面很難破圈的情況。因此,楊植麟對第一財經(jīng)記者表示,會觀察美國市場與產(chǎn)品,但這并非唯一的判斷標準,也會根據(jù)自身觀察來判斷上限最高的事情,并通過這種方式去控制業(yè)務與人數(shù)。 至于目前行業(yè)密集發(fā)布的多模態(tài)產(chǎn)品,楊植麟表示公司有幾個多模態(tài)能力已在內(nèi)測階段,多模態(tài)最重要的是思考與交互,而思考的重要性遠大于交互。“思考決定上限,交互是一個必要條件;多模態(tài)是必要的,但思考決定了它的上限。”楊植麟表示。 (本文來自第一財經(jīng)) |
潮新聞客戶端 通訊員 熱艷古麗·玉蘇普 趙倩 當傳統(tǒng)邂逅潮
近日,外高橋全球匯奏響“絲路交響曲”——烏茲別克斯坦國