展開全文

鄭驍慶 照片源自：受訪者供圖

規(guī)模法則之外，還有另一個法則

NBD：微軟CEO薩提亞·納德拉在微軟2024年第四季度財報tel會上說到，DeepSeek“有有些真正的創(chuàng)新”。在您看來，DeepSeek有那些創(chuàng)新點呢？

鄭驍慶：在深入研讀DeepSeek的技術(shù)報告后，咱們發(fā)掘，DeepSeek在降低模型訓(xùn)練和推理成本方面采用的辦法，大多基于業(yè)界已有的技術(shù)探索。例如，鍵值緩存（Key-Value cache）管理，對緩存數(shù)據(jù)進行壓縮。另一個是混合專家模型（MoE，Mixture of Experts），實質(zhì)上指的是，在推理的時候，只需運用模型的某一個特定的模塊，而不需要所有模型的網(wǎng)絡(luò)結(jié)構(gòu)和參數(shù)都參與這個推理過程。

另外，Deepseek還采用了FP8混合精度訓(xùn)練的技術(shù)手段。這些其實之前都有所探索，而DeepSeek的創(chuàng)新之處就在于，很好地將這些能夠降低技術(shù)和推理成本的技術(shù)整合起來。

NBD：您認為DeepSeek現(xiàn)周期的技術(shù)水平上是不是已然接近或達到了全世界領(lǐng)先水平呢？

鄭驍慶：DeepSeek日前在現(xiàn)有技術(shù)基本上，包含網(wǎng)絡(luò)結(jié)構(gòu)訓(xùn)練算法方面，實現(xiàn)了一種階段性的改進，并非是一種本質(zhì)上的顛覆性創(chuàng)新，這一點是比較知道的。其改進重點是針對特定任務(wù)，例如，DeepSeek在數(shù)學(xué)、代碼處理以及推理任務(wù)等方面，提出了一種在性能與成本上相對平衡的處理方法。然而，它在開放行業(yè)（open domain）上的表現(xiàn)，優(yōu)良并不是非常顯著。

在業(yè)界存在著兩個法則，一個是規(guī)模法則（Scaling Law），即模型的參數(shù)規(guī)模越大、訓(xùn)練數(shù)據(jù)越多，模型就會更好。另一一個法則指的是，隨著技術(shù)的持續(xù)發(fā)展，在既有技術(shù)基本上連續(xù)改進，能夠大幅降低成本。

例如說，以GPT-3為例，初期它的成本就很高。但隨著科研的深入，科研人員逐步清楚那些東西是工作的，那些東西是不工作的。科研人員基于過往的成功經(jīng)驗，科研目的會逐步清晰，成本實質(zhì)上亦會隨之降低。

DeepSeek的成功，我更覺得可能是工程優(yōu)化上的成功。當然亦非常高興看到中國的科技企業(yè)在大模型的時代，在性能與成本的平衡方面取得了明顯發(fā)展，持續(xù)推動大模型的運用和訓(xùn)練成本下降。符合剛才我說到的第二個法則的狀況之下，步行到世界前列。

DeepSeek有效平衡性能和成本，但對芯片需要影響不大

NBD：DeepSeek旗下模型的最大亮點之一是在訓(xùn)練和推理過程中明顯降低了算力需要。您認為這種低成本大效能的技術(shù)創(chuàng)新，長時間來看，會對英偉達等芯片機構(gòu)產(chǎn)生什么影響呢？

鄭驍慶：我個人認為，它并不會對芯片采購量或出貨量產(chǎn)生太大的影響。

首要，像DeepSeek或類似的機構(gòu)，在尋找有效的整合處理方法時，需要進行海量的前期科研與消融實驗。所說的消融實驗，即指經(jīng)過一系列測試來確定哪個方法是有效的以及那些方法的整合是有效的。而這些測試就非常依賴于芯片，由于芯片越多，迭代次數(shù)就越多，就越容易曉得哪個東西工作或哪個東西不工作。

例如說，DeepSeek的訓(xùn)練預(yù)算不到600萬美元。它的技術(shù)報告中說到，不到600萬美元的資金，是根據(jù)GPU的小時數(shù)（每小時兩美元）來估算的。亦便是說，她們基于之前的非常多科研，把整條訓(xùn)練流程都已然搞清楚的狀況之下（那些是工作，那些不工作的），重新走一遍。它的GPU的運算速度是多少，運算小時數(shù)是多少，而后再乘以每小時兩美元得到的這個結(jié)果。報告中亦說到了，600萬美元其實無包括先期科研成本，例如，在結(jié)構(gòu)上的探索、在算法上的探索、在數(shù)據(jù)上采收集上的探索的成本，亦無涵蓋消融實驗的開銷以及設(shè)備的折舊費。因此，我個人判斷，對英偉達其實影響不是那樣大。

另一，DeepSeek的科研顯示，非常多中小企業(yè)都能用得起這般的大模型。盡管訓(xùn)練成本的下降可能會暫時減少對GPU的需要，但大模型變得更加經(jīng)濟，會使本來由于模型成本太高而不打算運用大模型的企業(yè)，加入到運用模型的行列，反而會增多針對芯片的需要。

NBD：隨著DeepSeek-V3、R1等低成本大模型的面世，傳統(tǒng)的大規(guī)模數(shù)據(jù)中心和高投入的大模型訓(xùn)練是不是仍然值得繼續(xù)推進呢？

鄭驍慶：我覺得仍然值得。由于首要DeepSeek模型是語言模型，還無擴展到多模態(tài)，乃至于咱們以后要科研世界模型。那樣一旦引入多模態(tài)之后，對算力的需求和基本設(shè)備需求就會成指數(shù)的增長。由于人工智能不可能僅僅局限于語言體本身，語言只是智慧的一種表現(xiàn)，而在這方面的探索仍然需要這般的一個基本設(shè)備。

剛才亦說到DeepSeek其實是在非常多先期研究的基本之上，找到了一條性能和成本平衡的一個處理方法。先期科研包含各樣各樣的嘗試，怎么樣去加速它呢？這個還是需要強大的硬件支持。否則，每迭代一次，就可能需要長達一年多的時間，這顯然是沒法趕上此刻AI軍備競賽的。而倘若有幾萬張卡，迭代可能幾天就完成為了。

另一便是應(yīng)用方面。即便是模型的推理成本再低，當需要支持數(shù)千、數(shù)萬乃至更大規(guī)模的并發(fā)運用時，仍然需要一個配備海量顯卡的強大基本架構(gòu)來保證穩(wěn)定運行。

我覺得大規(guī)模預(yù)訓(xùn)練這一波潮流可能會弱化，可能不會作為下一步大眾爭奪的主戰(zhàn)場。之前這個行業(yè)曾是競爭激烈的戰(zhàn)場，但此刻看來，成本和產(chǎn)出之間的比例正逐步趨于緊縮。然則后面兩步——高質(zhì)量數(shù)據(jù)的微調(diào)和基于強化學(xué)習(xí)的人類偏好對齊，我相信將來會有更加多的投入。

照片源自：視覺中國

開源加速模型更新和迭代，降低安全顧慮

NBD：DeepSeek采用開源模式，與許多國外大模型巨頭閉源的做法區(qū)別。您怎么看開源模型在推動AI行業(yè)發(fā)展中的功效？

鄭驍慶：DeepSeek日前受到了廣泛地關(guān)注和認可。從開源模型與閉源模型的方向來看，咱們觀察到，開源模型在累積了以往科研成果的基本上，在目的知道的狀況之下，借助于各樣訓(xùn)練技巧以及模型結(jié)構(gòu)上的優(yōu)化，尤其是吸收先前科研者在大模型行業(yè)已驗證有效的原理和辦法，開源模型已能夠大致追上閉源模型。

開源模型最大的好處就在于，一旦模型開源，全世界的頂尖人才都能基于這些代碼進行進一步的迭代與優(yōu)化，這無疑加速了這個模型的更新與發(fā)展進程。相比之下，閉源模型肯定是無這般的能力的，只能靠持有這個閉源模型所屬公司的內(nèi)部人才去推動模型的迭代，迭代速度相對受限。

另一，開源模型透明開放，亦緩解了公眾針對大模型運用安全的有些顧慮。倘若模型閉源，大眾在運用過程其中可能或多或少會有有些顧慮。況且開源模型針對人工智能的普及以及全世界范圍內(nèi)的公平應(yīng)用起到了非常好的促進功效，尤其是技術(shù)平權(quán)方面。亦便是說，當一項科學(xué)技術(shù)發(fā)展起來以后，全世界的人，不管來自哪個國家、身處何地，都應(yīng)用享有平等地享受這種技術(shù)所帶來的優(yōu)良及其產(chǎn)生的經(jīng)濟效益。

此刻的AI競爭是在中國的中國人和在美國的中國人競爭

NBD：DeepSeek團隊成員多為國內(nèi)頂尖高校的應(yīng)屆畢業(yè)生、在校博士生。您認為中國AI是不是存在獨特的競爭優(yōu)良？

鄭驍慶：我覺得咱們的AI上面的競爭優(yōu)良，其實是咱們的人才數(shù)量上的優(yōu)良。這幾年，從我個人來看，咱們的高等教育，包含碩士、博士的培養(yǎng)，有了長足進步。此刻從中國的頭部高校來看，對博士生、碩士生的培養(yǎng)已然比較接近于美國。

在這般的狀況之下，咱們的基本高等教育質(zhì)量的提高，使得咱們貯存了海量的人才。在這般的過程其中，咱們能夠?qū)ΜF(xiàn)有的技術(shù)進行快速的消化。

實質(zhì)上，美國許多大模型科研團隊，不乏有華人的身影。大眾開玩笑說，此刻的人工智能競爭是在中國的中國人和在美國的中國人競爭。要說劣勢，其實我覺得還是很遺憾的，那便是咱們很少能有顛覆性的創(chuàng)新。

每日經(jīng)濟新聞返回外鏈論壇： http://www.fok120.com，查看更加多