作者 | 沈向洋

整理 | 《新程序員》編輯部

出品丨AI 科技大本營（ID：rgznai100）

在計(jì)算機(jī)科學(xué) 70 年的發(fā)展歷程中，只出現(xiàn)過不到十個(gè)真正的“現(xiàn)象級(jí)”編程語言——即擁有數(shù)百萬甚至上千萬用戶的語言。每一個(gè)時(shí)代的技術(shù)變革，都會(huì)催生出相應(yīng)的主導(dǎo)語言：大型機(jī)時(shí)代的 Fortran、操作系統(tǒng)時(shí)代的 C/C++、互聯(lián)網(wǎng)時(shí)代的 Java，以及云計(jì)算與數(shù)據(jù)科學(xué)時(shí)代的 Python。

如今，隨著以 ChatGPT 為代表的大模型技術(shù)引發(fā)新一輪技術(shù)革命，我們不禁要問：AI 時(shí)代會(huì)誕生怎樣的編程語言？GitHub Copilot 的主創(chuàng) Alex Graveley 曾經(jīng)指出，盡管 AI 正在改變代碼的編寫方式，但真正適應(yīng) AI 時(shí)代特點(diǎn)的編程語言范式還沒有出現(xiàn)。

11 月 22 日，在深圳舉辦的 2024 IDEA 大會(huì)上，IDEA 研究院創(chuàng)院理事長、美國國家工程院外籍院士沈向洋發(fā)表了題為《從技術(shù)突破到產(chǎn)業(yè)融合》的演講。在演講中，他提出以上的深邃思考，并指出了一個(gè)更值得注意的事實(shí)：“在過去所有廣受歡迎的編程語言中，還沒有一個(gè)是由中國開發(fā)者創(chuàng)造的。”

大模型浪潮爆發(fā)，這個(gè)歷史性的機(jī)遇正在到來。就像 C 語言與 Unix 系統(tǒng)的共生關(guān)系那樣，新時(shí)代的編程語言必將與 AI 技術(shù)產(chǎn)生深度融合。它不僅要能夠更好地表達(dá) AI 的思維方式，還要能夠充分利用 AI 的能力來提升開發(fā)效率。這將是一個(gè)全新的賽道，中國開發(fā)者同樣有機(jī)會(huì)在這個(gè)領(lǐng)域做出開創(chuàng)性貢獻(xiàn)。

作為見證了多個(gè)技術(shù)時(shí)代變遷的資深科學(xué)家，沈向洋在演講中還分享了對(duì) AI 時(shí)代技術(shù)創(chuàng)新的許多深刻思考：

“編程語言的變遷總是與技術(shù)革命相伴相生。就像 Unix 系統(tǒng)與 C 語言的關(guān)系，Web 服務(wù)器與 Java 的關(guān)系那樣，AI 時(shí)代也必將催生新的編程范式。”

“ChatGPT 展示了一種新的可能：當(dāng)技術(shù)突破達(dá)到一定程度，可以跳過傳統(tǒng)的產(chǎn)品市場匹配(PMF)過程，直接實(shí)現(xiàn)技術(shù)市場匹配(TMF)。”

“從算力來看，未來十年 AI 的發(fā)展可能需要增長 100 萬倍的算力，遠(yuǎn)超摩爾定律預(yù)言的 100 倍增長。”

“AI 正在改變科研方式。從「確定方向」（ARCH）到「選擇課題」（Search），再到「深入研究」（Research），每個(gè)環(huán)節(jié)都將被重塑。”

以下是沈向洋演講的主要內(nèi)容，CSDN 精編整理了其中最引人深思的部分，歡迎在評(píng)論區(qū)分享 您的真知灼見：

人工智能發(fā)展的「三件套」

今天是 IDEA 研究院在深圳舉辦的第四屆 IDEA 大會(huì)。回顧發(fā)展歷程，三年前的第一屆大會(huì)上，IDEA 首次向公眾展示了研究院的工作成果。在第二屆大會(huì)上，我們邀請了李澤湘教授、徐揚(yáng)生教授、高文教授等學(xué)界翹楚進(jìn)行深入對(duì)話。值得一提的是，這些學(xué)者都是我 90 年代初赴美留學(xué)時(shí)最早結(jié)識(shí)的中國學(xué)者。三十年后我們能在深圳重聚，恰恰印證了深圳作為創(chuàng)新創(chuàng)業(yè)熱土的獨(dú)特魅力。

經(jīng)過四年發(fā)展，IDEA 研究院已發(fā)展成擁有 7 個(gè)研究中心、約 45 0 名員工的科研機(jī)構(gòu)。 過去幾年，人工智能的蓬勃發(fā)展讓整個(gè)行業(yè)充滿憧憬和期待。 在人工智能發(fā)展進(jìn)程中，“算力、算法、數(shù)據(jù)”這「三件套」始終是核心要素。 接下來，我將從這三個(gè)方面，詳細(xì)分享自己的觀察和思考。

算力：從“摩爾定律”到“黃氏定律”

首先從算力說起。作為計(jì)算機(jī)領(lǐng)域的從業(yè)者，我們一直見證著整個(gè)計(jì)算行業(yè)過去四五十年來算力的不斷提升。早期有著名的摩爾定律，英特爾提出每 18 個(gè)月算力增長一倍。但在過去十幾年，隨著人工智能特別是深度學(xué)習(xí)的發(fā)展，對(duì)算力的需求呈現(xiàn)出前所未有的增長態(tài)勢。

根據(jù) EPOCH AI 的數(shù)據(jù)，每年最新的大模型對(duì)算力的需求都在以驚人的速度增長，年均增長率超過四倍。這個(gè)數(shù)字意味著什么？如果按照這個(gè)增長速度，十年間算力需求的增長將達(dá)到驚人的 100 萬倍。相比之下，傳統(tǒng)的摩爾定律下 18 個(gè)月翻一倍的增長，十年也不過是 100 倍的增長。

這種算力需求的爆發(fā)式增長，使得 GPU 廠商英偉達(dá)成為了 IT 行業(yè)和人工智能領(lǐng)域最成功的公司之一。英偉達(dá)已經(jīng)從一家單純的硬件芯片供應(yīng)商，轉(zhuǎn)變?yōu)檎麄€(gè)行業(yè)的核心支柱。現(xiàn)在行業(yè)里流傳著這樣一句話：“拿得到英偉達(dá)的卡，就成功了一半。”

讓我們看看具體的數(shù)據(jù)：2023 年英偉達(dá)最新產(chǎn)品 H100 的出貨量持續(xù)攀升，各大公司爭相采購。包括馬斯克最近就部署了一個(gè)擁有 10 萬張 H100 卡的大規(guī)模集群。到 2024 年為止，微軟、谷歌、亞馬遜等科技巨頭都在大量采購 H100 芯片。

為什么需要如此龐大的算力？這與大模型的發(fā)展密不可分。大模型不僅參數(shù)量巨大（從百億到千億，再到萬億參數(shù)），而且訓(xùn)練所需的數(shù)據(jù)量也在不斷增長。更關(guān)鍵的是，要提升模型性能，對(duì)算力的需求會(huì)隨參數(shù)量呈平方關(guān)系增長。這就解釋了為什么過去十年英偉達(dá)的市值能夠增長 300 倍，也說明了“算力就是生產(chǎn)力”這一論斷的深刻含義。

在人才招聘方面，算力資源已經(jīng)成為一個(gè)重要指標(biāo)。有些企業(yè)會(huì)以“千卡人才”、“百卡人才”來形容人才規(guī)模，真正頂尖的甚至被稱為“萬卡人才”。IDEA 研究院在深圳市政府的支持下，已經(jīng)擁有了上千張顯卡的算力儲(chǔ)備，在深圳算得上是“小土豪”級(jí)別的規(guī)模。

這種算力需求的變革被業(yè)界稱為從“摩爾定律”到“黃氏定律”的轉(zhuǎn)變。黃氏定律不僅體現(xiàn)在硬件算力的增長上，更重要的是反映了模型訓(xùn)練對(duì)算力需求的指數(shù)級(jí)增長。未來十年的算力需求是否會(huì)繼續(xù)保持如此驚人的增長速度，這個(gè)問題值得我們持續(xù)關(guān)注和思考。

算法：從“預(yù)訓(xùn)練”到“強(qiáng)化學(xué)習(xí)”

在算法方面，自 2017 年 Transformer 架構(gòu)問世以來，人工智能、深度學(xué)習(xí)和大模型的發(fā)展基本上都是沿著這個(gè)方向，通過堆數(shù)據(jù)和算力來推進(jìn)。但在 GPT-4 之后，我們看到了算法范式的新突破。特別是 OpenAI 推出的新技術(shù)，包括多模態(tài)的 GPT-4V 以及最新的 o1 推理學(xué)習(xí)能力，展現(xiàn)了算法創(chuàng)新的新方向。令人欣喜的是，近幾個(gè)月來，國內(nèi)也有一些公司，包括初創(chuàng)企業(yè)在 o1 這個(gè)方向上取得了顯著進(jìn)展。

這里我想詳細(xì)介紹一下算法突破的思路。在 o1 出現(xiàn)之前，大家談?wù)摰亩际?GPT 系列，所有的工作都集中在預(yù)訓(xùn)練上，核心任務(wù)就是預(yù)測“下一個(gè)token”。其中很重要的技術(shù)背景是對(duì)所有數(shù)據(jù)進(jìn)行高效壓縮，使模型能夠快速給出答案，實(shí)現(xiàn)“一問即答”。

而現(xiàn)在的范式變革引入了強(qiáng)化學(xué)習(xí)（Reinforcement Learning）的理念，模型具備了自我改善的能力。這種新方法的特點(diǎn)在于，它更接近人類的思考方式。不同于之前的快速思考模式，現(xiàn)在的模型在給出答案時(shí)會(huì)經(jīng)歷后訓(xùn)練、后推理的過程。這就像學(xué)生在解數(shù)學(xué)題時(shí)會(huì)先打草稿，驗(yàn)證一條路徑是否正確，如果不對(duì)就回退嘗試另一條路徑。

雖然強(qiáng)化學(xué)習(xí)本身并不是一個(gè)新概念——比如幾年前 AlphaGo 就使用強(qiáng)化學(xué)習(xí)打敗了圍棋世界冠軍——但今天的創(chuàng)新在于它的通用性。過去的強(qiáng)化學(xué)習(xí)系統(tǒng)往往只能解決單一問題，而像 o1 這樣的新系統(tǒng)可以同時(shí)處理數(shù)據(jù)分析、編程、物理、化學(xué)等多個(gè)領(lǐng)域的問題。我認(rèn)為，在未來幾年，沿著 Self-Reinforcement Learning (SRL) 這條道路，我們將看到更多令人驚艷的突破，期待 IDEA 研究院和國內(nèi)的研究人員能在這個(gè)方向上有更多的思考和創(chuàng)新。

數(shù)據(jù)：從“存量”到“合成”

在討論數(shù)據(jù)之前，我已經(jīng)提到大模型的蓬勃發(fā)展不僅依賴于參數(shù)規(guī)模的增長，還需要海量數(shù)據(jù)的支持。讓我和大家分享一些關(guān)于數(shù)據(jù)規(guī)模的具體數(shù)據(jù)。

三年前 GPT-3 發(fā)布時(shí)，使用了 2T（2 萬億）的 token 數(shù)據(jù)。到了 GPT-4 時(shí)代，模型訓(xùn)練使用的數(shù)據(jù)量增加到了 12T，在不斷訓(xùn)練過程中可能達(dá)到了 20T。這個(gè)規(guī)模大致相當(dāng)于目前互聯(lián)網(wǎng)上可獲取的優(yōu)質(zhì)數(shù)據(jù)總量。而未來如果 GPT-5 問世，按照我的估計(jì)，可能需要 200T 規(guī)模的數(shù)據(jù)。但問題在于，互聯(lián)網(wǎng)上已經(jīng)很難找到如此龐大的優(yōu)質(zhì)數(shù)據(jù)。這就引出了一個(gè)新的研究方向：合成數(shù)據(jù)。

為了讓大家對(duì)這些數(shù)據(jù)規(guī)模有更直觀的認(rèn)識(shí)，我舉幾個(gè)例子：1 萬億 token 的數(shù)據(jù)量大約相當(dāng)于 500 萬本書，或 20 萬張高清照片，或 500 萬篇論文。從人類歷史的角度來看，至今為止創(chuàng)造的所有書籍大約包含 21 億 token，微博上有 38 億 token，而 Facebook 上約有 140T 的數(shù)據(jù)。不過社交媒體上的數(shù)據(jù)質(zhì)量普遍不夠高，真正有價(jià)值的內(nèi)容相對(duì)有限。

從個(gè)人維度來看，一個(gè)人讀完大學(xué)，真正學(xué)到的知識(shí)量大約是 0.00018T，相當(dāng)于 1000 本書的內(nèi)容。如果覺得自己還沒讀到這個(gè)量級(jí)，也許現(xiàn)在開始該多讀些書了。

有趣的是，ChatGPT 等 AI 模型的訓(xùn)練數(shù)據(jù)主要來自互聯(lián)網(wǎng)。回顧互聯(lián)網(wǎng)發(fā)展的 40 年，人們熱衷于在網(wǎng)上分享信息，現(xiàn)在看來，似乎是在為 GPT 的訓(xùn)練做準(zhǔn)備。AI 之所以如此智能，很大程度上得益于我們貢獻(xiàn)的數(shù)據(jù)。這其中還有一個(gè)值得注意的現(xiàn)象：無論訓(xùn)練哪種語言的 AI 模型，底層的高質(zhì)量數(shù)據(jù)主要是英文的。這意味著在 AI 時(shí)代，英語的重要性可能會(huì)進(jìn)一步加強(qiáng)，就像互聯(lián)網(wǎng)時(shí)代一樣。

既然網(wǎng)上的數(shù)據(jù)已接近極限，AI 的進(jìn)一步發(fā)展就需要依靠合成數(shù)據(jù)，這可能催生新的百億美元級(jí)創(chuàng)業(yè)機(jī)會(huì)。

與 GPT 系列主要使用互聯(lián)網(wǎng)文本數(shù)據(jù)不同，新一代模型（如 o1）需要更強(qiáng)的邏輯性，這些數(shù)據(jù)在網(wǎng)上往往找不到。比如在編程領(lǐng)域，我們需要知道具體的步驟是如何一步步完成的。在 IDEA 研究院，在郭院長的帶領(lǐng)下，我們開展了高質(zhì)量訓(xùn)練數(shù)據(jù)的項(xiàng)目，為大模型持續(xù)提供新的“養(yǎng)分”。

我們的合成數(shù)據(jù)方法并非盲目生成，而是建立在嚴(yán)謹(jǐn)?shù)姆椒ㄕ摶A(chǔ)上。我們首先建立語境圖譜，在此基礎(chǔ)上進(jìn)行數(shù)據(jù)合成。這些合成數(shù)據(jù)經(jīng)過大模型預(yù)訓(xùn)練后，已經(jīng)展現(xiàn)出很好的效果。

除此之外，我們還在探索另一個(gè)維度的問題：私域數(shù)據(jù)安全孤島。由于數(shù)據(jù)安全考慮，許多私域數(shù)據(jù)無法直接共享使用。為此，我們開發(fā)了 IDEA Data Maker，將這兩個(gè)方面結(jié)合起來，通過語境圖譜生成新的語料，解決過往文本數(shù)據(jù)合成方案的多樣性匱乏等問題。該技術(shù)為合成數(shù)據(jù)引入“指導(dǎo)手冊”，以圖譜為綱，指導(dǎo)用于合成的語境采樣。實(shí)驗(yàn)結(jié)果顯示，IDEA 團(tuán)隊(duì)的方案能持續(xù)為大模型帶來能力提升，表現(xiàn)超過目前的最佳實(shí)踐（SOTA）模型；從 token 消耗來看，平均節(jié)約成本 85.7%。目前，該技術(shù)內(nèi)測平臺(tái)已開放，通過 API 提供服務(wù)。

大模型時(shí)代的機(jī)遇：從 PMF 到 TMF

在討論了 AI 發(fā)展的「三件套」之后，我想分享 IDEA 研究院近一年來的思考和實(shí)踐。特別是大模型蓬勃發(fā)展給我們帶來的機(jī)遇。

ChatGPT 的出現(xiàn)給我們帶來了深刻啟示——它在推出后僅用兩個(gè)月時(shí)間就吸引了全球 1 億用戶，成為一個(gè)令人矚目的技術(shù)現(xiàn)象。這種現(xiàn)象打破了我們對(duì)產(chǎn)品發(fā)展的傳統(tǒng)認(rèn)知。在互聯(lián)網(wǎng)時(shí)代，我們常說 PMF（Product-Market Fit，產(chǎn)品市場匹配）。對(duì)這個(gè)概念的理解，我多次請教過美團(tuán)的王慧文，在清華的一堂課上，他專門講解了 PMF 的內(nèi)涵。

但 ChatGPT 的成功告訴我們，它實(shí)際上跳過了 PMF 的過程，直接實(shí)現(xiàn)了TMF（Technology-Market Fit，技術(shù)市場匹配）。當(dāng)技術(shù)發(fā)展到一定程度，就可能實(shí)現(xiàn)這樣的跨越式突破。在 IDEA，我們天天在追求一些極致的技術(shù)，也在思考：如果有技術(shù)出來，是否可以一步到位？這當(dāng)然是我們的期望，我們一直在朝這個(gè)方向努力。

順著 TMF 的思路，我想講一個(gè)最近我們特別關(guān)注的方向：計(jì)算機(jī)編程語言。作為一個(gè)學(xué)習(xí)計(jì)算機(jī)的人，我自己就編寫過十幾種不同的編程語言，在不同的階段做不同的項(xiàng)目時(shí)都會(huì)用到它們。

在這里我想提出一個(gè)重要觀點(diǎn)：縱觀全球，有那么多的編程語言，包括小語言、大語言、中型語言，但基本上沒有一個(gè)被廣泛使用的語言是由中國人發(fā)明、中國人創(chuàng)造的。這種現(xiàn)象是有機(jī)會(huì)改變的。

讓我給大家舉幾個(gè)例子，說明什么是現(xiàn)象級(jí)的語言。在過去七八十年的計(jì)算機(jī)科學(xué)發(fā)展歷程中，出現(xiàn)過的現(xiàn)象級(jí)語言不超過十個(gè)。這里的“現(xiàn)象級(jí)”是指至少有幾百萬、上千萬用戶在使用這個(gè)語言編程。比如早期的 Fortran，當(dāng)時(shí)是和 IBM 大型機(jī)綁定的，做三角計(jì)算都要用 Fortran 語言。70 年代出現(xiàn)的 C 語言，是與 Unix 操作系統(tǒng)緊密相連的，甚至可以說 Unix 系統(tǒng)就是用 C 語言構(gòu)建的。到了 90 年代互聯(lián)網(wǎng)興起時(shí)，我?guī)熜珠_發(fā)的 Java 語言被大量程序員采用，主要用于開發(fā) Web 服務(wù)器。而在過去十幾年，Python 因?yàn)樵诳茖W(xué)計(jì)算方面的便利性，特別是在云計(jì)算平臺(tái)上的廣泛應(yīng)用，成為主流語言。如果你問問自己的孩子在學(xué)什么編程語言，大概率會(huì)是 Python。

那么，在今天的大模型時(shí)代，會(huì)不會(huì)出現(xiàn)新的現(xiàn)象級(jí)語言？這個(gè)問題不是只有我一個(gè)人在思考。比如說 GitHub Copilot 的創(chuàng)始人 Alex Graveley 就指出，AI 編程還沒有形成新的編程語言范式。編程語言是最根本的技術(shù)創(chuàng)新方向之一。

有了語言之后，就需要探索大模型的技術(shù)創(chuàng)新方向。在大模型能力已經(jīng)達(dá)到新高度的今天，一個(gè)關(guān)鍵問題是：我們?nèi)绾螌⑦@種能力轉(zhuǎn)化為實(shí)際應(yīng)用？在哪些場景中可以發(fā)揮其最大價(jià)值？

在所有的應(yīng)用方向中，我特別要強(qiáng)調(diào) AI For Science（科學(xué)智能）的重要性。可以說，在當(dāng)前階段，很難想象有什么比 AI For Science 更重要的方向。如果我們要做人工智能研究，一方面要全力推動(dòng)大模型技術(shù)的落地，另一方面也要關(guān)注它在科學(xué)研究中的應(yīng)用。

這讓我想起二十多年前在微軟亞洲研究院做過一個(gè)關(guān)于如何做科研、如何做學(xué)問的報(bào)告。我把科研工作分成了三個(gè)不同的層次：ARCH（確定方向）、Search（選擇課題）、Research（深入研究，一而再再而三地探索）。現(xiàn)在，我們希望 IDEA 的工作能為中國的科研人員、年輕學(xué)生在做科研時(shí)提供更好的支持。

從經(jīng)濟(jì)增長到福祉實(shí)現(xiàn)

人工智能的發(fā)展正在對(duì)社會(huì)產(chǎn)生深遠(yuǎn)的影響。這個(gè)問題太重要了，需要我們認(rèn)真思考。我們今天要討論的是 AI 治理問題，包括它對(duì)民眾的沖擊、對(duì)公司的沖擊、對(duì)監(jiān)管的沖擊、對(duì)社會(huì)發(fā)展的沖擊。

人工智能的影響究竟是如何發(fā)生的？八年前，人們還在討論社交媒體的影響，而今天我們必須要討論人工智能的影響。過去十幾年的發(fā)展令人震驚：人類引以為傲的能力正在一個(gè)個(gè)被 AI 超越。下象棋、下圍棋就不必多說，現(xiàn)在AI在閱讀理解、圖像識(shí)別和檢測等領(lǐng)域的能力都已經(jīng)逐步超越人類。更令人震撼的是，這些能力的提升已經(jīng)不是單點(diǎn)突破，而是通用人工智能整體能力的提升，這使得人工智能對(duì)社會(huì)的影響變得異常深遠(yuǎn)。

現(xiàn)在，全球范圍內(nèi)都在討論 AI 治理問題。我有幸在今年上海人工智能大會(huì)上與我的導(dǎo)師瑞迪教授、布盧姆教授和姚期智教授一起討論這個(gè)議題。

從社會(huì)發(fā)展的角度來看，我們習(xí)慣用 GDP 來衡量發(fā)展水平。但 GDP 這個(gè)概念其實(shí)是很新的。在農(nóng)業(yè)社會(huì)之前，根本不存在 GDP 增長的概念，因?yàn)槿藗冞B溫飽都難以解決。農(nóng)業(yè)社會(huì)發(fā)展后，人們有了剩余產(chǎn)能，但 GDP 年均增長仍然只有 0.1% 至 0.2%。到了工業(yè)社會(huì)，這個(gè)數(shù)字提升到 1% 至 2%。信息社會(huì)的 GDP 年均增長達(dá)到了 3% 至 4%，這里說的都是全球的大致數(shù)字。

那么，在即將到來的 AI 社會(huì)，會(huì)發(fā)生什么？一些經(jīng)濟(jì)學(xué)家預(yù)測，隨著人工智能數(shù)量超過人類數(shù)量，機(jī)器人數(shù)量急劇增加，生產(chǎn)效率將獲得巨大提升。在這樣的 AI 世界中，GDP 年均增長可能達(dá)到十幾個(gè)百分點(diǎn)。

這就帶來了一個(gè)根本性的問題：從 AI 帶來的經(jīng)濟(jì)最大增長，能否實(shí)現(xiàn)人類的最大福祉？這是每一個(gè)從事技術(shù)研發(fā)、推動(dòng)產(chǎn)業(yè)落地的人都必須思考的問題。對(duì)于在座的各位，特別是在 IDEA 研究院從事技術(shù)研發(fā)的同事們來說，在推動(dòng)人工智能發(fā)展的同時(shí)，這個(gè)問題值得我們深入思考。 我的分享就到這里，感謝大家的閱讀！