首頁(yè)>資訊 >
GPT家族進(jìn)化史 2023-03-17 17:53:51  來(lái)源:36氪

傳播學(xué)之父威爾伯·施拉姆曾說(shuō)過(guò):“這一天的前23個(gè)小時(shí),人類(lèi)傳播史上幾乎全都是空白,一切重大的發(fā)展都集中在這一天的最后7分鐘。正是這最后7分鐘,譜寫(xiě)了人類(lèi)歷史的黃金時(shí)期,而午夜前的最后3秒?yún)s翻開(kāi)了人類(lèi)邁進(jìn)信息化社會(huì)的新篇章?!?/p>

這句話(huà)用來(lái)形容技術(shù)進(jìn)化也很合適。人類(lèi)絕大多數(shù)時(shí)間都處在“科技大停滯”的狀態(tài),而科技大爆炸來(lái)的時(shí)候常常是“一句招呼都不打”。近期,人工智能(AI)技術(shù)的發(fā)展,就讓大家切實(shí)感受到了科技的“暴力美學(xué)”。


(資料圖片僅供參考)

在ChatGPT出現(xiàn)前,有人悲觀(guān)地認(rèn)為,AI領(lǐng)域已經(jīng)形成巨大泡沫。但眼下,AI呈現(xiàn)出全新的價(jià)值,讓行業(yè)重現(xiàn)百家爭(zhēng)鳴的熱鬧景象。

3月15日凌晨,OpenAI發(fā)布大型多模式模型GPT-4,GPT-4不僅能夠處理圖像內(nèi)容,且回復(fù)的準(zhǔn)確性亦有所提高,在官方演示中,GPT-4只花了10秒,就識(shí)別了手繪網(wǎng)站圖片,并根據(jù)要求實(shí)時(shí)生成了網(wǎng)頁(yè)代碼制作出了幾乎與手繪版一樣的網(wǎng)站,堪稱(chēng)“王炸級(jí)”產(chǎn)品。

圖 | OpenAI

3月16日,提前一個(gè)月宣傳造勢(shì),備受關(guān)注的百度文心一言揭開(kāi)神秘面紗。雖然發(fā)布會(huì)一開(kāi)始,百度股價(jià)便出現(xiàn)斷崖式下跌,李彥宏也坦言產(chǎn)品沒(méi)有完全準(zhǔn)備好,但這并不影響市場(chǎng)的龐大需求。

發(fā)布會(huì)后1小時(shí)內(nèi),排隊(duì)申請(qǐng)文心一言企業(yè)版API調(diào)用服務(wù)測(cè)試的企業(yè)用戶(hù)已達(dá)3萬(wàn)多家,申請(qǐng)產(chǎn)品測(cè)試網(wǎng)頁(yè)多次被擠爆。

圖 | 百度文心一言

3月17日,在“用AI重塑生產(chǎn)力”活動(dòng)上,美國(guó)科技巨頭微軟宣布為其Microsoft 365應(yīng)用和服務(wù)推出一款新的AI驅(qū)動(dòng)的產(chǎn)品Copilot,由OpenAI本周發(fā)布的GPT-4提供技術(shù)支持,旨在像助手一樣,用AI幫助用戶(hù)生成文檔、表格、電子郵件、PPT等。這意味著,超12億人(微軟官方數(shù)據(jù))將會(huì)解放雙手,獲得AI帶來(lái)的生產(chǎn)力提升。

對(duì)于天天碼字的小編來(lái)說(shuō),只有一個(gè)詞——想擁有!

圖 | 微軟

圖 | 微軟

圖 | 微軟

時(shí)至今日,已經(jīng)沒(méi)有人會(huì)懷疑AI以及大語(yǔ)言模型的重要性了。更大、更快、更強(qiáng),又意味著什么呢?有人說(shuō),ChatGPT的出現(xiàn),終于讓人類(lèi)的一只腳邁進(jìn)了元宇宙。

任何指數(shù)增長(zhǎng)的曲線(xiàn)初期,拉近了看都不過(guò)是一個(gè)平淡的緩坡,但只有回顧整個(gè)歷史的時(shí)候,我們才會(huì)知道這條曲線(xiàn)最終會(huì)加速到怎樣的高度。

今天我們就來(lái)回顧一下GPT家族的進(jìn)化史,看看它是如何一步步讓全世界科技大廠(chǎng)黯然失色的。

01GPT的升級(jí)之路

過(guò)去十年間,谷歌、臉書(shū)、亞馬遜、蘋(píng)果和微軟等科技巨頭紛紛開(kāi)啟AI軍備競(jìng)賽,先后成立專(zhuān)門(mén)的AI實(shí)驗(yàn)室,而業(yè)界公認(rèn)的頂級(jí)AI實(shí)驗(yàn)室只有三家:背靠谷歌的DeepMind、背靠微軟的OpenAI和背靠臉書(shū)的FAIR。其中,被谷歌收購(gòu)的DeepMind因擁有AlphaGo(阿爾法狗)最為家喻戶(hù)曉。

圖 | AlphaGo戰(zhàn)勝?lài)迨澜绻谲娎钍朗?/p>

2015年12月,特斯拉汽車(chē)創(chuàng)始人埃隆·馬斯克,格雷格·布羅克曼(OpenAI聯(lián)合創(chuàng)始人兼總裁)、山姆·阿爾特曼(OpenAI首席執(zhí)行官)、彼得泰爾(Paypal創(chuàng)始人)以及伊利亞·蘇特斯科夫(師從神經(jīng)網(wǎng)絡(luò)之父杰弗里·辛頓,OpenAI首席科學(xué)家)等數(shù)位硅谷大佬拿出了10億美元,在舊金山創(chuàng)立了OpenAI Inc.。

圖 | 阿爾特曼和馬斯克

OpenAI Inc.設(shè)立之時(shí)就是一家非盈利組織,他的目標(biāo)就是研發(fā)通用且開(kāi)放的的人工智能來(lái)對(duì)抗谷歌的DeepMind“霸權(quán)”。

2016年,微軟Azure云服務(wù)為OpenAI提供了算力條件,使得日后的ChatGPT要進(jìn)行大規(guī)模深度學(xué)習(xí)、神經(jīng)網(wǎng)絡(luò)渲染等都成為可能。

2017年,Google團(tuán)隊(duì)首次提出基于自我注意力機(jī)制的Transformer模型,并將其應(yīng)用于自然語(yǔ)言處理。OpenAI應(yīng)用了這項(xiàng)技術(shù),2018年發(fā)布了最早的一代大型模型GPT-1(GPT是Generative Pre-trained Transformer的簡(jiǎn)稱(chēng),中文為生成型預(yù)訓(xùn)練變換模型)。

最初的GPT-1,運(yùn)用幾十億文本檔案的語(yǔ)言資料庫(kù)進(jìn)行訓(xùn)練,模型的參數(shù)量為1.17億個(gè),據(jù)說(shuō)效果一般;2019年,GPT-2發(fā)布,模型參數(shù)量提高到15億個(gè),效果仍然很一般;可OpenAI堅(jiān)持“大力出奇跡”的想法,繼續(xù)擴(kuò)大它的參數(shù)量,得益于更高的數(shù)據(jù)質(zhì)量和更大的數(shù)據(jù)規(guī)模,GPT-2有了驚人的生成能力。

2020年,GPT-3誕生,參數(shù)量達(dá)到了創(chuàng)紀(jì)錄的1750億個(gè),其訓(xùn)練參數(shù)是GPT-2的10倍以上,技術(shù)路線(xiàn)上則去掉了初代GPT的微調(diào)步驟,直接輸入自然語(yǔ)言當(dāng)作指示,給GPT訓(xùn)練讀過(guò)文字和句子后可接續(xù)問(wèn)題的能力,同時(shí)包含了更為廣泛的主題。

這一次,結(jié)果終于不同,大家發(fā)現(xiàn)它的對(duì)話(huà)功能一下子達(dá)到了相當(dāng)高的水平,2022年12月首次公布的ChatGPT(能夠?qū)υ?huà)的GPT版本)就是在GPT-3基礎(chǔ)上的3.5版本。

02讓人工智能出圈的ChatGPT

ChatGPT之所以受到如此廣泛的關(guān)注和喜愛(ài),是因?yàn)樗邆淞薌PT-3所缺乏的關(guān)鍵功能:對(duì)話(huà)設(shè)計(jì)。

對(duì)于許多人來(lái)說(shuō),評(píng)估一個(gè)人工智能模型的好壞,往往看它是否能夠在一次來(lái)回的對(duì)話(huà)中聽(tīng)懂使用者的問(wèn)題,并給出令人滿(mǎn)意的答案。相比于背后的知識(shí)量,人們更關(guān)注AI模型的“溝通能力”。

這些模型能夠以比人類(lèi)快上10倍甚至20倍以上的速度生成文本,并且生成的文本質(zhì)量還不錯(cuò),令人印象深刻。

簡(jiǎn)單來(lái)說(shuō),GPT-3的架構(gòu)就是通過(guò)喂入大量的范本,學(xué)習(xí)拆解這些模板并重新組合出新的結(jié)果。引擎設(shè)計(jì)者所喂入的資料越多,GPT-3獲得的知識(shí)就越豐富。例如,OpenAI在GPT-3的預(yù)訓(xùn)練過(guò)程中喂入了超過(guò)570GB的文本資料。當(dāng)GPT-3獲得足夠豐富的知識(shí)庫(kù)時(shí),其生成的結(jié)果也變得越來(lái)越精確。

使用者只需要將自己的工作通過(guò)語(yǔ)意拆分成多個(gè)小任務(wù),讓GPT-3分別完成,再將結(jié)果組裝起來(lái),就能像有了10倍超能力的工作者一樣高效地完成工作。

03GPT-4功能強(qiáng)過(guò)ChatGPT

能玩梗圖還能做網(wǎng)頁(yè)

鑒于ChatGPT給人工智能產(chǎn)業(yè)帶來(lái)的變革,市場(chǎng)自然對(duì)其升級(jí)版GPT-4賦予了諸多想象。

3月15日凌晨,OpenAI正式推出GPT-4,產(chǎn)品具備諸多亮點(diǎn)。據(jù)OpenAI介紹,在平常的聊天過(guò)程中,可能感受不到GPT-3.5和GPT-4之間的區(qū)別,但是當(dāng)任務(wù)的復(fù)雜性達(dá)到足夠的閾值時(shí),兩者之間的區(qū)別就顯現(xiàn)出來(lái)了。GPT-4比GPT-3.5更可靠、更有創(chuàng)造力,能夠處理更細(xì)微的指令。

相比ChatGPT僅能在文字領(lǐng)域施展特長(zhǎng),GPT-4的一個(gè)關(guān)鍵升級(jí)就是多模態(tài),也就是支持圖像和文本輸入,擁有強(qiáng)大的識(shí)圖能力。值得一提的是,GPT-4已經(jīng)能看懂一些圖梗了,不再僅僅是對(duì)話(huà)助手。

用戶(hù)提問(wèn):解釋下圖的笑點(diǎn)是什么,并對(duì)圖片中的每部分進(jìn)行描述。GPT-4的回答如圖所示:

圖 | OpenAI

據(jù)OpenAI介紹,雖然目前GPT-4在現(xiàn)實(shí)場(chǎng)景中的能力可能不如人類(lèi),但在各種專(zhuān)業(yè)和學(xué)術(shù)考試上都表現(xiàn)出明顯超越人類(lèi)水平的能力。雖然GPT-4的訓(xùn)練語(yǔ)料庫(kù)還停留在2021年9月之前,但對(duì)科學(xué)、醫(yī)學(xué)、法律等特定領(lǐng)域進(jìn)行了知識(shí)面的擴(kuò)充,不僅能在美國(guó)統(tǒng)一律師資格考試中取得前列成績(jī),在奧賽、GRE等考試均取得了很高的分?jǐn)?shù),甚至SAT成績(jī)(可以理解為美國(guó)高考成績(jī))——已經(jīng)超過(guò)了90%的考生,跨過(guò)哈佛、斯坦福等名校的門(mén)檻。

圖 | OpenAI:GPT3.5和4的部分考試成績(jī)

據(jù)外媒最新消息,OpenAI總裁格雷格·布羅克曼稱(chēng),公司正在測(cè)試GPT-4高級(jí)版本,是普通GPT-4儲(chǔ)存內(nèi)容能力的5倍。

04成就GPT的股權(quán)新玩法

OpenAI帶來(lái)的革新不僅體現(xiàn)在產(chǎn)品和技術(shù)層面,其獨(dú)特的股權(quán)投資方式也在很大程度上造就了GPT的成功。

隨著GPT的技術(shù)以指數(shù)級(jí)速度增長(zhǎng),其算力的燒錢(qián)速度也呈現(xiàn)出指數(shù)級(jí)的上升。巧婦難為無(wú)米之炊,OpenAI需要不斷地輸血才能保持運(yùn)轉(zhuǎn),但顯然全世界沒(méi)有一個(gè)投資者想當(dāng)慈善家,唯一的解決辦法就是對(duì)外引進(jìn)財(cái)務(wù)投資。

2019年擔(dān)任OpenAI首席執(zhí)行官的阿爾特曼說(shuō):為了成功完成我們的使命,我們需要海量資金,數(shù)額遠(yuǎn)超出我最初的設(shè)想。

為了徹底解決資金問(wèn)題,OpenAI調(diào)整了結(jié)構(gòu),一分為二:非營(yíng)利部門(mén)(OpenAI Nonprofit)從事開(kāi)發(fā)技術(shù),營(yíng)利部門(mén)(OpenAI LP)負(fù)責(zé)商業(yè)化,但OpenAI給不同時(shí)期進(jìn)入的投資人設(shè)置了各自的盈利天花板。天花板之上,所有的盈利將屬于非營(yíng)利部門(mén)。

圖:創(chuàng)業(yè)邦

2019年,改制后的OpenAI正式開(kāi)啟融資之旅。據(jù)創(chuàng)業(yè)邦數(shù)據(jù)顯示,包括最早期投資(比種子輪更早的Pre-種子輪),OpenAI一共進(jìn)行了8輪融資,涉及9家知名機(jī)構(gòu)和企業(yè),融資總金額約110億美元。

圖 | 創(chuàng)業(yè)邦

根據(jù)OpenAI的發(fā)展,簡(jiǎn)單概括為以下4個(gè)階段:

階段一:2015年OpenAI首席執(zhí)行官阿爾特曼,與埃隆·馬斯克等人宣布出資10億美元,創(chuàng)立了非營(yíng)利性研究機(jī)構(gòu)OpenAI。

階段二:2019年OpenAI的架構(gòu)進(jìn)行了調(diào)整,調(diào)整后變身為兩家機(jī)構(gòu)——營(yíng)利性機(jī)構(gòu)OpenAI LP和最初的非營(yíng)利機(jī)構(gòu)OpenAI, Inc。

目前我們提到OpenAI,通常指的是被稱(chēng)為OpenAI LP的一家有限合伙企業(yè),在組織形態(tài)上采用的是有限合伙,這是一家盈利公司。

非營(yíng)利機(jī)構(gòu)OpenAI, Inc是其負(fù)責(zé)投資管理的普通合伙人(GP),這是一家在美國(guó)特拉華州注冊(cè)的有限責(zé)任公司。也就是說(shuō),OpenAI LP由OpenAI, Inc控制。

階段三:從2019年開(kāi)始,微軟與OpenAI建立了戰(zhàn)略合作伙伴關(guān)系,不少于三次投資,共投入130億美元,成為OpenAI最大的有限合伙人。OpenAI LP從成立之初參與投資的VC們,也成為了有限合伙人。

階段四:在OpenAI未來(lái)盈利后,與一般企業(yè)通過(guò)上市讓投資人獲得回報(bào)的做法不同,OpenAI選擇了一種新的股權(quán)投資協(xié)議模式——以投資回報(bào)速度代替投資回報(bào)水平。

盈利后的OpenAI將分節(jié)奏,逐步回報(bào)投資人:

1、優(yōu)先保證OpenAI的首批投資者收回初始資本;

2、微軟投資完成、OpenAI LP首批投資人收回初始投資后,微軟有權(quán)獲得OpenAI LP 75%利潤(rùn);

3、微軟收回130億美元投資、從OpenAI LP獲得920億美元利潤(rùn)后,它分享利潤(rùn)的比例從75%降到49%;

4、OpenAI LP產(chǎn)生的利潤(rùn)達(dá)到1500億美元后,微軟和其他風(fēng)險(xiǎn)投資者的股份將無(wú)償轉(zhuǎn)讓給OpenAI LP的普通合伙人——非營(yíng)利機(jī)構(gòu)OpenAI, Inc。

從以上四個(gè)階段可以看出,本質(zhì)上OpenAI是在把公司借給微軟,而借多久,取決于OpenAI賺錢(qián)的速度。

直接以投資回報(bào)速度代替投資回報(bào)水平,這種做法是建立在OpenAI最終回歸公益的愿景必然實(shí)現(xiàn)的強(qiáng)烈信念,以及管理團(tuán)隊(duì)能夠駕馭OpenAI走向成功的充分信任基礎(chǔ)上。

在這樣的信念之下,OpenAI吸引了很多頂尖的AI研究人員,承諾絕對(duì)有競(jìng)爭(zhēng)力的薪水和絕對(duì)的商業(yè)自由。他們毅然離開(kāi)原來(lái)的科技公司和學(xué)術(shù)機(jī)構(gòu),加入OpenAI,希望專(zhuān)心思考人類(lèi)的終極問(wèn)題。

當(dāng)然,OpenAI LP的股權(quán)結(jié)構(gòu)尚存在一些不足。相比之下,擁有較好的創(chuàng)始團(tuán)隊(duì)激勵(lì)、較好的股權(quán)流動(dòng)性、無(wú)上限的投資回報(bào)收益等優(yōu)點(diǎn)的傳統(tǒng)股權(quán)投資體系,在現(xiàn)階段仍然是不可被替代的。

OpenAI LP的新路能否最終通向羅馬,尚需時(shí)間的檢驗(yàn)。

*聲明:本文為MetaPost原創(chuàng),如需轉(zhuǎn)載請(qǐng)聯(lián)系我們。未經(jīng)允許嚴(yán)禁轉(zhuǎn)載,文章版權(quán)及最終解釋權(quán)歸MetaPost所有。

關(guān)鍵詞:

相關(guān)閱讀:
熱點(diǎn)
圖片 圖片