GPT-3 掀起AI 大模型浪潮,大模型下參數(shù)量即是準(zhǔn)確度。大模型成為AI 開(kāi)發(fā)新范式。根據(jù)MIT Technology Review 和IEEE Computer,2020 年,Open AI推出其新的預(yù)訓(xùn)練模型GPT-3,GPT-3 相比其上一代模型在數(shù)據(jù)量上實(shí)現(xiàn)了量級(jí)的飛躍。模型的參數(shù)量由15 億個(gè)提升至1750 億個(gè),訓(xùn)練使用的數(shù)據(jù)量由40GB提升至45TB。在算法幾乎沒(méi)有變化的情況下,GPT-3 僅依靠參數(shù)量的提升就實(shí)現(xiàn)了表現(xiàn)上的飛躍:GPT-3 可以在高精確度地自動(dòng)生成文章、與人交流、甚至完成代碼編寫,至今仍是最好的AI 語(yǔ)言模型之一。在GPT-3 大獲成功的推動(dòng)下,AI 開(kāi)發(fā)商們開(kāi)啟了大模型的競(jìng)賽。目前,Google 的Switch-Transformer 和GLaM分別有1 萬(wàn)億和1.2 萬(wàn)億個(gè)參數(shù)。在我國(guó),北京智源人工智能院推出的悟道2.0則有1.75 萬(wàn)億的參數(shù)規(guī)模。對(duì)于AI 模型而言,參數(shù)量決定了模型所接受的訓(xùn)練量。模型擁有越多的參數(shù),就能從訓(xùn)練數(shù)據(jù)中摘取更多的相關(guān)信息,也因此能夠做出更準(zhǔn)確的預(yù)測(cè)。 

 

    大模型對(duì)算法與硬件提出更高要求,進(jìn)一步提升技術(shù)門檻。相比于傳統(tǒng)AI 模型,大模型對(duì)相關(guān)算法和硬件設(shè)施有著更高的要求。想要處理千億量級(jí)以上的參數(shù),大模型需要上百個(gè)獨(dú)立的GPU 來(lái)訓(xùn)練模型的神經(jīng)網(wǎng)絡(luò),同時(shí)需要算法來(lái)將所有的訓(xùn)練數(shù)據(jù)在各GPU 之間進(jìn)行合理分配,確保這些數(shù)據(jù)以合適的順序、在合適的時(shí)間被使用。在開(kāi)發(fā)AI 大模型時(shí),各AI 廠商都在對(duì)相應(yīng)的算法和硬件設(shè)施進(jìn)行升級(jí),確保超大體量的參數(shù)能被模型所吸納。根據(jù)量子位百家號(hào),Google 則開(kāi)發(fā)出了LIMoE 稀疏化大模型,在實(shí)現(xiàn)零樣本學(xué)習(xí)的同時(shí)極大程度降低了訓(xùn)練成本。為確保大模型的順利開(kāi)發(fā),各廠商也在不斷提升相關(guān)硬件設(shè)施。我們認(rèn)為,在未來(lái)AI 大模型的開(kāi)發(fā)中,支持開(kāi)發(fā)的算法、硬件設(shè)施等方面的綜合實(shí)力將成為重要的技術(shù)門檻,將決定AI 大模型規(guī)模的上限和實(shí)際的模型效果,并成為AI 廠商模型開(kāi)發(fā)成功與否的關(guān)鍵因素。 

 

    大模型作為基石概念股,賦力AI 模型的優(yōu)化及多場(chǎng)景運(yùn)用。在大模型的早期階段,受模型類型限制,模型的使用場(chǎng)景有限。如今,越來(lái)越多的AI 廠商開(kāi)始轉(zhuǎn)向多模態(tài)大模型(large-scale multimodal model),這些模型能夠同時(shí)處理圖像、文本、視頻、音頻等數(shù)據(jù)類型,并支持無(wú)監(jiān)督式學(xué)習(xí)。在大模型的支持下,AI 多模態(tài)模型能夠在更多、更復(fù)雜的場(chǎng)景提供支持。根據(jù)百度文心官網(wǎng)和IDC 官微,百度的文心·跨模態(tài)大模型將場(chǎng)景圖知識(shí)融入到視覺(jué)-語(yǔ)言模型的預(yù)訓(xùn)練過(guò)程;阿里達(dá)摩院的M6 大模型既在阿里內(nèi)部核心業(yè)務(wù)場(chǎng)景落地,在外部醫(yī)療、能源、金融行業(yè)積累了多個(gè)實(shí)踐案例。對(duì)于各行業(yè)而言,大模型的應(yīng)用價(jià)值也開(kāi)始逐漸清晰:大模型不要求企業(yè)具備海量的數(shù)據(jù)基礎(chǔ)、相比傳統(tǒng)AI 模型龍頭股上應(yīng)用的效果更優(yōu)、并能降低AI 開(kāi)發(fā)門檻。我們認(rèn)為,隨著以大模型為基礎(chǔ)的多模態(tài)模型的持續(xù)優(yōu)化,未來(lái)AI 模型將能在更多場(chǎng)景、更復(fù)雜的功能中體現(xiàn)自己的優(yōu)勢(shì),大模型的運(yùn)用范圍將會(huì)持續(xù)提升,并將正向反饋進(jìn)一步推動(dòng)大模型的相關(guān)研發(fā)。我們認(rèn)為,GPT-3 的成功證明了參數(shù)體量對(duì)AI 模型的重要性,自此開(kāi)啟了大模型時(shí)代。想要確保AI 模型規(guī)模的不斷提升,各廠商龍頭股上必須持續(xù)優(yōu)化算法模塊及相關(guān)硬件設(shè)備;而在大模型的支持下,AI 模型將不斷優(yōu)化并最終實(shí)現(xiàn)在更廣泛、更復(fù)雜的場(chǎng)景的落地。 

 

    風(fēng)險(xiǎn)提示:行業(yè)相關(guān)政策推進(jìn)不及預(yù)期,前沿技術(shù)龍頭股發(fā)展不及預(yù)期或應(yīng)用效果不佳的風(fēng)險(xiǎn)。

 

數(shù)據(jù)推薦

最新投資評(píng)級(jí)目標(biāo)漲幅排名上調(diào)投資評(píng)級(jí) 下調(diào)投資評(píng)級(jí)機(jī)構(gòu)龍頭股上關(guān)注度行業(yè)關(guān)注度股票綜合評(píng)級(jí)首次評(píng)級(jí)股票