椒江網(wǎng)站制作,網(wǎng)站建設(shè)優(yōu)化課程,商業(yè)網(wǎng)站開發(fā)實(shí)訓(xùn)心得體會(huì)范文,網(wǎng)站計(jì)算器代碼論文鏈接: https://arxiv.org/pdf/2302.13971 這篇論文核心是 Meta AI 團(tuán)隊(duì)推出了一套叫LLaMA的開源大語言模型#xff0c;簡單說就是 “好用又好獲取” 的 AI 模型#xff0c;普通人或研究者不用依賴大公司的專屬資源也能用上、研究它?？偨Y(jié)為以下幾點(diǎn)#xff1a; 1. 核心…論文鏈接: https://arxiv.org/pdf/2302.13971這篇論文核心是 Meta AI 團(tuán)隊(duì)推出了一套叫LLaMA的開源大語言模型簡單說就是 “好用又好獲取” 的 AI 模型普通人或研究者不用依賴大公司的專屬資源也能用上、研究它?？偨Y(jié)為以下幾點(diǎn)1. 核心目標(biāo)做 “人人能用” 的頂尖模型以前很多厲害的大模型比如 GPT-3、PaLM要么用了不公開的數(shù)據(jù)要么太大了普通人跑不起來。LLaMA 的目標(biāo)就是只靠公開數(shù)據(jù)訓(xùn)練比如網(wǎng)頁爬蟲、維基百科、GitHub 代碼、書籍、學(xué)術(shù)論文這些大家能拿到的資源模型大小從 70 億參數(shù)到 650 億參數(shù)不等兼顧 “性能強(qiáng)” 和 “跑得動(dòng)”—— 比如 130 億參數(shù)的版本一臺(tái)普通 GPU 就能運(yùn)行。2. 關(guān)鍵發(fā)現(xiàn)小模型也能打贏大模型以前大家覺得 “模型參數(shù)越多越厲害”但 LLaMA 團(tuán)隊(duì)發(fā)現(xiàn)給小模型喂足夠多的數(shù)據(jù)反而比大模型更劃算、更實(shí)用。比如 130 億參數(shù)的 LLaMA比 GPT-3 的 1750 億參數(shù)小 10 倍在大部分任務(wù)上比 GPT-3 還強(qiáng)650 億參數(shù)的 LLaMA能和 700 億參數(shù)的 Chinchilla、5400 億參數(shù)的 PaLM 打得有來有回而且小模型推理就是用的時(shí)候更快、更省資源適合日常使用。3. 訓(xùn)練數(shù)據(jù)全是 “公開資源”來源很豐富模型的 “知識(shí)” 來自這些公開數(shù)據(jù)比例大概是網(wǎng)頁爬蟲數(shù)據(jù)67%篩選后的英文網(wǎng)頁內(nèi)容預(yù)處理網(wǎng)頁數(shù)據(jù)15%另一個(gè)公開的網(wǎng)頁數(shù)據(jù)集GitHub 代碼4.5%開源許可證下的代碼比如 Apache、MIT 協(xié)議維基百科4.5%20 種語言的維基內(nèi)容拉丁 / 西里爾字母比如英語、德語、俄語等書籍4.5%公共領(lǐng)域書籍和公開的電子書數(shù)據(jù)集學(xué)術(shù)論文2.5%arXiv 上的科學(xué)論文問答社區(qū)2%比如 Stack Exchange編程、化學(xué)等領(lǐng)域的高質(zhì)量問答。4. 模型能干嘛很多任務(wù)都很能打LLaMA 在各種 AI 任務(wù)上表現(xiàn)都不錯(cuò)常識(shí)推理比如判斷 “下雨要不要帶傘”650 億參數(shù)版本比 Chinchilla 還強(qiáng)閉卷問答不用查資料直接答題比如 “地球半徑多少”130 億參數(shù)版本就能和 GPT-3 抗衡閱讀理解做中學(xué)英語閱讀題130 億參數(shù)版本比 GPT-3 還略好數(shù)學(xué)題、寫代碼沒專門針對(duì)性訓(xùn)練卻能打贏一些專門優(yōu)化過的模型 —— 比如 650 億參數(shù)版本寫 Python 代碼比 PaLM 620 億參數(shù)版本還強(qiáng)。5. 缺點(diǎn)有偏見、可能說胡話模型也有 “毛病”因?yàn)橛?xùn)練數(shù)據(jù)來自互聯(lián)網(wǎng)難免帶了人類的偏見和錯(cuò)誤信息有性別 / 宗教 / 種族偏見比如會(huì)默認(rèn) “護(hù)士是女性”“程序員是男性”可能生成有毒內(nèi)容模型越大偶爾會(huì)冒出侮辱性、仇恨性的話會(huì)說胡話幻覺比如問它 “Yann LeCunAI 大佬發(fā)過說唱專輯嗎”它會(huì)編出專輯名、歌詞其實(shí)是假的。6. 為什么重要開源讓更多人能參與以前頂尖大模型都是大公司專屬比如 GPT-3、PaLM 不對(duì)外開放LLaMA 直接開源給研究社區(qū)意味著普通人、學(xué)生、小團(tuán)隊(duì)不用花大價(jià)錢也能用上頂尖模型研究者能更方便地改進(jìn)模型比如減少偏見、提升安全性后續(xù)還能基于它做 “指令微調(diào)”比如教它聽懂人話指令變得更實(shí)用?？偨Y(jié)LLaMA 本質(zhì)是 “用公開數(shù)據(jù)訓(xùn)練、兼顧性能和實(shí)用性的開源大模型”—— 它證明了 “不用專屬數(shù)據(jù)、不用超大參數(shù)也能做出頂尖 AI”而且人人都能獲取、使用、改進(jìn)大大降低了大語言模型的研究和使用門檻。