世界短訊！6G顯存玩轉130億參數大模型 RTX 2060用戶發(fā)來賀電 AMD不配嗎？
來源:快科技
發(fā)表時間:2023-05-19 17:48:55
Meta的大語言模型LLaMA 13B，現在用2060就能跑了~
羊駝家族的Alpaca和Vicuna也都能運行，顯存最低只需要6G，簡直是低VRAM用戶的福音有木有。
(資料圖片)
GitHub上的搭建教程火了之后，網友們紛紛跑來問蘋果M2是不是也能跑。
這通操作的大致原理是利用最新版CUDA，可以將Transformer中任意數量的層放在GPU上運行。
與此前l(fā)lama.cpp項目完全運行在CPU相比，用GPU替代一半的CPU可以將效率提高將近2倍。
而如果純用GPU，這一數字將變成6倍。
網友實測的結果中，使用CPU每秒能跑2.1個token，而用GPU能跑3.2個。
生成的內容上，開發(fā)者成功用它跑出了“尼采文學”。
如何操作在開始搭建之前，我們需要先申請獲得LLaMA的訪問權限。
傳送門：https://ai.facebook.com/blog/large-language-model-llama-meta-ai/
此外還需要有一個Linux環(huán)境。（Windows用戶可以用WSL2）
準備工作完成之后，第一步是將llama.cpp克隆到本地。
如果沒有安裝CUDA，可以參考下面的步驟：
然后是建立micromamba環(huán)境，安裝Python和PyTorch等工具。
接著需要在micromamba環(huán)境下安裝一些包：
然后運行Python腳本以執(zhí)行轉換過程：
之后將其量化為4bit模式。
接著是新建一個txt文本文檔，把提示詞輸入進去，然后就可以運行了。
這步當中-ngl后面的數字是可以修改的，它代表了轉換層的數量。
當該值為18時，運行中消耗的VRAM為5.5GB，根據顯存的大小最高可以調至40。
網友：AMD不配嗎
這一教程出現之后，網友們的新玩具又增加了。
“苦OpenAI久矣”的網友更是感覺仿佛找到了光。
這位網友就表示自己太期待在自己的設備上運行LLM了，寧愿花5千美元購置設備也不想給OpenAI交一分錢。
但AMD用戶可能就不那么興奮了，甚至透露出了嫉妒之情。
這套方法要用到CUDA（英偉達專用），所以AMD是不配了嗎？
那么，你期待用自己的設備跑大語言模型嗎？
關鍵詞：
-
世界短訊！6G顯存玩轉130億參數大模型 RTX 2060用戶發(fā)來賀電 AMD不配嗎？
2023-05-19 -
每日看點！聚眾斗毆未動手該怎么判刑
2023-05-19 -
情灑老區(qū)山水間——“組團式”幫扶慶陽工作側記-世界最資訊
2023-05-19 -
環(huán)球短訊！我國首座斜截面提籃拱橋頂推到位
2023-05-19 -
暗黑破壞神4開發(fā)人員將在幾周內處理測試版反饋 今日最新
2023-05-19 -
世界即時看！商務陪同
2023-05-19 -
環(huán)球視訊！河南2023監(jiān)理工程師考試成績啥時候查
2023-05-19 -
世界首例泰坦尼克號3D全景掃描圖像完成， 探索沉船新發(fā)現-世界滾動
2023-05-19 -
當前時訊：五大重磅來襲 閃迪與閃迪大師亮相P&E2023
2023-05-19 -
鶴壁樓市真相：老城低價房或沒房本，新區(qū)單價最高上萬元-環(huán)球熱點
2023-05-19 -
試駕2023款長城商用炮 工具車也能有溫度_世界快播
2023-05-19 -
AI呼氣測定儀可實時“嗅出”新冠
2023-05-19 -
天天熱推薦：美晨生態(tài)：5月18日融資買入209.51萬元，融資融券余額1.76億元
2023-05-19 -
【新要聞】請留步，都市里有你溫暖的家
2023-05-19 -
32國代表齊聚深圳 共話紅樹林保護未來
2023-05-19 -
總投資201億元！桐鄉(xiāng)時代鋰電正極材料項目開工
2023-05-19 -
世界最資訊丨北京國管成為第一創(chuàng)業(yè)主要股東事項獲核準
2023-05-19 -
尤文連續(xù)2年顆粒無收，上次還是09-11賽季
2023-05-19 -
百事通！新開源 焦作高分子材料有限公司_關于新開源 焦作高分子材料有限公司簡介
2023-05-18 -
奔騰黑晶爐（黑晶爐） 新視野
2023-05-18 -
中國首部腦機接口領域倫理原則和治理建議書將發(fā)布-當前快看
2023-05-18 -
我蘇漫評丨相約美好中國，共赴幸福旅程！|環(huán)球熱頭條
2023-05-18 -
國米官方：姆希塔良左大腿前直肌拉傷，未來幾天再次接受評估
2023-05-18 -
專訪高通孟樸：5G技術仍處于發(fā)展中期，還未釋放全部潛力 全球熱頭條
2023-05-18 -
環(huán)球快消息！假如愛有天意影評_假如愛有天意好看嗎
2023-05-18 -
周鴻祎稱大模型發(fā)展中國一定要迎頭趕上 谷歌 Colaboratory 將加入 AI 寫代碼功能 環(huán)球快播
2023-05-18 -
星火成炬 | 用熱愛創(chuàng)造可能
2023-05-18 -
Deft直播看自己冠軍皮膚：為什么英雄聯盟里有我的皮膚？-環(huán)球訊息
2023-05-18 -
環(huán)球訊息：“校中廠”“訂單班”全面開花技能人才就業(yè)質量提升
2023-05-18 -
云南前首富難挽"舊改王"頹勢：俊發(fā)失守大本營昆明，拿地三年后退回|天天快播報
2023-05-18
-
守住網絡直播的倫理底線
2021-12-16 -
石窟寺文化需要基于保護的“新開發(fā)”
2021-12-16 -
電影工作者不能遠離生活
2021-12-16 -
提升隧道安全管控能力 智慧高速讓司乘安心
2021-12-16 -
人民財評：提升消費體驗，服務同樣重要
2021-12-16 -
衛(wèi)冕？突破？旗手？——武大靖留給北京冬奧會三大懸念
2021-12-16 -
新能源車險專屬條款出臺“三電”系統、起火燃燒等都可保
2021-12-16 -
美術作品中的黨史 | 第97集《窗外》
2021-12-16 -
基金銷售業(yè)務違規(guī)！浦發(fā)銀行廈門分行等被廈門證監(jiān)局責令改正
2021-12-16 -
保持穩(wěn)定發(fā)展有支撐——從11月“成績單”看中國經濟走勢
2021-12-16
