個人是不太了解, 因為也不是AI專家
現在看到中國在魔改二手顯卡跑一些千億級參數大模型推理和優化
他們拿這些二手顯卡跑 運行DeepSeek-Vision R1 72B、Llama 3.2 Vision 90B、Qwen2.5 72B和Qwen1.5 130B
就問了chatgpt這些大模型，通常需要高端什麼GPU。
回答就這張圖
https://i.imgur.com/cTD1LBh.png
但是中國現在魔改二手顯卡, 竟然也能跑
以下這台經過chatgpu比較,相當於H200 141GB × 1, 售價23000人民幣
88g顯存大模型推理機器，深度學習主機，四卡水冷2080ti22g一體機，GPU服務器，88g
vRAM服務器，ai繪圖服務器
deepseek-r1 32b能到20token/s
待機46分貝，4張卡溫度31℃，超級靜音，非常適合家用。
整機所有配件保修一年，讓您省時省力省心
，把主要精力與時間放在模型開發與應用上，不必操心硬件的穩定性。
帶觸摸屏幕
配置單如下：
CPU：epyc7402
顯卡：2080ti魔改22g＋一體水×4
主板：epycd8
內存：ddr4 3200 recc 64g
硬盤：鎧俠rc20 2t
電源：長城2000w金牌電源
機箱：瓦爾基里vk02，帶10.1寸觸摸屏幕
https://i.imgur.com/iTtlDiZ.jpeg
https://i.imgur.com/toc6Oh7.jpeg
https://i.imgur.com/H9w8Adj.jpeg
這樣大量搞起來, 會是對nvda毀滅性的打擊嗎？
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 111.243.172.116 (臺灣)
※ 文章網址: https://www.ptt.cc/bbs/Stock/M.1738507108.A.06B.html
推 breathair : 99nvdl 02/02 22:40
推 b455104 : deepseek對輝達本來就是大利空 02/02 22:41
推 realmd : 0 土砲的東西不可能大規模量產 就玩票性質 02/02 22:41
推 stocktonty : 輝達山寨系列 終於生出來了!?要不要改叫CVIDIA 02/02 22:41
推 sova0809 : 這種個體跟diy可以玩玩 商家需求就算了吧 02/02 22:43
推 jfw616 : iphone 6也能用…為何需要iphone 16 02/02 22:45
→ jfw616 : 我都還在用win xp…誰電腦升級win 11了 02/02 22:45
推 sdbb : Win2000再戰十年 02/02 22:46
推 ULTIMA1002 : DS就是不用依賴cuda這個架構,只要是GPU都可 02/02 22:48
推 tangolosss : 沒有openAI的問答集 deepshit也做不出什麼鳥屁 02/02 22:50
推 aspirev3 : 我覺得甚麼2TB內存部屬671B完整版模型有用一些 02/02 22:52
推 karta513165 : 還以為走錯板 02/02 22:54
推 c41231717 : 這種要求的是穩定性 你不穩定要怎麼獲利 02/02 22:54
→ kevinmeng2 : 中國很多土炮的，但穩定度跟安全性都不佳， 02/02 22:55
→ kevinmeng2 : 也不能量產，不能當作常態，只能當作奇蹟 02/02 22:55
推 JasonKOU : 就我理解 ds還是採用nvidia的ptx 02/02 22:55
推 sharkman1793: 為什麼是用2080ti? 02/02 22:55
→ JasonKOU : 所以應該不是什麼gpu都可以 02/02 22:55
→ kevinmeng2 : 有興趣可以上yt 找土炮4090電腦顯卡上筆電顯卡一樣 02/02 22:56
→ kevinmeng2 : 可以用，效果也超好，但重量八公斤，還能叫筆電嗎 02/02 22:56
推 guanting886 : 魔改的要做大家做得到 真的這樣就夠不會有人需要特 02/02 22:59
→ guanting886 : 別花錢買伺服器/工作站 02/02 22:59
推 tsubasawolfy: 你以為伺服器是在賣心酸的嗎 02/02 23:01
推 paulgao : 當然都可以跑，差在算力啊，蓋房子一個人也能蓋，但 02/02 23:01
→ paulgao : 專業的工人+數量快很多吧 02/02 23:01
推 stlinman : NVIDIA Project DIGITS 才3000美金，何必買土炮？ 02/02 23:03
→ Rattlesnake : ebay上就有h100深圳出貨的了改個鳥不會直接買 02/02 23:05
→ Rattlesnake : 美國管制根本就是笑話 02/02 23:06
→ KiwiSoda01 : 訓練跟運行是兩回事 02/02 23:07
推 OhtaniHR : 這種就算效能可行 沒辦法大量生產就不可能有啥決定 02/02 23:07
→ OhtaniHR : 性的影響 02/02 23:07
推 jiansu : 這個真的不如上了 nv project digits 或是amd str 02/02 23:08
→ jiansu : ix halo128gb 32b模型實在不值得這樣搞 至少70b 要 02/02 23:08
→ jiansu : 搞直接上671b的模型 02/02 23:08
推 guanting886 : 做等project digits 我記得五月 3000美金真的很甜 02/02 23:09
→ guanting886 : 只怕又被黃牛掃光了 02/02 23:09
→ KiwiSoda01 : 拿蓋房子來說 蓋房子 裝潢不能放在同一個水準 更何 02/02 23:10
→ KiwiSoda01 : 況你這個例子連裝潢都沒有 只是搬進去住而已 02/02 23:10
推 wahaha99 : 因為2080ti才有NVLINK 後面還有一張3090 02/02 23:10
→ wahaha99 : 之後的都拿掉了 02/02 23:10
推 stocktonty : 這就是超頻者天堂的樂趣啊 真懷念 02/02 23:11
噓 f12sd2e2aa : 這是認真文？哪個大公司會這樣幹 02/02 23:11
→ destroyss : 魔改是取下4090核心裝在3090的PCB板上加上48G ram 02/02 23:12
→ destroyss : 跑推理 2080Ti太舊了 02/02 23:12
→ abc21086999 : ? 02/02 23:12
→ abc21086999 : 這篇文章是認真的嗎 02/02 23:12
→ yinaser : 目前已經有人用A6000跑離線671b模型做股票分析了 02/02 23:14
推 bpq302302 : 改到爆再快也只是86 02/02 23:14
→ yinaser : 只能說這成本低得離譜 02/02 23:16
→ jamesattw : 可以跑跟跑的快不一樣 02/02 23:19
噓 LiamTiger : 這又沒辦法大規模企業化== 02/02 23:19
→ vodkalime607: 以前很多台灣玩家很多人醬玩 02/02 23:19
推 duriamon : 老黃刀法就是垃圾 02/02 23:19
推 stlinman : Jetson Orin Nano Super應該也是跑得動Deepseek蒸餾 02/02 23:19
→ LiamTiger : 你用一百個奧運腳踏車選手一起出力騎一台車，也拼 02/02 23:20
→ LiamTiger : 不過裝法拉利引擎的汽車 02/02 23:20
推 alex5566 : 不用想太多 軍火都能從黑市走私 晶片怎麼會做不到 02/02 23:20
→ alex5566 : 一定有辦法拿到高階的來用 02/02 23:20
推 zip00000 : 能跑但是智商可能不超過50 你懂我意思嗎？ 02/02 23:21
推 epephanylo : ....我想問問 幾張5090能順跑DS?? 02/02 23:21
→ zip00000 : 重點怎麼會放在能不能跑？應該是多聰明吧 02/02 23:22
→ duriamon : 現在開源AI離線inference的瓶頸不是晶片性能，而是 02/02 23:22
→ neo5277 : 也不是不行啦，便宜有便宜的玩法 02/02 23:22
→ duriamon : 老黃VRAM故意給你砍讓你無法跑，呵呵！ 02/02 23:22
推 SRNOB : 4090 全改48g 02/02 23:22
→ KY1998 : 你有辦法土炮100台弄成集群穩定跑再說 02/02 23:23
→ neo5277 : 中國張哥那種等級的很多模改不是問題 02/02 23:24
→ duriamon : 重點覺對是能不能跑，你VRAM都不夠模型裝不下，還跑 02/02 23:24
→ duriamon : 什麼鬼？呵呵！ 02/02 23:24
推 SRNOB : 能跑 都有影片了 02/02 23:25
→ duriamon : 會搞魔改就是驅動大語言模型最低的需求是VRAM 02/02 23:25
推 Chilloutt : 隔壁棚 有28 張 ram 用蘇媽apu 衝的 02/02 23:28
推 bj45566 : 這些只是技術宅(如果不直接用"死nerd"這個詞)生活 02/02 23:32
→ bj45566 : 中的小確幸而已 02/02 23:32
推 ImHoluCan : iPhone 8 也可以上網看影片拍照片，幹嘛用iPhone 02/02 23:34
→ ImHoluCan : 16，手機怎麼會有傻子ㄧ直買新的 02/02 23:34
推 lifeterry : 跟疫情時口罩疫苗，over booking 87分像 02/02 23:34
推 onekoni : 這繞過的幅度已經是繞路超車了 02/02 23:36
推 mamorui : 用這個不能賣錢 想想NVLink 02/02 23:37
推 jiansu : 對岸 個人或是小單位應該是用4090魔改48g 品質應該 02/02 23:42
→ jiansu : 還可以 應該是有一個黑色產業鏈在搞 inference門檻 02/02 23:42
→ jiansu : 沒那摸高主要是那個記憶體 所以有Mac 這種有128gb 02/02 23:42
→ jiansu : 拿來搞 project digits就nv 要給的答案 strix hal 02/02 23:42
→ jiansu : o128gb也有機會更便宜 這些都是量產消費產品級 改 02/02 23:42
→ jiansu : 天amd intel直接gpu上大顯存都不意外… 02/02 23:42
→ MacBookAir12: 魔改的有穩定性問題 這只能個人玩玩而已 02/02 23:48
噓 NEX4036 : 卷到爆炸 厲害了我的國 02/02 23:50
推 F93935 : 能跑啊，穩定性呢？再來你說的這些辣雞不會漲價嗎 02/02 23:50
推 neo5277 : 我一張4070ti12g而已跑14B體驗都很好了加到128飛天 02/02 23:50
推 kanehhh : 所以PC利多嗎？ 02/02 23:53
推 neo5277 : 這就是我之前說的只要花得起錢的中小企業都可以自己 02/02 23:56
→ neo5277 : 來在多弄一點連小微調都可以 02/02 23:56
→ neo5277 : 頂多就是老黃的刀會比較不利 02/02 23:57
→ neo5277 : 這就等於以前的黑蘋果 02/02 23:58
→ redbeanbread: 地動山搖 02/02 23:58
推 junshinw : 魔改沒專利嗎？量大鐵定被告啊！你魔改Iphone量大 02/03 00:03
→ junshinw : 不會被告嗎？ 02/03 00:03
→ duriamon : 老黃自己都想賣大陸了告什麼？是皮到被川普拉正，你 02/03 00:07
→ duriamon : 以為老黃討厭大陸喔？川普登基大典不去跑去大陸唱跳 02/03 00:07
→ duriamon : 過新年的咖耶！笑死！ 02/03 00:07
→ takase : 這種魔改犧牲的是零件的壽命,你舊顯卡存貨也不可能 02/03 00:09
→ takase : 那麼多 02/03 00:09
推 huabandd : 中國魔改真的是蠻厲害 02/03 00:15
推 RaiGend0519 : 我還沒看過有商家做iPhone擴容被告的 02/03 00:19
→ RaiGend0519 : 硬體買下來改裝還能被告 太有趣惹 02/03 00:21
→ bndan : 土砲的東西不用多 擺個100組去機房試營運個3個月就 02/03 00:35
→ bndan : 好 能玩的起來的就算你有搞頭..連nv制式的都需要透 02/03 00:35
→ bndan : 過大量汰換才能營運 你這種土砲的玩具 放在要營運 02/03 00:35
→ bndan : 的機房內只會是管理災難而已 想啥呢 == 02/03 00:35
推 Argos : 土砲以前礦潮時早就玩過了 但一改下去沒兩下就燒壞 02/03 00:48
推 jiansu : 看了amd 一下7900xtx 32b q4km 31tk/s新卡售價3w5 02/03 01:13
→ jiansu : 如果你只要deepseek比你這快 應該不用買洋垃圾 02/03 01:13
→ yunf : 兩種作業系統都要用 02/03 01:55
→ yunf : 不試怎麼知道問題在哪？ 02/03 01:55
→ wed1979 : 家庭工作站，佈建一台幫小孩做作業，報告寫得頭頭是 02/03 03:59
→ wed1979 : 道 02/03 03:59
噓 mdkn35 : 洋垃圾真的香 02/03 07:12
→ joeboy : 不要小看左岸魔改能力 02/03 07:15
→ joeboy : 看看張哥，老斯基就知道，業界一堆有能力自己動手 02/03 07:15
→ askaa : 這太爛了拉 我用紅白肌膜改就能跑了 你太花錢了 02/03 07:30
推 horcy : vram能跑不代表回應速度夠快呀 02/03 07:54
推 Homeparty : vRAM的問題 02/03 08:14
推 Homeparty : Nvidia 的tesla系列也是Vram加大而已 02/03 08:18
噓 maplefff : 20 token/s 回家睡覺好嗎 02/03 08:19
→ maplefff : 有空搞這些, 不如上Azure租一下就好 02/03 08:19
推 ILike58 : 真以為老黃的刀法評價假的…… 02/03 08:20
推 Homeparty : 小企業，6人內20token/s這樣是夠了 02/03 08:21
推 Homeparty : 你也會發現很多都是2系列去魔改的，因為這些之前是 02/03 08:31
→ Homeparty : 挖礦卡二次利用，如果會玩水冷等，用Nvidia tesla 02/03 08:31
→ Homeparty : 系列也沒有比較貴 02/03 08:31
→ ActionII : 2系列去魔改的原因是因為還支援多hours串連吧… 02/03 08:39
→ ActionII : *多gpu 02/03 08:39
沒有留言:
張貼留言