DeepSeek這塊有幾個看法 Training端就等之後瓜出來再吃
在Inference這塊 因為受限於MoE 所有推論成本可以降下來 但需求變高的是用記憶空間
和各個node之間的通訊開銷 以及軟體上cpu/gpu的load balance
以deepseek v3來說 600GB+ fp8 需要許多平行運算 這意味通訊瓶頸很重要
因為在切換專家時候 延遲會因此也跟者追加 而記憶體需求開銷也很大
另外一點就是37B Activation是主因讓推論可以成本下降 (不用全部671B來跑)
以h100來算這會讓同樣算力 成本下降10倍以上
但對算力晶片load balance和通訊跟記憶體開銷需求也跟者增大
但對於同樣算力可以提高10倍以上token產出
MoE好處就是更適合特制化的低成本下游任務 不適合泛化場景 所以不能用在機器人
這種場景多變任務上
這就代表 假設Deepseek最後成為低成本主流 這意味還是只有老黃能吃下它
(因為需要昂貴load blance 通訊開銷 高需求vram)
ASIC那邊不適合用在MoE架構 這些低成本就某種意義會解鎖ai產品化
原本之前最大問題就是 現有的模型在Inference產生token的電力成本太貴
如果能讓現有成本下降 這樣才會能直接適用到消費端去
並不是說 提高tokens生產數量/單位算力 就等於減少鏟子賣出
事實上 token數量/單位算力 過低 會造就無法ai模型落地化 反而產子賣不出去
最好的例子就是DeepSpeed (AI Backend 優化) 這玩意一年前 微軟就用它來提高
tokens數量/單位算力 號稱能增加1.5~3倍快同樣算力 結果微軟反而願意花更多錢買算力
這波最大意義大概就是會變動推行MoE架構 然後ASIC死去 QQ 而老黃有NVLink
和壟斷HBM產量 又有良好的cuda為主的AI Backend做load balance 感覺很難輸
說到底 最簡單的觀察就是看1/23微軟財報的資本支出 微軟在01/03說出2025 80B
(Deepseek v3 12/26/2024 模型釋出) 如果01/23資本支出維持原案 那就沒啥太大擔心
--
MoE缺陷:需要把所有專家放入內存 對顯存(VRAM)壓力需求高大 高熬貴通信成本
不利模型泛化性 適合單一任務(畢竟你只用了原本模型部分activation parameter)
※ 引述《keio5566 (56不滅)》之銘言：
: 是不是又是GG的勝利
: 能夠用科技大頭的5%成本就能開發AI
: 意味著行業的進入門檻變低，AI元年正式啟動
: 最高端產品的銷量受影響，但接下來市場要的是便宜堪用的產品
: AMD吃到一波紅利，整體晶片代工需求繼續增加
: 苦的是NV，GG依然贏麻了= =
: 大家恐懼我貪婪
: 2025年抄底GG的最佳時刻是否即將到來？
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 76.21.72.78 (美國)
※ 文章網址: https://www.ptt.cc/bbs/Stock/M.1737958391.A.808.html
※ 編輯: LDPC (76.21.72.78 美國), 01/27/2025 14:15:02
推 HenryLin123 : NVDA > AVGO 嗎？ 01/27 14:14
推 acidrain : 海力士/美光利多 01/27 14:15
推 davie11333 : 弄HBM的MU還有救嗎 01/27 14:15
推 ck326 : 微軟支本支出不太可能有什麼變，時間這麼短 01/27 14:16
推 aspirev3 : 想知道萬潤和法師的看法QQ 01/27 14:16
推 MacBookAir12: 其實反而應該是AVGO 的利空...3661 3443... 01/27 14:20
推 jumilin927 : 推 低成本的ai晶片不妙 01/27 14:20
→ strlen : CEO也發推了 立場很清楚了吧 01/27 14:21
推 Brioni : 資本支出不可能短時間修改+1 01/27 14:22
推 qweaaazzz : 推推，好人一生平安 01/27 14:22
推 MacBookAir12: 前一陣子有炒作一波ASIC 現在通通都要下去 01/27 14:22
→ Brioni : 但股價可以短時間劇烈波動 01/27 14:23
推 HiuAnOP : 其實更優的成本對軟軟，狗哥，雅麻，詐騙公司都是 01/27 14:23
→ HiuAnOP : 長期利好 01/27 14:23
→ HiuAnOP : 短期跌一下前期投入根本沒差，祖大少元宇宙虧爛還 01/27 14:23
→ HiuAnOP : 不是好好的 01/27 14:23
→ MacBookAir12: 然後AIPC 或許可以提早放量 01/27 14:24
推 JoshBeckeet : 但avgo 股價還未受到衝擊 01/27 14:24
推 Jerry469 : 3661死去 01/27 14:24
→ MacBookAir12: 甚至不需要額外NPU去運算了<-這比較極端想法XD 01/27 14:24
→ Brioni : 再來就是次級玩家不一定要追GB200、GB300 01/27 14:24
推 s987692 : 那怎麼看AMD去搶推論這塊？ 01/27 14:24
推 jerrychuang : 99 MU 01/27 14:25
→ MacBookAir12: AVGO可能要等市場開盤之後會比較清楚 01/27 14:25
→ MacBookAir12: 現在美國那邊還是27號凌晨 01/27 14:25
推 abcd5566 : 如果是有效率的話 資料中心一定越蓋越多 01/27 14:25
推 jumilin927 : ASICㄘㄨㄚ、勒蛋 01/27 14:25
→ zer0319 : 如果DS能這麼低成本達成80%水準，那這些大頭應該是 01/27 14:26
→ zer0319 : 研究怎麼讓資本支出跟成效比例合理，而不是降低支出 01/27 14:26
→ zer0319 : 吧，不然這些大頭一堆現金要幹嘛 01/27 14:26
推 uuuc1223 : 請問交換器需求的看法？ 01/27 14:28
→ Brioni : 根據過往Cost down財報噴！股價噴！ 01/27 14:29
推 MacBookAir12: 能不能COST DOWN 我覺得先看論文 可不可能重現 01/27 14:30
推 sheep2009 : 利多吧 一堆人加入ai反而csp要更多算力租借出去 01/27 14:30
→ MacBookAir12: DS使用類似當初GOOGLE 圍棋那套方式去自我訓練 01/27 14:30
→ MacBookAir12: 然後5萬張H100 傳聞也不知道真假XD 01/27 14:31
→ MacBookAir12: 不過MoE模型的確是可以有效降低成本 這沒錯 01/27 14:31
→ MacBookAir12: 最後變成是賈維斯跟事務型機器人的對決XD 01/27 14:32
→ zer0319 : 最終目標還是拼出AGI，其他都是過渡 01/27 14:33
推 aegis43210 : 還早，各大廠可以用DSP來提前適應新的推論需求，而 01/27 14:33
→ aegis43210 : 記憶體方面用HBM2E也足夠應付推論需求 01/27 14:33
→ aegis43210 : DS這套不可能成為AGI，這是提前耗盡潛力的模型 01/27 14:36
推 King530678 : 結論：NV 多更多 01/27 14:36
→ CCH2022 : 的確，NV LINK還是優勢，與軟體的平衡。AI基建的需 01/27 14:39
→ CCH2022 : 求還是持續。 01/27 14:39
推 onekoni : 推分析 謝謝 我差點想成反的方向 01/27 14:39
推 tsukuyomii : 以美股現在來看 感覺是NV AVGO TSM三殺 01/27 14:39
推 onekoni : 短線通殺一定的 重點是殺完買誰 01/27 14:40
→ onekoni : 年後有殺來買點老黃@@ 01/27 14:41
推 dani1992 : 論文裡就寫alphago那套MCST失敗了，是怎麼看的 01/27 14:41
推 s800525 : 第一天看科技股？通常消息出來都先漲/殺，之後再來 01/27 14:42
→ s800525 : 澄清再反轉，都懷疑那些資金趁消息出來故意拉/壓股 01/27 14:42
→ s800525 : 價作法 01/27 14:42
推 Brioni : 殺完整理籌碼繼續往上 01/27 14:42
推 kill2400 : 可是股價不是這樣反應喔 01/27 14:42
推 sharkpops : 不過我剛剛請他幫我讀個股報告 說報告內容違反政策 01/27 14:42
推 tsukuyomii : AVGO不止做ASIC 交換器 網通 光通訊都做 就算沒AI A 01/27 14:43
→ tsukuyomii : SCI也是持續成長的東西 AVGO就算這個利空也很難崩跌 01/27 14:43
→ tsukuyomii : 畢竟她產業太多樣 01/27 14:43
推 jumilin927 : 殺完如果最終評估不受影響還是噴回來 哪次不是這樣 01/27 14:44
推 JoshBeckeet : 總覺得華爾街不會亂買再亂殺XD 01/27 14:45
推 sharkpops : 應該是指完全不依賴人類知識...接近alphazero... 01/27 14:46
→ sharkpops : 華西街最擅長的就是亂買跟亂殺啊XD 01/27 14:46
→ jacktypetlan: 很有趣 可以自己去問看看 01/27 14:49
推 watashino : 認真文 給推 好人 01/27 14:49
推 dongdong0405: 這才是有料的發文 不像那些無腦黑無腦吹的 01/27 14:53
→ squelch : GPT-4 不也是 MoE? 差在哪裡? 01/27 14:53
→ vicklin : 很久以前PTT這種很多.. 01/27 14:53
→ squelch : 問題是這篇怪怪的，機器人如果不聯網。 01/27 14:54
→ squelch : 請問憑機器人有限的算力與記憶體 能使用什麼模型? 01/27 14:55
→ squelch : 機器人問題跟自駕系統是一樣的。 01/27 14:56
推 audic : 感謝好人一生富貴 01/27 15:00
推 allen0080 : 優質好文。 01/27 15:00
推 ImHoluCan : 推 01/27 15:03
推 JoshBeckeet : NV盤前7%了？真嘟假嘟 01/27 15:09
推 fuhoho : 推 01/27 15:11
→ IBIZA : NV差不多跌7%沒錯 01/27 15:20
→ IBIZA : 不過現在還不到盤前時間 是黑池交易所跟券商內部 01/27 15:22
→ IBIZA : 報價 01/27 15:22
推 JoshBeckeet : 達人說TSM也快7%了，真的是腥風血雨 01/27 15:26
推 patri0052 : 今天晚上可以接刀子嗎 01/27 15:27
→ IBIZA : TSM -6.57% 01/27 15:28
→ pilimew : HBM只是這幾年的過渡期產品，沒跟上的不需要追高。 01/27 15:32
→ bnn : 講白了 你人類接上網之前怎麼學習的就怎麼學習 01/27 15:33
→ bnn : 不聯網只是比較智障 但你很多工作本來也只需要智障 01/27 15:33
→ bnn : 一堆訓練真的需要聯網嗎 他這模型是在節省訓練&記憶 01/27 15:34
→ s860703 : 開盤台積連跌停兩天我就相信 01/27 15:36
推 cosmite : 好人推 01/27 15:38
→ vicklin : 這種極端工作條件總感覺有免洗軍用衍生的用途 01/27 15:41
推 zxzx8059 : nv出了比avgo還猛的pcie sw才會是avgo利空 01/27 15:43
推 Brioni : 讓子彈飛一會兒 01/27 15:46
→ wed1979 : 記憶體跟SSD不就長江庫存超多，換別的地方還真沒這 01/27 15:48
→ wed1979 : 條件 01/27 15:48
推 popo123456 : Chatgpt meta google Amazon 早晚會下去吧,中國用免 01/27 15:58
→ popo123456 : 費跟你競爭,怎麼玩下去 01/27 15:58
噓 cht12341234 : 我是相信後年b通就會讓老王吃屎 01/27 15:58
→ cht12341234 : nvlink沒那麼厲害 01/27 15:59
推 pucca068 : 這重點不是大陸不再受到美國限制嗎…..如果ai可以 01/27 16:01
→ pucca068 : 自己研發到這程度話～世界就不再是美國說了算歐～ 01/27 16:01
→ pucca068 : 單純討論公司間的影響的話～我覺得意義不大～ 01/27 16:02
沒有留言:
張貼留言