※ 引述《icrose (人本良心)》之銘言：
: 但是問題在於，如果中國中小公司用沒有一個海歸的團隊
: 就做出了這麼優秀的演算法優化
: 那如果全世界一起繼續優化，這半年又大幅發生成本降低怎麼辦，變形金剛模型其實算法
: 主體框架五六年沒有大的進化了
: 所以輝達和openai的只有堆算力一條路的敘事欺騙了世界兩年，現在敘事光環已破
: 用戶尤其是大用戶必然要重新審查自己的對輝達下單量。觀望或者只買原計劃的一部分是
: 理性的
: 中小用戶因為自搭模型門檻降低而發生需求大爆發，要等到什麼時候呢。目前不明朗，我
: 覺得，先跌2個月再說吧
應該不用那麼久
重點是DS是開源的
現在應該有許多數據中心已經開始實驗DS的演算法
我們先假設DS的創新
是往AGI道路上的王道
那麼在10萬張H100的算力訓練下
應該很快就能看到LLM的表現
在10萬張H100的暴力訓練下，質的突破
如果10萬張H100
跟2000張H800的訓練結果差不多
推理準確性沒有辦法有質的提升
那這個演算法不過是一個
地板很容易達到，但馬上會碰到天花板的
低成本的，但無成長性的演算法
馬上就會被要求更高準確性的模型區別開來
結局就是只能當基礎的，低成本的，內卷模型
如果10萬張暴力訓練，迎來質的突破
那算力依然是AI碾壓的條件之一
-----
Sent from JPTT on my iPhone
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 42.74.99.187 (臺灣)
※ 文章網址: https://www.ptt.cc/bbs/Stock/M.1737986132.A.DC0.html
沒有留言:
張貼留言