掌握最即時的股市資訊

2025年1月26日 星期日

Re: [新聞] Meta陷入恐慌?內部爆料:在瘋狂分析複製DeepSeek,高


Re: [新聞] Meta陷入恐慌?內部爆料:在瘋狂分析複製DeepSeek,高 - 看板 Stock - 批踢踢實業坊
剛剛看FB,發現有個中國的作家對於Deepseek的作文水平感到驚訝,用了相同問題,以王家 衛的電影風格去撰寫標題為人生何處不相逢的散文,來分別問CHATGPT-O1跟Deepseek-R1 ChatGPT-O1: https://i.imgur.com/T2jN9hZ.jpeg
Deepseek-R1: https://i.imgur.com/IitIbR0.jpeg
我是覺得Deepseek的回答好像有點純堆砌王家衛的電影名台詞的感覺,通篇王家衛感,但是 不知道在說甚麼 ChatGPT 在最後有點出散文標題,內容也比較有切合標題 這應該可以當作兩者的能力小比拼吧? -------- 補: 我也有用4O用相同問題問過,我覺得寫得比O1跟R1還好 https://i.imgur.com/7DN4Dz9.jpeg
這滿神奇的,O1應該是ChatGPT 最強的模型,但是寫散文我覺得沒有4O寫得好 -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 125.228.63.38 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/Stock/M.1737858242.A.BEE.html
s213092921 : 重點是Deepseek背後的成本只有ChatGPT的20分之1 01/26 10:34
iaminnocent : 確實,訓練成本這件事情蠻令人訝異的,OpenAi也宣 01/26 10:41
iaminnocent : 布O3-mini將免費了 01/26 10:41
TaiwanUp : 如果不知道是台詞 R1有故事感但無邏輯 結尾有蛇年感01/26 10:44
breathair : 只代表對於演算法大科技也要花大錢挖人 01/26 10:45
breathair : 來搞了,算力的投資不會減少,不然等你 01/26 10:45
breathair : 演算法追上,算力又落後了怎辦?01/26 10:45
strlen : r1實際用遠不如抬面上的啦 只有評測嚇人 無庸質疑01/26 10:55
TaiwanUp : O1比較像沒有人生經驗學生寫 可以再tune一段小故事01/26 10:55
strlen : 但deepseek重點在它開源 還公開論文 好耶 作功德 誰01/26 10:55
strlen : 不愛?載回來用免錢 改免錢的 中國人要作功德當然好01/26 10:56
TaiwanUp : R1就每段都小故事 恐怕就是直接從劇本拼湊出來的01/26 10:56
mamorui : pretrain的成本占總成本7-9成,R1是只管posttrain01/26 10:58
mamorui : ,R1高成本會嚇死人。 01/26 10:58
mamorui : 然後是DeepSeek-V3宣稱557萬,但strawberry幾個r也01/26 11:03
mamorui : 會錯的跟其他一模一樣, 如果pretrain全部自己的資01/26 11:03
mamorui : 料怎麼會錯01/26 11:03
s213092921 : http://i.imgur.com/NWWWmUD.jpg01/26 11:04
mamorui : 簡單說,成本漂亮那就不要有那麼多別的模型的影子01/26 11:07
mamorui : 。01/26 11:07
iaminnocent : 其實樓上有點出問題,pretrain的預標數據集才是最01/26 11:08
iaminnocent : 貴的,這些可能都是美國公司花大錢去做的01/26 11:08
iaminnocent : pretrain資料集需要人工介入標記,這個東西貴鬆鬆 01/26 11:08
mamorui : 我沒有說不能吹能力,但成本就誇張了,我想看的是D 01/26 11:11
mamorui : eepSeek從pretrain就是土法煉鋼,那才叫真的沒花這 01/26 11:11
mamorui : 麼多成本。01/26 11:11
mamorui : 我沒看那麼多文章,如果有人找到paper解釋DeepSeek 01/26 11:16
mamorui : v3為什麼strawberry的r幾個錯的跟其他模型一模一 01/26 11:16
mamorui : 樣是理所當然,而且預訓練是很純的資料(這家公司01/26 11:16
mamorui : 自己收集的資料、沒有借助其他LLM產生好資料 =》01/26 11:16
mamorui : 準備好資料是預訓練之常識)01/26 11:16
y800122155 : 從Transformer到GPT到ChatGPT等LLM,不都是一直堆疊01/26 11:16
y800122155 : 在前人的成果? 現在DS發表用RL訓練不就只是換一種疊01/26 11:16
y800122155 : 法? 自己要發布論文發布技術本來就是願意給別人用讓01/26 11:16
y800122155 : 產業一起推進,在那邊吵什麼別人在哪個階段沒花到錢01/26 11:16
y800122155 : 不公平有啥意義? 01/26 11:16
mamorui : 做到上述兩項,那我就真的給這家鼓掌01/26 11:16
woker : 中國出產品走向是中低成本市場。沒有一定要當頂尖01/26 11:17
woker : 但cp值可能不錯01/26 11:17
icexice : deepseek的回答真的好王家衛XD01/26 11:17
TaiwanUp : V3的排名還是差4o(11月版)較遠 跟4o(五月版)較近01/26 11:19
mamorui : 沒說他們沒花錢,重點前人pretrain花多少,嘲笑前01/26 11:19
mamorui : 人砸大錢,DeepSeek應該pretrain的資料總該是全部01/26 11:19
mamorui : 都自己的、沒有用其他LLM生成的,有人要背書嗎?01/26 11:19
TaiwanUp : 中低成本4o再開放一點權限給免費版就有了 01/26 11:20
mamorui : 有人要幫DeepSeek背書pretrain的資料準備嗎 01/26 11:20
y800122155 : 所以是DS的工程師還是老闆自己出來"嘲笑"嗎? 現實就 01/26 11:24
y800122155 : 是如果別人能重現 DS R1,在算力巨大差異下可以直接01/26 11:24
y800122155 : 加碼做到 R10、R100、R1000,到時DS花的500萬也是一 01/26 11:24
y800122155 : 樣丟到水裡 01/26 11:24
mamorui : 我們看的是總成本,只要找到證明背書pretrain,雖01/26 11:24
mamorui : 然正確率差一點,這成本就真的是今年最神的,很簡01/26 11:24
mamorui : 單。01/26 11:24
strlen : https://tinyurl.com/3dfs2j8k 楊立昆都說話了 這就01/26 11:24
strlen : 站在前人肩膀上發展 但也開源沒有藏 所以很棒 稱讚01/26 11:25
strlen : 成本怎麼樣無所謂啦 他都要作功德了 一塊成本都是賺01/26 11:25
strlen : 阿祖就是號召大家AI都來作功德 變成今天這樣很合理01/26 11:26
mamorui : 是啊 我對於佛心沒意見 XD 01/26 11:26
TaiwanUp : DS的預訓練要用上微信用戶聊天訊息 可能會比較霸氣01/26 11:26
strlen : 誰不曉得中國最厲害的就是魔改別人的東西?01/26 11:26
strlen : 但deepseek算有良心了公開魔改方法 過去一堆垃圾 偷01/26 11:27
mamorui : 學術界是齊心討論,可沒酸前人01/26 11:27
strlen : 人家的 營利就算了 還反告別人 嘻嘻01/26 11:27
mamorui : 我都直接拿strawberry看是不是資料同源 XDDD01/26 11:28
strlen : 老實講 你有GPU有伺服 抓r1下來自己調一調開API 它01/26 11:28
strlen : 也不能拿你怎樣 這樣還不好?01/26 11:28
jatj : 好啦 1/20 1/20 阿就比較爛啊 阿就買不到算力啊 01/26 11:29
mamorui : API就可以串接了 繼續拿資料才是目的 01/26 11:29
mamorui : 開源的原因很好懂 我之前整合資料庫 免費的最popul 01/26 11:31
mamorui : ar的Postgres會支援 其他免費的就再說01/26 11:31
mamorui : 所以知道為什麼要開源碼 市占是真的很重要 01/26 11:32
mamorui : 因為公司可以決定支援的順序 01/26 11:32
wangm4a1 : 站在巨人肩膀上 科技正常現象01/26 11:33
Enzofulgura : 看完覺得Deepseek比較懂得王家衛XD01/26 11:39
iaminnocent : 但是文章內容跟標題完全沒關系XDD01/26 11:42
s860703 : 講這麼多 美股續漲01/26 11:49
tradeent : DeepSeek寫得比較好01/26 11:50
tradeent : http://i.imgur.com/c9C1WzU.jpg01/26 11:50
Liberl : 股癌的台股美股電報群已經有很多大神分析過了01/26 11:53
Liberl : 去那邊看就好了 01/26 11:54
Liberl : 或是Miula的臉書也有討論01/26 11:54
toulio81 : 中國公司很多的低成本都是假象,要不就是用品質實01/26 11:54
toulio81 : 際上無法穩定達標的產品充數,要不就是政府補貼導01/26 11:54
toulio81 : 致的低成本,歐美無法學後者,而前者更是一條死路01/26 11:54
tradeent : 請問樓上怎麼加電報群01/26 11:55
iaminnocent : tradent大,因為我是限定用O1跟R1這兩個來進行,如01/26 11:56
iaminnocent : 果用4O跟V3,也會有不一樣結果,這蠻特別的,我也01/26 11:56
iaminnocent : 覺得4O寫的比O1好01/26 11:56
iaminnocent : 以下是4O寫的,我反而覺得寫得比O1還好01/26 11:59
iaminnocent : https://i.imgur.com/7DN4Dz9.jpeg01/26 11:59
iaminnocent : 最後那句「真好,人生何處不相逢」有震驚到我,這01/26 11:59
iaminnocent : 個還是在O1之前我先用4O寫的01/26 11:59
iaminnocent : 但因為我想說要比較兩個最強的,就以O1比R1,但是01/26 12:00
iaminnocent : 我覺得寫散文反而4O好於O101/26 12:00
mamorui : o1是推理型,以r1為例,我問r1不清楚的先問v3、再01/26 12:01
mamorui : 啟動r1,r1就突然知道了01/26 12:01
※ 編輯: iaminnocent (125.228.63.38 臺灣), 01/26/2025 12:02:48
iaminnocent : 得到結論,王家衛的文字用理論是不行的XD要用感情 01/26 12:04
mamorui : 如果是AGI,就不會有能力差異,表現如何是穩定的, 01/26 12:05
mamorui : 雖然還沒有AGI。 現在看到LLM會出並存的系列,就當 01/26 12:05
mamorui : 做遊戲角色各種族差異,要想好先用誰再用誰,AI的 01/26 12:05
mamorui : 思考跟記憶是仿人腦(非電腦),所以可以交錯問。 01/26 12:05
mamorui : 像r1就是一定要推理,關掉才能切到V3 01/26 12:06
maxc55555 : 怎麼辦,我只覺得是王家衛寫的好不好的差別,而且 01/26 13:04
maxc55555 : 散文本來就很吃共鳴XD 01/26 13:04
ntr203 : 之前看過中國豆包跟gpt辯論,再來比一次阿 01/26 13:06
pcjimmy : 寫文章的話,4O的能力好很多 01/26 13:09
PoloHuang : 這邊高手好多 01/26 13:39
SuperBig78 : 可以多生成幾篇試試嗎?感覺每次生成的結果應該會有 01/26 13:46
SuperBig78 : 程度上的差異,但deep seek成本相對chatGPT系列真的 01/26 13:46
SuperBig78 : 滿低的@@ 01/26 13:46
s213092921 : https://reurl.cc/qn2dXy 01/26 13:48
tcypost : 這邊對作家最有用的是R1,對學生有用的是4O 01/26 14:14
tcypost : O1只是通順,沒有特色 01/26 14:15
utn875 : 再次證明站在巨人肩膀是最划算策略 01/26 14:17
chaohsiung : 做功德的話 api的token應該要免費才是 01/26 14:18
chaohsiung : O1 4O 嚴謹程度設定應該不一樣 01/26 14:20
iaminnocent : 對作家最有用的不是R1吧,他就只是把王家衛的台詞 01/26 14:21
iaminnocent : 搬過來,作家這樣寫會被告抄襲吧 01/26 14:21
mrmowmow : 你用九把刀的品味去評鑑4o比較好的嗎? 01/26 14:34
smallph01 : 我是比較喜歡01的版本 每一句都讓我想多停留幾秒去 01/26 14:44
smallph01 : 思考它的意涵意境 也讓我又一次驚訝Chatgpt 的能力 01/26 14:44
iaminnocent : 4O有呈現回憶細節感,相比起O1來說我覺得較容易閱 01/26 14:50
iaminnocent : 讀阿 01/26 14:50
newwu : 很明顯R1寫得最爛 01/26 15:46
poeoe : 很明顯DeepSeek寫的最有感 01/26 16:29
DarkerDuck : 數學、程式、科學那種需要推理的才會用到o1 01/26 18:11
mamorui : 沒有按Deep think其實是走V3, 按了才是R1(或者R1- 01/26 18:11
mamorui : preview ? ) ˊ_>ˋ 01/26 18:11
DarkerDuck : 你散文用o1寫反而讓CoT毀了原本流暢的寫作脈絡 01/26 18:12
DarkerDuck : 4o才是符合寫作直覺的產生方式 01/26 18:12
DarkerDuck : OpenAI又不是傻了,o1最強為什麼還要留個4o 01/26 18:13
DarkerDuck : 我自己再問那些篇直覺的問題也是只問4o 01/26 18:13
DarkerDuck : 用o1還占我使用的額度 01/26 18:14
mamorui : 樓上那些詩句看起來沒有走推理系,有的話問題下方 01/26 18:14
mamorui : 會看到跑一堆邏輯推理 01/26 18:14
DarkerDuck : 而且有些問題需要網路最新資料,也只能用4o網路搜尋 01/26 18:14
mamorui : DeepSeek明顯被gpt資料模板牽著走,連search的那條 01/26 18:17
mamorui : entry也長一樣 01/26 18:17
mamorui : DeepSeek卻無法整合V3跟Search,真的超奇怪的,理 01/26 18:20
mamorui : 論上Search的資料跟GPT無關,他們可以輕鬆突破才對 01/26 18:20
mamorui : 。 01/26 18:20
tsubasawolfy: 你去看o1出來時跟4o的對比 會發現作文那邊沒增強 01/26 18:20
tsubasawolfy: 因為o1就是邏輯能力 01/26 18:20
tcypost : 作家用R1改寫後會最有特色,其他沒有改寫空間 01/26 18:24

沒有留言:

張貼留言