以下是Reddit anitakirkovska貼文的翻譯
講到一個重點
Reinforcement Learning =/= Reinforcement Learning from Human Feedback
這也是R1為什麼爆紅的原因
https://imgur.com/lunsvb2.jpg
GPT-4最強的地方是他有了某方面的"思考鍊"
(chain-of-thought) 也就是能做出更靈活更準確的推理
但OpenAI是怎麼做出來的並沒有公開，而Deepseek R1是直接公布出來
圖裡面的縮寫全名如下
Cold start data: 最低限度標記的資料集合，讓模型更好理解任務
RL: Reinforcement Learning 模型透過評分獎勵來學習正確答案以及思考邏輯
RLHF = 用人工審查，所以才有當初Google要員工去餵Bard的新聞
SFT: Supervised fine-tuning 用標記的資料去訓練模型讓他在特定領域中更精準
Rejection sampling: 模型產出多個結果的時候選擇特定滿足標準的輸出
其實其他部分都差不多，但Deepseek是用什麼方式去壓低成本去做Pure RL?
用他們自己研發的Gpro (Group Robust Preference Optimization)
https://arxiv.org/abs/2405.20304
他們怎麼不透過人工去確定產出優劣?
邏輯就是建立最佳猜測的模型: Coherence, Completeness, Fluency
但這也帶來另外一個缺點
就是poor readability (閱讀性差)、language mixing(語言混和)
所以Deepseek用第一張圖的方式去解決
Cold start data處理易讀性
用RL+Rejection sampling+SFT反覆驗證計算並Fine tune 結果
但R1背後的意涵，其實是RL能讓小模型在專精領域出頭天
透過Distill然後微調RL內容，可以在專精領域如藥物、材料...等取得更好的成果
而不用再被綁死於大型語言service provider的服務
而這個也帶來一個影響
企業在AI應用上會更有彈性，同時AI實際應用的穿透性更高
https://tinyurl.com/ms2vev4s
R1背後的邏輯和技術，用在小模型上面有極大的成本優勢
大型語言的發展依然會持續，但硬體算力軍備競賽的資本投入勢必會減少
BTW R1在Ethical Considerations 上面多數人評價是比GPT4還好喔XDDDD
※ 引述《LDPC (Channel Coding)》之銘言：
: 現在全網路上的開源數據資料是屬於pre-training端 大多都是野生數據 無標籤
: 那東西只是讓模型去向鸚鵡一樣 去做文字接龍
: 但第二階段訓練會用到RLHF (Reinforcement Learning from Human Feedback)
: 就是要人類針對不同數據給意見 這個是要給標籤
: 所以你才會聽到狗家之前要求全公司員工去給意見讓Gemini前身 Bard 去做人類feedback
: 這個人工成本是很大
: Deepseek-R1跟大家說 我們不用人類給的feedback了 我們可以免除這塊
: 大家都在討論的叫做sythetic dataset
: 這個步驟是來自於你有許多野生數據 但需要加上標籤 那標籤可以拿更強大模型來標註
: 比方說 一道數學題目 你可以用人類寫解答 或者要拆步驟 每步驟讓gpt-4o寫個答案
: 這就是所謂synthetic dataset 然後用這組數據去調教模型 這步驟會決定
: 你的模型多智能 這過程就是call api 現在ai界都這樣幹 缺點就是訓練模型上限就是
: 原始母模型 這跟傳統蒸留 用模型直接交模型不太依一樣
: 這種方式就是可以用低成本 接近gpt-4o 但你如果這樣幹 你模型就不能商業化
: 頂多發表到文章 講你這是怎樣做 最經典例子就是LLaVA那篇 講如何用gpt4o
: 產生sythetic dataset讓textLLM 變成多模態 直接打爆其他大廠高成本多模態
: 之前網路上已經有人在討論 到底deepseek有沒有用api去合成數據
: https://reurl.cc/A6ab98
: https://x.com/bboczeng/status/1883374489519698413 (zero是r1第一版)
: 在training這部分還沒定案之前 大家就先吃瓜看看吧 @@
: 但這思路還是有可取之處 就是模型教模型 不要再用人類RLHF去教模型
: https://x.com/op7418/status/1884065603184681162
: 這有點像回到當年alphago那條路線 模型互相教
: 下面網址是第三方 大家要複製deep-seek R1開源計畫 任何人想參加都可以
: https://huggingface.co/blog/open-r1
: 目前公認是dep-seek R1隱藏了
: Replicate the R1-Distill models by distilling a high-quality
: reasoning dataset from DeepSeek-R1.
: 上面專案在徵求大家嘗試去製造出合成數據
: 好了 我要去炸薯條了 @@/ 救救我
: ※ 引述《IBIZA (溫一壺月光作酒)》之銘言：
: : 各家互相參考, 指的是訓練方法還有訓練的文本挑選, 蒸餾不太一樣
: : AI = 模型的程式碼+訓練
: : 能開源的部分只有程式碼, 訓練是看各自調教
: : 模型的能力夠, 差不多的調教方式就會得到差不多的結果
: : 訓練方法更好, 或是文本品質越高、越多樣、量越多, 模型就越強
: : 自從OpenAI爆紅以來, 大公司的LLM模型都是遵循OpenAI的訓練方法
: : 預先訓練: 拿大量文本讓AI模型學習基本語言能力、基本知識
: : 監督微調: 有了基本能力之後, 模型開始有推理能力
: : 這時候由人類介入, 告訴模型怎麼想是對的, 怎麼想是錯的
: : 之前所謂的貼標籤, 就是這個階段
: : 獎勵建模: 把對錯的判斷建立模型, AI想對了, 這個模型就獎勵他
: : 強化學習: AI自己跟自己練習
: : 不管是meta還是google, 之前都是照OpenAI這個成功模式做
: : 所以這些公司能做的就是拚算力, 透過更大量的訓練, 希望最終可以暴力超車
: : 但蒸餾就不同, 蒸餾是直接拿另一個模型的推理結果, 讓另一個模型照著得到同樣結果
: : 譬如我要我剛剛問ChatGPT, 要他給舉例說明什麼是擬人法
: : 他的回答是這樣
: : https://i.imgur.com/ey5mX61.png
: : ChatGPT要回答這個問題, 中間要經過很多推理, 譬如他要先理解我的問題
: : 這裡面就牽涉到, 他要理解我講的擬人法是修辭當中的擬人法
: : 然後再從這一個理解, 去思考擬人法的意思是甚麼, 最後再想出一個符合範例
: : 蒸餾的話, 就是學生模型已經預先知道這個問題的答案是甚麼
: : 有頭有尾, 要生出中間的推理就會比較容易
: : 但這裡有個問題
: : 你要用蒸餾讓一個模型得到另一個模型類似的能力
: : 通常就是需要老師模型產生極大量的練習後結果
: : 才能傳授畢生功力給學生模型
: : 如果ChatGPT是開源模型, 可以自己部署在自己平台上
: : 要做這樣大規模訓練是有可能
: : 但ChatGPT無法部署在自己平台
: : (剛剛有人說ChatGPT 2可以, 但蒸餾頂多只能逼近老師, 用ChatGPT 2只能蒸出垃圾)
: : 所以要做蒸餾只能透過API, 而要透過API做幾千萬甚至幾億規模的蒸餾訓練
: : 這難度極高啊....
: : (ChatGPT剛剛教我另一個方法
: : 就是拿一個原本就有ChatGPT4能力的模型
: : 這樣只要少量訓練, 就能超越ChatGPT 4
: : 但原本就有ChatGPT 4能力的新模型難道自己會生出來嗎XD
: : 你還是得先得到這個模型啊...就是V3
: : 那V3怎麼來?)
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 1.163.78.138 (臺灣)
※ 文章網址: https://www.ptt.cc/bbs/Stock/M.1738193167.A.6B9.html
沒有留言:
張貼留言