原文標題：蘋果 AI 終於來了！誠意滿滿，4 種版本開源生成式 AI 模型 OpenELM
原文連結：https://tinyurl.com/478tzuy4
發布時間：2024-04-26
記者署名：鉅亨網
原文內容：
蘋果 (AAPL-US) 因在生成式 AI 領域的腳步太慢，遭微軟、OPenAI、Google 等科技公司
狠甩幾條街，即使執行長庫克表示，今年稍晚就會有生成式 AI 的新進展，仍無法挽回部
分投資人信心，今年迄今股價仍跌逾 12%。如今，蘋果總算有生成式 AI 的新舉措。
為了在加速生成式 AI 的發展，蘋果在開源 AI 平台 Hugging Face 上發布一個具有開源
訓練和推理框架的高效語言模型，名為 OpenELM。
據了解，OpenELM 有四種尺寸：2.7 億、4.5 億、11 億和 30 億個參數版本，定位於超
小規模模型，而微軟 Phi-3 模型為 38 億。 這種小模型運行成本更低，可在手機和筆記
型電腦等設備上運行。
同時，在 WWDC24 開發者大會之前，蘋果徹底開源了 OpenELM 模型權重和推理程式碼，
資料集和訓練日誌等。 而且，蘋果還開源了神經網路庫 CoreNet。
早在今年 2 月，庫克就表示，蘋果生成式 AI 功能將於「今年稍後」推出，有消息稱即
將在 6 月發布 iOS 18 可能是蘋果 iOS 史上 「最大」的更新，而 9 月也將推出首款
AI iPhone 設備。
如今，蘋果似乎在新一輪 AI 浪潮快到尾聲的時刻追趕上了產業腳步。
隨著 ChatGPT 風靡全球，近幾個月來，三星、谷歌、小米等手機廠商全面推進大語言模
型在手機、平板等端側上的使用，包括照片處理、文字處理增強等，並形成一大賣點 。
而蘋果很少透露且極少有類似的自備功能，主要是用第三方工具做到類似效果。
今年 2 月財報會議上，庫克首次公佈生成式 AI 計劃，並將在今年稍後將 AI 技術整合
到其軟體平台（iOS、iPadOS 和 macOS）中。
庫克表示，「我只想說，我認為蘋果在生成式 AI 和 AI 方面存在著巨大的機會，無需透
露更多細節，也無需超出自己的預期。展望未來，我們將繼續投資於這些和其他 將塑造
未來的技術。 其中包括 AI，我們繼續在 AI 領域花費大量時間和精力，我們很高興能在
今年晚些時候分享我們在該領域正在進行的工作的細節。」
事實上，自年初至今，蘋果在生成式 AI 領域動作不斷。 今年 3 月，蘋果技術團隊發表
論文《MM1: Methods, Analysis & Insights from Multimodal LLM Pre-training》，首
次披露蘋果大模型 MM1，涵蓋 300 億參數、支援多模態、支援 MoE 架構，超半數作者屬
於 華人。
如今，針對手機、平板等端側領域，蘋果真正的開源模型終於來了。
根據論文顯示，蘋果開源了大語言模型 OpenELM，有指令微調和預訓練兩種模型版本，共
有 2.7 億、4.5 億、11 億和 30 億 4 種參數，提供生成文本、代碼、翻譯、總結摘要
等功能。
雖然最小的參數只有 2.7 億，但蘋果使用了包括 RefinedWeb、去重的 PILE、
RedPajama 的子集和 Dolma v1.6 的子集在內的公共資料集，一共約 1.8 萬億 tokens
資料進行了預訓練 ，這也是其能以小參數表現出超強性能的主要原因之一。
例如，11 億參數的 OpenELM，比 12 億參數的 OLMo 模型的準確率高出 2.36%，而使用
的預訓練資料卻只有 OLMo 的一半。
在訓練流程中，蘋果採用了 CoreNet 作為訓練框架，並使用了 Adam 優化演算法進行了
35 萬次迭代訓練。 而蘋果的 MobileOne、CVNets、MobileViT、FastVit 等知名研究都
是基於 CoreNet 完成的。
蘋果在論文中也表示，與以往只提供模型權重和推理程式碼並在私有資料集上進行預訓練
的做法不同，蘋果發布的版本包含了在公開資料集上訓練和評估語言模型的完整框架，包
括訓練日誌、多個檢查點和預訓練配置。 同時，蘋果也發布將模型轉換為 MLX 庫的程式
碼，以便在蘋果設備上進行推理和微調。
「此次全面發布旨在增強和鞏固開放研究社區，為未來的開放研究工作鋪平道路。」蘋果
研究團隊表示。
此外，OpenELM 不使用任何全連接層中的可學習偏移參數，採用 RMSNorm 進行預歸一化
，並使用旋轉位置嵌入編碼位置資訊。 OpenELM 也透過分組查詢注意力取代多頭注意力
，用 SwiGLU FFN 取代了傳統的前饋網絡，並使用了 Flash 注意力來計算縮放點積注意
力，能以更少的資源來進行訓練和推理。 同，蘋果使用了動態分詞和資料過濾的方法，
實現了即時過濾和分詞，從而簡化了實驗流程並提高了靈活性。 也使用了與 Meta 的
Llama 相同的分詞器，以確保實驗的一致性。
這次，蘋果很有誠意將程式碼開源，一開到底，把所有內容都貢獻出來了。 僅 1 天多的
時間，在模型 GitHub 平台上就獲得超過 1100 顆星。
而目前，大模型領域主要分為開源與閉源兩大陣營，國內外知名閉源的代表企業有
OpenAI、Anthropic、Google、Midjourney、百度、出門問問等；開源陣營有 Meta、微軟
、Google、 商湯、百川智能、零一萬物等。
蘋果身為手機閉源領域的領導者，這次卻罕見地加入開源大模型陣營。 有分析認為，這
可能在效法 Google 的方式先透過開源拉攏用戶，再用閉源產品去實現商業化營利。
同時，這也顯示蘋果進軍 AI 大模型領域的堅定決心。
作為同為端側模型、開源模型企業，商湯科技聯合創始人、首席科學家王曉剛近期對鈦媒
體 App 表示，開源還是對於整個社區的發展還是非常重要的，是一個重要驅動力。 最終
大模型的發展包括各種應用，還是要整個社區共同去推動的。 對於大模型的應用也分為
不同的層次，這麼多產業對應用的需求也是不一樣的，豐富的開源社群非常重要。
心得/評論：
蘋果手機銷量下滑，電動車研發失敗，Vision Pro市場需求低
AI 發展很早就有 Siri 但實在差別人太多，蘋果股價整個熊市走法
罕見的在WWDC大會以前，蘋果就在 Hugging face 公開 OpenELM 模型
https://huggingface.co/apple/OpenELM
這是真的急了! https://i.imgur.com/mWiRuiK.jpg
蘋果跟一堆巨頭戰AI誰贏，我不知道
但我知道蘋果現金很多
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 180.218.93.74 (臺灣)
※ 文章網址: https://www.ptt.cc/bbs/Stock/M.1714179479.A.DD2.html
推 s56565566123: 不買單 還在跌 04/27 09:00
推 yan08572002 : 爛蘋果就下去吧 04/27 09:01
推 Homeparty : 現在都開源在搶市場，訓練好的可以在手機執行 04/27 09:03
推 horseorange : 這次跟不上不敢關門造車囉 04/27 09:03
→ midas82539 : 不就落後人家才搞開源想找免費義工強化自己優勢嗎 04/27 09:05
推 augustlion : 沒有夢想和創新了 04/27 09:05
推 g007 : 庫克真的沒什麼創意 04/27 09:05
→ midas82539 : 爛梗了啦，按照這間風格它覺得夠了就會停止開源 04/27 09:05
→ Homeparty : google很早就開源了 04/27 09:08
推 thetide0512 : 老本總有一天啃完的 手腳被看破了 04/27 09:08
推 ppav0v0v : 蘋果好了啦 夕陽公司 04/27 09:10
推 g0t24568 : 他早就該用了 搜集一堆用戶資訊 04/27 09:14
推 arx3721 : 說真的三星鏡頭放大方便追星跟AI這次真的是贏了蘋果 04/27 09:17
推 y1896547 : 重新定義 04/27 09:20
→ xephon : 蘋果推出AI手機，果粉買單嗎？ 04/27 09:22
推 zx7860601 : 開源讓人免費幫他寫 真不愧是庫克 04/27 09:23
推 EHacker : 最大更新不是iPad要內建計算機了嗎 04/27 09:25
→ FatFatQQ : 洗成AI公司就會漲了啦 資金太多不知道去哪parking 04/27 09:29
→ FatFatQQ : 跟特斯拉一樣 04/27 09:29
→ Lipraxde : Mackbook pro 上跑出這種數據...真敢放出來啊 04/27 09:29
→ FatFatQQ : 華爾街就是這樣搞 04/27 09:29
推 lelena : 真正用的到的人不多,頂多嘗鮮,能上網打line就夠用了 04/27 09:34
→ lelena : 倒不如把續航力增加比較有實用 04/27 09:34
推 stocktonty : 從開創者變成跟隨者 不勝唏噓 04/27 09:35
推 phoenixna13 : 會修出事業線嗎？不會？這幾年蘋果輸華為太多太多了 04/27 09:36
推 gowet : 最近的題材都只能是幻想阿，實體商做出來就是下去 04/27 09:36
→ gowet : 元宇宙崩過一次，現在輪到AI囉 04/27 09:36
推 FncRookie001: 我倒覺得不錯 嚴格來說蘋果一直都是跟隨者 04/27 09:39
→ j0987 : 變不創新成熟製程+跟屁蟲 04/27 09:39
→ FncRookie001: 蘋果厲害的點是他能夠把自己的產品做成標竿然後賣 04/27 09:40
→ FncRookie001: 最貴 04/27 09:40
推 harpuia : 下一代Nokia 04/27 09:42
推 theropod : AI手機能幹嘛？ 04/27 09:42
→ knives : AI能夠幫忙打手遊嗎 04/27 09:44
噓 inoce : 賈伯斯吐血 04/27 09:46
推 aaa80563 : 急了？ 04/27 09:48
推 JUNGTE : 吃老本的IP了，老粉離不開而已 04/27 09:49
推 DDDDRR : 蘋果買單數不買偶數 偶數手機沒一個好 04/27 09:51
推 goodjop : 市場對庫克早失去耐心 04/27 09:53
推 martylin : 不用吹，東西拿出來用就知道 04/27 09:53
推 thetide0512 : AI手機可以參考S24 拍照錄影真的超強 04/27 09:54
→ thetide0512 : 以後在即時翻譯上也會有更大突破 04/27 09:54
推 tonylolz : 擺給你抄還抄那麼久 04/27 09:55
推 mc2834 : 蘋果以後乾脆轉為金融公司好了 04/27 09:55
推 Ogrish : 蘋果靠信仰就贏麻了 像台灣40％一樣 04/27 09:56
推 Lineage5415 : 美國Htc 04/27 09:56
推 g007 : 為什麽賈伯斯都沒好好培養接班人？台積電都先看到這 04/27 09:58
→ g007 : 點了 04/27 09:58
→ Ogrish : 不要最後功能還輸三星S23U更新AI……雖然都是靠蘋 04/27 09:58
→ Ogrish : 果商標贏銷售 04/27 09:58
→ knives : 要符合賈伯斯標準的接班人很難吧 04/27 09:59
→ g007 : 蘋果除了IPHONE外，近五年沒有大開眼界的消費性電子 04/27 09:59
→ g007 : 產品。 04/27 09:59
→ knives : 而且老賈也沒有時間阿，又不像老張活那麼久 04/27 10:00
→ g007 : 虛擬頭盔也是雷聲大雨點小，電動車也半途而廢 04/27 10:00
推 guanting886 : 這家公司真的很進步 iPad 隔了10幾年終於要上計算 04/27 10:01
→ guanting886 : 機app了。amazing 04/27 10:01
推 Yisai : 下去吧， 04/27 10:02
→ guanting886 : 原本都不屌使用者 硬是要用戶自己去下載一堆廣告的 04/27 10:02
→ guanting886 : 垃圾計算機跟蹩腳的spotlight算東西 04/27 10:02
→ guanting886 : 我相信接下來蘋果可以撿過去的東西去完成令人難以 04/27 10:03
→ guanting886 : 置信的工廠創舉 04/27 10:03
噓 marco79811 : 庫克真的是一個很沒料的甲 04/27 10:06
推 s7598261 : 三星谷歌笑而不語 04/27 10:08
噓 zxcvb1234522: 現在滿街免費的大型語言模型，是燒錢AI還是賺錢AI? 04/27 10:11
推 b2060027830 : 鴻海噴 04/27 10:11
推 PaulOneil1 : Apple本該是最先走AI的，可惜庫克永遠是成本利潤導 04/27 10:12
→ PaulOneil1 : 向 04/27 10:12
推 hensel : AI iPad計算機 04/27 10:12
推 KSUGOD : 越來越沒自已的特色了 04/27 10:12
→ KSUGOD : 11-15 根本都差不多 04/27 10:13
推 bing6715 : 屁 沒能力 04/27 10:13
→ bing6715 : 只會買回庫藏股的x公司 04/27 10:13
→ Adrian : 先買100萬台ai伺服器試個水溫 04/27 10:14
推 apolloapollo: 看破手腳 笑死 04/27 10:16
推 Looming : 這種公司都這樣啦 以為自己還有本事在那邊擠牙膏 04/27 10:16
推 ChoiceLife : 急了 04/27 10:16
→ Looming : 你各位還記得intc屌打AMD在那邊爽擠牙膏 不爽不要買 04/27 10:17
→ Looming : 的嘴臉嗎 04/27 10:17
推 superQQ : 好了啦就是Nokia2.0而已 04/27 10:17
→ WenliYang : 無聊的東西 04/27 10:18
推 strlen : 晚了 04/27 10:19
噓 zxcvb1234522: Siri加強版 04/27 10:20
推 kducky : 急了 04/27 10:20
噓 lise1017 : 沒關係 大家都買中國手機和泡菜手機打爆台灣產業 04/27 10:21
推 doranako : 跟其他llm有何不同？ 04/27 10:21
→ lise1017 : 台灣產業不倒 貧富差距 高房價 不會好 04/27 10:22
→ lise1017 : 只有全民事業 事業率100% 才有便宜房價 對岸已經示 04/27 10:22
→ lise1017 : 範 04/27 10:22
→ lise1017 : 事業x 失業o 04/27 10:23
推 bodple : 高價位過燙AI手機 溫暖你心 04/27 10:24
→ kichitai : 一般人其實對手機ai無感吧 04/27 10:26
推 QooSnow : 超高價框金的暖暖包。 04/27 10:27
推 cannedtuna : Ai OS的重點是跟系統整合的程度 04/27 10:31
→ cannedtuna : 有Siri當底蘋果的進度遠超微軟吧 04/27 10:31
→ cannedtuna : Copilot連加個代辦事項清單都沒辦法 04/27 10:31
→ cannedtuna : Siri只是笨了點但是整合很深 04/27 10:31
推 panda816 : 結果股價跌了XD 04/27 10:31
推 dickey2 : 台積電 04/27 10:31
→ jacky40383 : 重新定義AI 04/27 10:33
→ NexusPrime : 看paper沒寫用什麼硬體來訓練，只有benchmark拿一 04/27 10:33
→ NexusPrime : 台4090跟M2 Max比…. 04/27 10:33
推 giantwinter : 重新定義 04/27 10:35
推 tamynumber1 : AI蘋果 04/27 10:38
噓 blackstyles : siri只能設定時間的公司能產出多智慧的東西 04/27 10:39
推 lavign : 名字讓人想到芝麻街的Elmo 很不強的感覺 04/27 10:39
→ Diver123 : 重新定義AI 04/27 10:44
噓 gobo : 庫克還我牛 04/27 10:45
推 afacebook : 蘋果股價在庫克期間漲了10倍，一哥定位也是庫克期 04/27 10:46
→ afacebook : 間確定的，沒啥好嘴他的 04/27 10:46
→ a125g : 不是開創者就注定衰退 04/27 10:47
推 jeremytsai : 重新定義AI 噴爆 04/27 10:48
→ bearq258 : 只會costdown,沒創新設計 04/27 10:51
→ JH10 : 庫克只會搞商業不會搞創新 04/27 10:54
推 Cheng2042 : 手機發展到一個瓶頸了，沒必要常常換手機 04/27 10:55
推 leepohom : 賈伯斯在天之靈一定很後悔找庫克 04/27 10:55
→ small91051 : 廢物 04/27 10:56
推 Chilloutt : Pura 70 ai功能實用，可以脫衣 04/27 10:56
推 JKjohnwick : 蘋果股價在庫克期間成長,不就跟這幾年台灣在政府 04/27 10:56
→ JKjohnwick : 帶領之下成長,同種概念阿 04/27 10:56
→ small91051 : 文組的只會做帳和嘴砲，創新就無能啦 04/27 10:57
沒有留言:
張貼留言