104學習精靈

調校

調校
關注
邀請朋友
邀請朋友

Line

Facebook

複製連結

取消
關於教室
關注人數 54 人
104人力銀行從職缺中挑選出常見技能所成立的官方教室,提供大家進行共學互動。
學習主持人
持續分享知識,
有機會成為官方教室主持人
教室標籤
關於教室
關注人數 54 人
104人力銀行從職缺中挑選出常見技能所成立的官方教室,提供大家進行共學互動。
學習主持人
持續分享知識,
有機會成為官方教室主持人
教室標籤
Hi~ 歡迎分享學習資源,有學習問題可匿名向Giver發問!
我要分享
我要提問

調校 學習推薦

全部
影片
文章
知識貓星球

喵星人

2024/08/09

Apple 開源 OpenELM AI 模型:功能、優勢及訓練框架解析
蘋果終於進軍AI領域,推出全新開源語言模型OpenELM。這篇文章將深入探討OpenELM的功能、優勢及其訓練框架,幫助開發人員了解如何在蘋果裝置上高效運行AI模型,提升工作效率和產品質量。
▍蘋果推出OpenELM:AI模型的新選擇
在微軟、Meta、Google等科技巨頭相繼發布自家AI模型後,蘋果終於發聲,推出了全新的開源語言模型家族——OpenELM。這個模型的全名是開源高效語言模型(Open-source Efficient Language Model),能夠在蘋果裝置上高效運行。OpenELM提供了四種不同參數規模的模型,分別是2.7億、4.5億、11億及30億參數,並且每個規模都有預訓練和指令調校兩個版本,總共提供了八種版本供開發者選擇。
▍多樣化模型選擇,滿足不同需求
蘋果已經在Hugging Face上公開了這些模型,並提供完整的訓練和評估框架,開發人員還可以利用提供的程式碼將模型轉換成MLX函式庫,以便在蘋果裝置上進行推論和微調。這意味著,無論是從事什麼樣的AI應用,開發人員都能找到適合的OpenELM模型版本來滿足需求。
▍高效訓練框架:CoreNet
在訓練方面,OpenELM模型使用了CoreNet函式庫作為訓練框架。其預訓練資料集包括了RefinedWeb、去除重覆資料的PILE、RedPajama和Dolma v1.6各一個子資料集,共1.8兆token。這樣的資料集配置使得模型在訓練過程中能夠獲得廣泛而深入的語言知識。
▍分層擴展策略提升準確率
OpenELM融合了分層擴展策略,能將模型參數有效分配到transformer模型各層,以提升準確率。例如,11億參數版本的OpenELM比12億參數版本的OLMo在準確率上高出2.36%,但使用的預訓練資料token僅為其一半。這展示了OpenELM在有效利用資源方面的優越性能。
▍性能比較:OpenELM vs 其他模型
蘋果也列出了OpenELM在不同裝置上的性能數據。在一台Nvidia GPU/Ubuntu筆電上,OpenELM 4.5億參數版本的提示執行效能已超過MobiLama,而2.7億參數版本與OPT相差無幾。在程式碼生成任務上,雖然各個版本都還有改進空間,但已經展示了不錯的潛力。此外,蘋果還提供了在Apple Silicon-based MacBook Pro上的執行數據,顯示出OpenELM在自家裝置上的優異表現。
▍蘋果的AI研發成果
這次OpenELM的推出,是蘋果繼去年十月開源多模語言模型Ferret及今年三月的MM1之後,再度展示其在AI領域的研發成果。與以往不同的是,OpenELM特別強調其在蘋果裝置上的高效運行能力,這對於廣大使用蘋果產品的開發者來說無疑是個好消息。
▍競爭與未來展望
目前,微軟也推出了可在筆電上執行的小語言模型(SLM)Phi-3系列,最小版本有38億參數。微軟強調Phi-3在語言理解、推理、數學及寫程式等能力上,比更多參數的模型如GPT-3.5 Turbo、Mistral還要強大。面對這樣的競爭,蘋果與其他晶片業者如英特爾、AMD、高通等,預計在今年內推出為AI模型執行設計的第一代或新一代晶片。蘋果最新的Apple Silicon M4預計在今年稍後問世,並會在年底推出搭載M4晶片的Mac產品。
OpenELM的推出標誌著蘋果在AI領域邁出了重要一步。通過開源這些高效能的語言模型及其訓練和推論框架,蘋果不僅為開發者提供了強大的工具,也展示了其在AI技術上的雄厚實力。無論是在語言理解、程式碼生成,還是其他AI應用領域,OpenELM都有望成為開發者的首選。
➤ 歡迎在104學習精靈關注【AI趨勢報-科技愛好者的產地】獲得更多科技新知!
1 0 1288 0

熱門精選

104學習精靈

產品

01/06 10:28

【免費報名】零經驗↘只要19週↘您也可以轉職前端工程師。專業技術養成班|線上開課說明會
想轉換跑道當前端工程師,但又不知道如何開始?
這麼多前端工程師課程,那些又能跟業界銜接?
【非工程背景↘零經驗↘跨領域轉職】
緯育TibaMex104學習精靈 現正舉辦【跨領域轉職前端工程師。課程說明會】
透過19週培訓課程,從基礎 → 進階,從進階 → 完成專題作品,協助您成功轉職!
本課程將提供104報名會員優惠【確認報名課程可享報名再折$2,000】優惠
⚡ 線上說明會 | 緯育TibaMe的優惠,透過104活動吧報名,若確認報名課程,再享緯育TibaMe的優惠+再折$2,000
⚡ 呈上,該優惠活動會於 緯育TibaMe 付款時享有。
⚡ 確認報名課程,可享 緯育TibaMe 相關付款優惠(例如:信用卡分期...等)
真的!席次最後倒數!免費報名!相信自己一次!
--------------------------------
【報名截止日】
🔴 1/16 (四) 20:00~21:00 | 報名到1/15 (三) 15:00
線上說明會連結與資訊,將於1/15(三)18:00 前陸續發送到您報名的電子郵件信箱。
🔴1/21 (二) 20:00~21:00 | 報名到1/20 (一) 15:00
線上說明會連結與資訊,將於1/20(一)18:00 前陸續發送到您報名的電子郵件信箱。
1 0 6880 1
學習精靈

01/21 00:00

251 20
學習精靈

05/18 00:00

145 2

推薦給你

104學習精靈

產品

01/09 21:59

有證照面試邀約數多 37% 各職類企業最加分證照大公開
根據 104 學習精靈發布《2024 職場學習白皮書》,求職者有證照的面試邀約數,比沒有證照的求職者,多出 37%;工程研發、操作技術與醫療專業類職務,持有證照的優勢更明顯,面試邀約數高了 50%以上。
✅近50%工作企業都要求《TOEIC (多益測驗)》
線上模擬試題檢測: https://nabi.104.com.tw/assess/toeic
✅行銷類職務面試邀約提升證照《Google Analytics (分析) 個人認證資格》
✅行銷類職務面試邀約提升證照《Google Ads 搜尋廣告認證》
✅人資類職務面試邀約提升證照《企業/ESG永續管理師》
✅人資類職務面試邀約提升證照《乙級就業服務技術士》
✅產品企劃類職務面試邀約提升證照《國際專案管理師PMP》
✅軟體工程類職務面試邀約提升證照《AWS認證的解決方案架構師-助理級認證》
✅行政類職務面試邀約提升證照《Adobe Photoshop》
0 0 863 0
你可能感興趣的教室