104學習精靈

成為AI工程師必學的：機器學習的統計基礎與Kaggle範例實作 完課後，你將學會 Linear Regression（線性迴歸）：一種可以預測未知資料的分析技術，企業經常使用它將原始資料轉換為商業智慧和可行的見解，在人工智慧與機器學習中，都使用線性回歸來解決複雜的問題。 Logistic Regression（邏輯迴歸）：使用數學來尋找兩個資料之間的關係，用以預測可能的數值，例如可以用來預測新網站訪客的行為。邏輯迴歸在人工智慧與機器學習領域中是非常重要的技術，邏輯迴歸模型相對於其他機器學習技術上具有簡易性、速度快、靈活性、可見性等優勢。 Linear Discriminant Analysis (線性區別分析) : 線性判別分析(LDA)基於假設每類別的資料為常態分佈情況下進行訓練資料的概似函數建模，並搭配最大後驗機率法進行分類判斷。這個方法使用統計學和機器學習方法，試圖找到不同類別之間的模型進行區分化。相較於常看到的Naive Bayes Classifier（單純貝式分類器），LDA會透過高斯函數的共變異數矩陣來考慮到特徵和特徵之間的關聯性，在單純貝式分類器則是直接假設特徵之間彼此無關聯，LDA模型考慮的更全面。 統法降維（Dimension reduction）：刪除最小變異法、透過統計檢定法進行單變量特徵選擇、順序特徵選擇（Sequential Feature Selection）、主成分分析（Principal components analysis），此類型方式在機器學習目的是希望能減少資料的特徵量，從觀察資料中探勘何謂重要的特徵資料，並且在後續建立分類模型或是回歸預測模型的效能不會差異太多甚至會更好。 模型評估 （Model Evaluation）：如何有效評估建立好的分類或是回歸模型，利用訓練資料和測試資料的區分，避免因為同一批次資料訓練同一批次資料進行評估造成挑選到不適當的模型。 課程成果 Kaggle 範例：癌症資料分類 （Jupyter notebook） 本範例採用癌症分類資料集，一共有 570 筆資料，每筆資料有 30 個欄位特徵，最終目的是利用這 30個欄位資料進行資料分類，目標是良性癌症和惡性癌症分類。此範例將採用主成分分析和線性區別分析直接進行建立模型，並分析主成分分析須採用到幾個主成分在測試資料集可以得到合適的分類正確率。 課程介紹 什麼是Kaggle？ Kaggle是一個資料建模與分析的競賽平台。企業和研究者可在其上發布資料，統計學者和數據分析專家可在其上進行競賽以產生最好的模型。 Kaggle提供了很好的環境跟豐富的資料讓大家來使用，如果說寫程式的人常用Leetcode提升自己寫code的能力，那麼資料分析者會選擇Kaggle作為練習跟打比賽的平台。 這裡有許多的真實的資料庫可以做為練習參考，例如用於遊戲銷售中的簡單資料、環境污染檢測的資料、COVID-19研究資料、烏克蘭公共採購資料庫等，而本課程在第六章會用到四個實際案例： ◆Mobile Price Classification 　手機價錢等級評估 ◆Cancer Data Classification 　良性癌症、惡性癌症分類 ◆Medical Cost Personal Prediction 　個人醫療費用預測 ◆Used Cars Price Prediction 　二手車價預測 可以讓你在這些專案上訓練與測試你的模型，最終幫助到其他有需要的人。 課程說明 Python是機器學習最常用的程式語言，針對想要成為現在最受歡迎的資料分析師、數據科學家、模型開發工程師、AI 大數據工程師、演算法工程師的學員，有必要學習了解Python與統計基礎，因此在本課程裡提供了機器學習統計方法需要用到的基礎知識，並且透過Python 實作，讓學員能充分理解機器學習基礎運作方式、進階分類和迴歸分析，最後統整課程所學，進行Kaggle的實例操作。 本課程講師為教學經驗豐富、並且任職上市公司人工智慧研發部副理的黃志勝老師，以業界需求的實務角度著眼，貼近初學者的心態著手，從入門的Python下載與安裝開始教學，由淺入深介紹統計相關名詞，搭配統計相關的範例實作（提供範例程式碼），就算是沒有機器學習經驗或背景的學員也能放心學習。 本課程將從基礎出發 : 📌 第一章「基礎運算和常用到的機率概念」 📌 第二章「常用統計學」，充分介紹機器學習的基礎 📌 第三章「迴歸分析和分類方法」，搭配實例練習 📌 第四章「統計降維方法」，透過實際範例讓學員做中學，讓複雜的數學方程式實例化 📌 第五章「模型評估」，讓學員理解模型的評估方式，了解如何選擇適合的模型 📌 第六章「實際案例操作」，從 kaggle 迴歸和分類的實際結構化資料集，將單元 1-5 學習的方法充分應用在四個範例中，讓學員可以更清楚看到在不同的範例上，只要是在結構資料下，可以用相同的操作方式得到成果，並進行完整的資料分析。 第六章從 kaggle 迴歸和分類的實際結構化資料集，將單元 1-5 學習的方法充分應用在四個範例中，讓學員可以更清楚看到在不同的範例上，只要是在結構資料下，可以用相同的操作方式得到成果，並進行完整的資料分析 學習過程中有不清楚的部分可以在討論區提出，且完課後將提供電子完課證書！ 實例解說 迴歸實例練習：波士頓房價 此實例將會採用SKlearn套件進行練習。波士頓房價預測是一個公開的資料集，可以利用資料集內的特徵欄位自變數（X），房價欄位作為依變數（Y），將利監督式學習的線性迴歸模型（f）進行建模（Y=f（X））。 🌟分類實例練習1：IRIS分類 IRIS資料集是一個古典的花朵資料集，在此練習中，將進行山鳶尾、變色鳶尾、維吉尼亞鳶尾三個種類的分類（依變數（Y）），資料是依據每朵花的花瓣花萼長寬進行資料收集（自變數（X））。 🌟分類實例練習2：男女生判斷 男女生分類資料集是講師自行創立的資料，將身高、體重、手機品牌、體脂肪作為自變數（X），來判斷男女生（依變數（Y））。 🌟特徵選取法練習 利用SKlearn內建的函數刪除不合理的特徵、單變量特徵選擇、順序特徵選擇等方法進行操作，並以男女生分類的範例進行練習。 🌟特徵萃取法練習 利用SKlearn內建的函數進行主成份分析（PCA），並在男女生分類的問題進行範例操作。 課程特色 1. 超強師資：講師擁有13年產學研究經驗，同時兼任業界人工智慧高級主管與大學教職，讓學員可以學到真正有用的知識與技巧。 2. 跟著範例學：每個章節均會搭配範例，讓學員從做中建立觀念、降低學習難度，並且是以機器學習最常用的Python來進行實作教學。 3. 不限次練習：重複的練習才能加深學習的印象與技巧，本課程提供完整的範例程式碼，並設有討論區供讀者與老師互動解答。 完課成效 學到業界都在用的統計知識與機器學習技術 使用 Python 實作出4個案例。學習操作最流行的機器學習框架 SKlearn，並額外操作 SVM 和 SVR方法，體驗 SKlearn 模組下，可以輕鬆快速操作其他機器學習演算法。 課程大綱 第零章 AI 工程師簡介 工程師的工作內容 AI 工程師需要具備什麼能力 AI 工作在臺灣的市場 第一章 機器學習常用的基礎和機率 數值資料表示方式 向量與矩陣運算 矩陣分解 隨機變數的機率分布與機率密度函數 常用到的統計機率分布模型 常用到的距離和相似度計算方式 第二章 機器學習常用的統計學 統計量與特徵表徵 信賴區間 常態分布的區間估計 抽樣數的選擇 假設檢定 條件機率與貝氏定理 貝氏法則理論與最大後驗機率 第三章 迴歸和分類 簡單與多元線性迴歸分析 迴歸實例解說(Python實作)-波士頓房價為例 分類１:羅吉斯迴歸 分類２:線性區別分析 分類實例解說(Python實作)- (1)IRIS分類、(2)男 、女生判斷 第四章 統計降維法 特徵選取法 特徵萃取法 特徵選取法(Python實作) 特徵萃取法(Python實作) 第五章 模型評估 二元分類模型評估指標 (Python實作) 多元分類評估指標 (Python實作) 迴歸模型評估指標 (Python實作) 交叉驗證：如何選取模型與模型評估 第六章 實際案例操作 (Python實作) Mobile Price Classification: 手機價錢等級評估 Cancer Data Classification: 良性癌症、惡性癌症分類 Used Cars Price Prediction: 二手車價預測 Medical Cost Personal Prediction: 個人醫療費用預測 附錄 Python 基礎教學 Python 下載與安裝教學 Python 語法教學 （if, for, range, while, pass, list, type, tuple, dict, set）

AI即未來！各大產業離不開機器學習，人工智慧如火如荼發展，整個產業勢必向智慧化靠攏， AI人才需求也倍數增長！iPAS產業人才能力鑑定是經濟部為充裕產業升級所需人才， 整合產官學研所建立的鑑定體制。有專業能力認證，更容易獲得企業優先面試/聘用及加薪之機會。艾鍗學院授課講師皆取得iPAS認證，章章精彩、片刻不冷場，帶給學員最實戰的應試指南，打穩機器學習工程師的基本功！ 學習目標 1. 帶你了解機器學習產業發展趨勢及應用方向 2. 養成資料特徵與資料預處理能力，並能運用探索式資料分析(EDA)，洞悉數據關聯性。 3. 教你機器學習和深度學習的專業術語與觀念，並能了解其背後的意義及數學意義。 4. 漸進式熟悉機器學習演算法與模型建立流程，後續模型訓練成效之驗證。 5. 從提供之iPAS樣題詳細解析中，了解更多觀念與實作技巧 章節架構 初級 Part 1. 機器學習觀念打底 Section A：資料處理分析與特徵選擇 1. 人工智慧與機器學習簡介 2. 機器學習如何進行學習 3. 資料與特徵 4. 機器學習建立模型的流程 5. 探索式資料分析(EDA)與資料預處理方法 6. 如何挑選好的特徵? Feature Selection v.s. Feature Extraction Section B：監督式機器學習演算法 1. 迴歸模型: 線性迴歸▼ iPAS ML linear regression Ridge v.s. Lasso 線性迴歸 評估迴歸模型的性能指標 2. 分類模型: Logistic Regression 演算法 KNN 演算法 決策樹演算法 SVM 演算法與數學原理 評估分類模型的性能指標 3. Ensemble Method Random Forest隨機森林 Adaboost Section C：非監督式機器學習演算法 1. 降維: PCA 演算法▼ iPAS ML The Algorithm of PCA c 2. Clustering: K-means 演算法 Hierarchical Method 演算法 3. 強化學習 強化學習的架構 Q-learning 演算法 Section D：深度學習 1. 深度學習技術簡介 2. 類神經網路運算模型原理 3. 深度學習建立模型的流程 4. 深度學習框架TensorFlow/Keras 程式架構說明 5. 其他網路結構簡介：RNN/LSTM、CNN Part 2. Python實作機器學習 1. 資料處理工具: Numpy、Pandas▼ iPAS ML Pandas 2. 視覺化工具: Matplotlib▼ iPAS ML Matplotlib c 3. 機器學習工具:Scikit-learn 4. 迴歸模型實作 y=f(x) 的函式預測 價格預測模型 5. 鳶尾花花卉分類與探討▼ iPAS ML iris 使用Logistic Regression 使用KNN 使用Decision Tree▼ iPAS ML Decision Tree 使用SVM▼ iPAS ML SVM 使用Random Forest 使用Adaboost 6.PCA 降維使用Scikit-learn▼ iPAS ML PCA降維使用Scikit learn 7.K-means分群使用Scikit-learn▼ K means分群使用Scikit 8.Hierarchical方法分群使用Scikit-learn▼ iPAS ML Hierarchical Scikit learn 9.強化學習-找寶藏地圖實作解析▼ iPAS ML Reinforcement learning iPAS ML Q learning value function Part 3. iPAS機器學習工程師範例試題詳解

這是一門有別於坊間的AI數位課程，不僅有清楚的觀念說明也有詳細的程式解說。教你機器學習的專業術語與觀念，並能了解其背後的意義及數學意義。瞭解機器學習的各種演算法並且能以進行範例實作。 將介紹機器學習的各類演算法並以Scikit learn進行手把手實作教學。對於同類型演算法，將以同一種資料集讓學員能比較演算法之間的差異及各式參數對模型效能的影響。 學習目標 【機器學習】 1. 了解機器學習的概念 2. 學會Regression、Classification、Clustering 機器學習相關演算法基本原理 3. 學會用Scikit-learn 進行如Logistic Regression、SVM、Decision Tree、Random Forest等等Machine Learning 的實作。 4. 學會強化式學習及其實作 ※ 課程適用經濟部iPAS巨量資料分析師/機器學習工程師能力鑑定考試準備

機器如何看見世界?看到車子開過來，我們會閃避；遇到認識的人，我們能夠識別。這些動作對人類來說很簡單，但機器做得到嗎？ 隨著電腦運算效率的提升，帶動了深度學習的發展，讓影像領域有了重大的突破。 如今，透過各種影像技術的整合，我們已經能夠讓機器感知世界。 本課程從經典的演算法，如HAAR人臉偵側、Hog 特徵擷取、Adaboost 分類器等演算法，了解如何進行人臉偵測與人臉辨識。同時也以深度學習CNN演算法，來說明如何實現人臉偵測與辨識。 本課程帶你深入了解這些演算法背後的原理，並且對於演算法都以手刻的方式(From Scratch)進行實作。此外,也以Python Tkinter 完成一個人臉門禁系統的小專案。電腦視覺常會依照現場情況有不同的影像處理，因此唯有懂了原理才有可能針對專案的需要，知道如何進行優化與改善，而不侷限於套件工具本身。 學習目標 了解HAAR演算法並知道如何以python實作 (From Scratch) 了解 Adaboost 演算法並知道如何以python實作 (From Scratch) 學會如何利用HARR+Adaboost進行人臉偵測 了解HOG 演算法並知道如何以 python實作 (From Scratch) 學會如何利用HOG + 支持向量機(Support Vector Machine, SVM) 進行人臉或物件識別 學會如何CNN原理及遷移學習的方法，建立人臉識別系統 教學方式 投影片講授及配合程式進行演練 學會如何利用HARR+Adaboost進行人臉偵測 使用Anaconda + Spyder 課程菜單 遠距課程時數:14小時/數位課程時數:14小時 數位觀看天數:30天 精編教材:-精編講義、範例程式碼 -詳細Code 解說且程式範例檔案分類整理 -線上助教系統 課程大綱 電腦視覺-基於HOG與圖像識別 HOG演算法說明與python實作 (From Scratch) 圖檔爬蟲程式撰寫 建立圖檔HOG特徵 Scikit-Learn實現SVM與LogistcRegression 專案: HOG Features+ Classifier :人臉/物品偵測與識別▼ HOG Features+ Classifier :人臉/物品偵測與識別-1 HOG Features+ Classifier :人臉/物品偵測與識別-2 電腦視覺-基於HAAR 人臉偵測 HAAR演算法說明與python實作 (From Scratch) Adaboost Classifier 專案: HAAR Features人臉偵測 CNN深度學習 遷移學習（transfer learning）和微調（fine-tune）原理說明 使用MobileNet建立圖像特徵 (Image Embedding) 建立DNN Classifier MQTT協定- 警示通知 專案: 人臉門禁系統(使用Tkinter界面): 加入/刪除/登入人臉帳號▼

這是一門有別於坊間的AI數位課程，我們不僅有清楚的觀念說明也有詳細的程式解說。本課程將深入深度學習原理細節，引導實作Tensorflow/Keras、DNN、CNN、Transfer learning 及YOLO物件偵測等。 【深度學習】 1. 了解深度學習的原理及各種訓練技巧-Batch Normalization, Dropout, Early Stopping,… 2. 學會使用Keras進行深層神經網路(DNN)實作 3. CNN模型與工作原理並能實作CNN影像分類與進階技巧 4. YOLO實作影像偵測 ※ 課程適用經濟部iPAS巨量資料分析師/機器學習工程師能力鑑定考試準備

成為AI工程師必學的深度學習與 PyTorch 實作 完課後，你將學會 Multilayer Perceptron （MLP, 多層感知器）：也稱為前饋神經網路，是深度學習中最基礎的模型，可用於處理結構化的資料，例如表格中的數值、類別等，並進行分類、回歸等任務。 Convolutional Neural Network （CNN，卷積神經網路）：用於對影像或音訊等二維和一維資料進行分析和處理，能夠有效地提取出其特徵，並進行影像分類、目標檢測等任務。 Recurrent Neural Network （RNN，遞迴神經網路）Family：包含RNN、Long Short Term Memory Network (LSTM，長短期記憶網路)：用於處理序列型資料，能夠有效地捕捉序列間的長期相依性，被廣泛應用於語音辨識、機器翻譯等自然語言處理領域。 Transformer：用於處理序列型的資料，透過學習來估計全部序列之間的的關聯性，能共有效的通盤考慮整段資料的特性，被廣泛用在自然語言領域，近年來也被導入影像相關AI模型。 Generative Adversarial Network （GAN，生成對抗網路）：是一種生成模型，能夠透過兩個神經網路之間的對抗訓練，從噪聲中生成出與真實資料相似的新資料，用於影像生成、音訊生成等任務。 課程成果 4-5 影像切割方法介紹（U-NET） 在實務上最常拿來使用就是影像的前景背景切割，也就是如果要做去背的動作，可以靠大量資料模型訓練後，讓模型學習到哪些是主要要切割出來的物體。 5-4 Transformer 我們簡單操作NLP相關的範例，利用網路上別人的開源資料進行英中翻譯的Transformer （簡易版）的PytTorch模型建立和模型訓練。 5-5 實作：股價預測 我們將進行股價資料爬蟲 （直接利用yfinance模組），然後採用LSTM利用過去的股價進行未來股價的預測。除了股價預測之外，只要資料都是時序資料都也可以進行相同的程式操作，包含庫存預測或是失業率預測等。 課程介紹 什麼是 PyTorch？ PyTorch是一個基於Torch函式上，針對Python所開發的機器學習庫，為深度學習的框架之一，主要應用於電腦視覺和自然語言處理。 PyTorch 的設計目標是提供一個簡單易用、靈活且高效的工具，深受在深度學習領域的工作者的喜愛。它最大的核心功能是提供自動微分，幫助開發人員可以更容易地定義和優化神經網絡模型。同時，PyTorch的動態計算圖表更貼近Python風格的編程，因此更易於開發和調試。你可以使用標準的Python語句進行調試，並且更容易理解和檢查中間結果。 另一個特點是會使用動態計算圖表。相較於其他框架 （TensorFlow），PyTorch的計算圖是在運行時就構建的，表示計算會在每一行程式碼都完成後執行，使得使用者可以更靈活地進行模型構建和調試。此外，PyTorch還支援多GPU平行加速，可以加快模型訓練的速度。 PyTorch與TensorFlow的差異 PyTorch和TensorFlow是當今兩個最受歡迎且廣泛使用的深度學習框架，它們有一些重要的差異： 社群生態系統：TensorFlow擁有更大的社群生態系統和更廣泛的應用案例支援。許多大型公司和研究機構使用TensorFlow進行深度學習研究和應用開發。然而，PyTorch近年來的快速發展也使其社群生態系統不斷擴大，並且在學術界和研究領域中獲得了廣泛的支持，並且在最新、State-of-the-art和開源的AI算法幾乎都以PyTorch撰寫。 開發和調試：由於PyTorch的動態圖和Python風格的編程，它通常被認為更容易於開發和調試。您可以使用標準的Python語句進行調試，並且更容易理解和檢查中間結果。 課程説明 本課程講師是擁有13年以上的AI產學經驗、並且任職上市公司人工智慧研發部副理的黃志勝老師，以業界需求的實務角度著眼，貼近初學者的心態著手，介紹完整的近代人工智慧，神經網路的模型學習技巧，例如參數初始和更新方式、梯度更新方式、損失函數等。以及網路架構的介紹，包含感知神經網路、卷積神經網路、和時序系列神經網路（RNN、LSTM、Transformer）等，並帶著學員學習PyTorch的操作，詳述近代人工智慧應用與深度學習的相關技術。 主要重點有： 深度學習與 PyTorch 基礎觀念：從深度學習的基礎觀念開始介紹，深度學習的演變以及使用 PyTorch 進行深度學習專案的開發。 類神經網路相關主題：探討損失函數、梯度下降法、參數影響等，並如何選擇優化器。 卷積神經網路（CNN）：利用 PyTorch 建立 CNN 網路，學習建構和訓練模型，進行物件偵測及影像偵測等實作。並完成三項實作練習： CNN影像分類 （貓狗分類） YOLO物件偵測 （人臉偵測） Ｕ-NET影像切割 （PASCAL VOC） 時序神經網路：遞迴神經網路（RNN）、長短記憶模型（LSTM）、GRU 網路和 Transformer 自注意力機制，並實際應用於以下兩項實作練習： 股價預測 英中文翻譯 課程適合誰 1. 想成為 AI 工程師者 2. 想了解深度學習 （Deep Learning）與訓練模型者 3. 想學習 PyTorch 操作、神經網路者 課程特色 1. 課程搭配卷積神經網路（CNN）與時序神經網路範例實作 2. 內容含市面少有的 Transformer : 自注意力 （Self-Attention） 教學 3. 老師擁有 13年學術上和業界的經驗,課程所教授的知識都是在 業界實際使用到的內容 課程大綱 一、深度學習與PyTorch基礎觀念 深度學習的演變 為什麼要使用 PyTorch：PyTorch 如何協助深度學習專案的開發 PyTorch 數值型態與基本運算 ONNX簡介 Pytorch dataloader 二、類神經網路 感知機神經網路 常用的 Activation Function （激勵函數, ACT） 透過 Activation Function 做到特徵非線性轉換 三、神經網路怎麼學習 損失函數 梯度下降法 倒傳遞學習法 參數常規化 參數初始方式 優化器（Optimizer）的選擇 四、卷積神經網路（CNN） 卷積神經網路常用的原件，例如: 卷積（Convolution） 最大池化（Max pooling） 全連結層（Fully connection） 激勵函數（Activation function） Softmax函數...等等 CNN經典模型介紹 : Alexnet、VGG、GoogleNet、Inceptionv2-v4、ResNet、DenseNet、MobileNet等等。 如何利用Pytorch自行建立CNN網路，以ResNet為例。 物件偵測方法介紹（YOLO） 影像切割方法介紹（U-NET） 資料增強（Data Augumentation） 實作:使用預模型做遷移學習、訓練自己的深度學習模型 CNN影像分類 （貓狗分類） YOLO物件偵測（人臉偵測） U-NET影像切割（PASCAL Visual Object Classes（PASCAL VOC）） 五、時序神經網路 遞迴神經網路（RNN） 長短期記憶模型（LSTM） GRU網路 Transformer:自注意力（Self-Attention） 實作：股價預測 實作:中英文翻譯 解鎖 Generative Adversarial Network （GAN）