104學習精靈

成為AI工程師必學的：機器學習的統計基礎與Kaggle範例實作 完課後，你將學會 Linear Regression（線性迴歸）：一種可以預測未知資料的分析技術，企業經常使用它將原始資料轉換為商業智慧和可行的見解，在人工智慧與機器學習中，都使用線性回歸來解決複雜的問題。 Logistic Regression（邏輯迴歸）：使用數學來尋找兩個資料之間的關係，用以預測可能的數值，例如可以用來預測新網站訪客的行為。邏輯迴歸在人工智慧與機器學習領域中是非常重要的技術，邏輯迴歸模型相對於其他機器學習技術上具有簡易性、速度快、靈活性、可見性等優勢。 Linear Discriminant Analysis (線性區別分析) : 線性判別分析(LDA)基於假設每類別的資料為常態分佈情況下進行訓練資料的概似函數建模，並搭配最大後驗機率法進行分類判斷。這個方法使用統計學和機器學習方法，試圖找到不同類別之間的模型進行區分化。相較於常看到的Naive Bayes Classifier（單純貝式分類器），LDA會透過高斯函數的共變異數矩陣來考慮到特徵和特徵之間的關聯性，在單純貝式分類器則是直接假設特徵之間彼此無關聯，LDA模型考慮的更全面。 統法降維（Dimension reduction）：刪除最小變異法、透過統計檢定法進行單變量特徵選擇、順序特徵選擇（Sequential Feature Selection）、主成分分析（Principal components analysis），此類型方式在機器學習目的是希望能減少資料的特徵量，從觀察資料中探勘何謂重要的特徵資料，並且在後續建立分類模型或是回歸預測模型的效能不會差異太多甚至會更好。 模型評估 （Model Evaluation）：如何有效評估建立好的分類或是回歸模型，利用訓練資料和測試資料的區分，避免因為同一批次資料訓練同一批次資料進行評估造成挑選到不適當的模型。 課程成果 Kaggle 範例：癌症資料分類 （Jupyter notebook） 本範例採用癌症分類資料集，一共有 570 筆資料，每筆資料有 30 個欄位特徵，最終目的是利用這 30個欄位資料進行資料分類，目標是良性癌症和惡性癌症分類。此範例將採用主成分分析和線性區別分析直接進行建立模型，並分析主成分分析須採用到幾個主成分在測試資料集可以得到合適的分類正確率。 課程介紹 什麼是Kaggle？ Kaggle是一個資料建模與分析的競賽平台。企業和研究者可在其上發布資料，統計學者和數據分析專家可在其上進行競賽以產生最好的模型。 Kaggle提供了很好的環境跟豐富的資料讓大家來使用，如果說寫程式的人常用Leetcode提升自己寫code的能力，那麼資料分析者會選擇Kaggle作為練習跟打比賽的平台。 這裡有許多的真實的資料庫可以做為練習參考，例如用於遊戲銷售中的簡單資料、環境污染檢測的資料、COVID-19研究資料、烏克蘭公共採購資料庫等，而本課程在第六章會用到四個實際案例： ◆Mobile Price Classification 　手機價錢等級評估 ◆Cancer Data Classification 　良性癌症、惡性癌症分類 ◆Medical Cost Personal Prediction 　個人醫療費用預測 ◆Used Cars Price Prediction 　二手車價預測 可以讓你在這些專案上訓練與測試你的模型，最終幫助到其他有需要的人。 課程說明 Python是機器學習最常用的程式語言，針對想要成為現在最受歡迎的資料分析師、數據科學家、模型開發工程師、AI 大數據工程師、演算法工程師的學員，有必要學習了解Python與統計基礎，因此在本課程裡提供了機器學習統計方法需要用到的基礎知識，並且透過Python 實作，讓學員能充分理解機器學習基礎運作方式、進階分類和迴歸分析，最後統整課程所學，進行Kaggle的實例操作。 本課程講師為教學經驗豐富、並且任職上市公司人工智慧研發部副理的黃志勝老師，以業界需求的實務角度著眼，貼近初學者的心態著手，從入門的Python下載與安裝開始教學，由淺入深介紹統計相關名詞，搭配統計相關的範例實作（提供範例程式碼），就算是沒有機器學習經驗或背景的學員也能放心學習。 本課程將從基礎出發 : 📌 第一章「基礎運算和常用到的機率概念」 📌 第二章「常用統計學」，充分介紹機器學習的基礎 📌 第三章「迴歸分析和分類方法」，搭配實例練習 📌 第四章「統計降維方法」，透過實際範例讓學員做中學，讓複雜的數學方程式實例化 📌 第五章「模型評估」，讓學員理解模型的評估方式，了解如何選擇適合的模型 📌 第六章「實際案例操作」，從 kaggle 迴歸和分類的實際結構化資料集，將單元 1-5 學習的方法充分應用在四個範例中，讓學員可以更清楚看到在不同的範例上，只要是在結構資料下，可以用相同的操作方式得到成果，並進行完整的資料分析。 第六章從 kaggle 迴歸和分類的實際結構化資料集，將單元 1-5 學習的方法充分應用在四個範例中，讓學員可以更清楚看到在不同的範例上，只要是在結構資料下，可以用相同的操作方式得到成果，並進行完整的資料分析 學習過程中有不清楚的部分可以在討論區提出，且完課後將提供電子完課證書！ 實例解說 迴歸實例練習：波士頓房價 此實例將會採用SKlearn套件進行練習。波士頓房價預測是一個公開的資料集，可以利用資料集內的特徵欄位自變數（X），房價欄位作為依變數（Y），將利監督式學習的線性迴歸模型（f）進行建模（Y=f（X））。 🌟分類實例練習1：IRIS分類 IRIS資料集是一個古典的花朵資料集，在此練習中，將進行山鳶尾、變色鳶尾、維吉尼亞鳶尾三個種類的分類（依變數（Y）），資料是依據每朵花的花瓣花萼長寬進行資料收集（自變數（X））。 🌟分類實例練習2：男女生判斷 男女生分類資料集是講師自行創立的資料，將身高、體重、手機品牌、體脂肪作為自變數（X），來判斷男女生（依變數（Y））。 🌟特徵選取法練習 利用SKlearn內建的函數刪除不合理的特徵、單變量特徵選擇、順序特徵選擇等方法進行操作，並以男女生分類的範例進行練習。 🌟特徵萃取法練習 利用SKlearn內建的函數進行主成份分析（PCA），並在男女生分類的問題進行範例操作。 課程特色 1. 超強師資：講師擁有13年產學研究經驗，同時兼任業界人工智慧高級主管與大學教職，讓學員可以學到真正有用的知識與技巧。 2. 跟著範例學：每個章節均會搭配範例，讓學員從做中建立觀念、降低學習難度，並且是以機器學習最常用的Python來進行實作教學。 3. 不限次練習：重複的練習才能加深學習的印象與技巧，本課程提供完整的範例程式碼，並設有討論區供讀者與老師互動解答。 完課成效 學到業界都在用的統計知識與機器學習技術 使用 Python 實作出4個案例。學習操作最流行的機器學習框架 SKlearn，並額外操作 SVM 和 SVR方法，體驗 SKlearn 模組下，可以輕鬆快速操作其他機器學習演算法。 課程大綱 第零章 AI 工程師簡介 工程師的工作內容 AI 工程師需要具備什麼能力 AI 工作在臺灣的市場 第一章 機器學習常用的基礎和機率 數值資料表示方式 向量與矩陣運算 矩陣分解 隨機變數的機率分布與機率密度函數 常用到的統計機率分布模型 常用到的距離和相似度計算方式 第二章 機器學習常用的統計學 統計量與特徵表徵 信賴區間 常態分布的區間估計 抽樣數的選擇 假設檢定 條件機率與貝氏定理 貝氏法則理論與最大後驗機率 第三章 迴歸和分類 簡單與多元線性迴歸分析 迴歸實例解說(Python實作)-波士頓房價為例 分類１:羅吉斯迴歸 分類２:線性區別分析 分類實例解說(Python實作)- (1)IRIS分類、(2)男 、女生判斷 第四章 統計降維法 特徵選取法 特徵萃取法 特徵選取法(Python實作) 特徵萃取法(Python實作) 第五章 模型評估 二元分類模型評估指標 (Python實作) 多元分類評估指標 (Python實作) 迴歸模型評估指標 (Python實作) 交叉驗證：如何選取模型與模型評估 第六章 實際案例操作 (Python實作) Mobile Price Classification: 手機價錢等級評估 Cancer Data Classification: 良性癌症、惡性癌症分類 Used Cars Price Prediction: 二手車價預測 Medical Cost Personal Prediction: 個人醫療費用預測 附錄 Python 基礎教學 Python 下載與安裝教學 Python 語法教學 （if, for, range, while, pass, list, type, tuple, dict, set）

AI即未來！各大產業離不開機器學習，人工智慧如火如荼發展，整個產業勢必向智慧化靠攏， AI人才需求也倍數增長！iPAS產業人才能力鑑定是經濟部為充裕產業升級所需人才， 整合產官學研所建立的鑑定體制。有專業能力認證，更容易獲得企業優先面試/聘用及加薪之機會。艾鍗學院授課講師皆取得iPAS認證，章章精彩、片刻不冷場，帶給學員最實戰的應試指南，打穩機器學習工程師的基本功！ 學習目標 1. 帶你了解機器學習產業發展趨勢及應用方向 2. 養成資料特徵與資料預處理能力，並能運用探索式資料分析(EDA)，洞悉數據關聯性。 3. 教你機器學習和深度學習的專業術語與觀念，並能了解其背後的意義及數學意義。 4. 漸進式熟悉機器學習演算法與模型建立流程，後續模型訓練成效之驗證。 5. 從提供之iPAS樣題詳細解析中，了解更多觀念與實作技巧 章節架構 初級 Part 1. 機器學習觀念打底 Section A：資料處理分析與特徵選擇 1. 人工智慧與機器學習簡介 2. 機器學習如何進行學習 3. 資料與特徵 4. 機器學習建立模型的流程 5. 探索式資料分析(EDA)與資料預處理方法 6. 如何挑選好的特徵? Feature Selection v.s. Feature Extraction Section B：監督式機器學習演算法 1. 迴歸模型: 線性迴歸▼ iPAS ML linear regression Ridge v.s. Lasso 線性迴歸 評估迴歸模型的性能指標 2. 分類模型: Logistic Regression 演算法 KNN 演算法 決策樹演算法 SVM 演算法與數學原理 評估分類模型的性能指標 3. Ensemble Method Random Forest隨機森林 Adaboost Section C：非監督式機器學習演算法 1. 降維: PCA 演算法▼ iPAS ML The Algorithm of PCA c 2. Clustering: K-means 演算法 Hierarchical Method 演算法 3. 強化學習 強化學習的架構 Q-learning 演算法 Section D：深度學習 1. 深度學習技術簡介 2. 類神經網路運算模型原理 3. 深度學習建立模型的流程 4. 深度學習框架TensorFlow/Keras 程式架構說明 5. 其他網路結構簡介：RNN/LSTM、CNN Part 2. Python實作機器學習 1. 資料處理工具: Numpy、Pandas▼ iPAS ML Pandas 2. 視覺化工具: Matplotlib▼ iPAS ML Matplotlib c 3. 機器學習工具:Scikit-learn 4. 迴歸模型實作 y=f(x) 的函式預測 價格預測模型 5. 鳶尾花花卉分類與探討▼ iPAS ML iris 使用Logistic Regression 使用KNN 使用Decision Tree▼ iPAS ML Decision Tree 使用SVM▼ iPAS ML SVM 使用Random Forest 使用Adaboost 6.PCA 降維使用Scikit-learn▼ iPAS ML PCA降維使用Scikit learn 7.K-means分群使用Scikit-learn▼ K means分群使用Scikit 8.Hierarchical方法分群使用Scikit-learn▼ iPAS ML Hierarchical Scikit learn 9.強化學習-找寶藏地圖實作解析▼ iPAS ML Reinforcement learning iPAS ML Q learning value function Part 3. iPAS機器學習工程師範例試題詳解

這是一門有別於坊間的AI數位課程，不僅有清楚的觀念說明也有詳細的程式解說。教你Python程式並瞭解如何實際進行資料處理。 本課程以「程式打底」為目標，教授Python語言及以Numpy、Pandas、Matplotlib進行資料處理與分析。 學習目標 【Python與資料科學】 1. 能快速熟悉Python語言的核心與Python常用的資料結構 2. 學會運用資料科學常用套件-Numpy、pandas、matplotlib來處理、分析與圖表化資料 3. 機器學習的設計方法與術語-從迴歸(Regression)方程式認識機器學習的基本精神 4. 能不使用任何工具套件，以Python實作迴歸方程式 ※ 課程適用經濟部iPAS巨量資料分析師/機器學習工程師能力鑑定考試準備 章節架構 ►Python 簡介 ►變數與動態資料型別 ►運算式 ►序列資料結構- list, tuple, range ►流程控制 ►更多資料結構-set, frozenset, dict, byte, bytearray ►函數 ►變數命名空間 ►類別設計 ►例外處理 ►模組與套件 ►輸入輸出與檔案處理(txt,csv,JSON, pickle) ► 其他(https urlib、beautifulshop,…) ► 附錄: Anaconda Windows/Linux安裝與使用 ►conda 套件管理 ►conda 虛擬環境 ►ipython interpreter ►jupyter notebook ►資料矩陣運算使用Numpy ►資料匯入匯出使用Pandas ►繪圖與製表使用Matplotlib ►機器學習概念 ►最佳化演算法: Gradient Descent ►手刻Gradient Descent演算法 ►手刻線性迴歸 ►手刻線性迴歸作(矩陣版)

AI如火如荼發展，各大產業對於巨量資料分析人才都存在龐大需求。iPAS產業人才能力鑑定是經濟部為充裕產業升級所需人才， 整合產官學研所建立的鑑定體制。有專業能力認證，更容易獲得企業優先面試/聘用及加薪之機會。艾鍗學院授課講師皆取得iPAS認證，章章精彩、片刻不冷場，帶給學員最實戰的應試指南，打穩巨量資料分析師的基本功！ 學習目標 1. 熟悉Python程式語言與Python物件導向設計。 2. 熟悉Python原生的資料結構操作，如tuple, list, dict, set等。 3. 機器學習的概念(監督式學習、非監督式學習)。 4. 資料特徵與資料預處理方式。 5. 知道如何使用Scikit Learn 套件進行實作。 6. 了解迴歸與最小平方法。 7. 了解基本的機器學習分類演算法, 如決策樹、隨機森林等。 8. 了解機器學習分群演算法, 如K-means, 階層式分群法。 9. 熟悉Python常用的資料處理套件，如Pandas, Numpy, Matplotlib。 10. 從提供的iPAS 中級實作題解答中，了解更多實作技巧。 章節架構 初級 Part1.資料導向程式設計 • 1.Python實作基礎 o Python 簡介 o 變數與動態資料型別 o 運算式 o 序列資料結構- list, tuple, range o 非序列資料結構-set, dict,… o 流程控制 o 自訂函數 o 變數命名空間 o 例外處理 o 物件導向設計 o 模組與套件 o 資料匯入與匯出(txt,csv,JSON,pickle) o 附錄: Anaconda 安裝與使用 Part2.機器學習簡介與資料處理 • 1.人工智慧簡介 • 2.機器學習簡介(監督式學習、非監督式學習) • • 3.資料與特徵 • • 4.資料預處理使用Scikit-learn • • 5.其他 o Z-score 標準化 o 資料庫概念(含NoSQL) 中級 Part3.機器學習實務 • 1.Introduction to Machine learning & Terminology • 2.Linear Regression o Gradient Descent from scratch o Linear Regression from scratch o ridge vs lasso regression • 3.Machine learning using Scikit-learn • 4.Linear Regression using Scikit-learn • 5.Classification o Logistic Regression o KNN o Decision Tree • 6.Dimensionality reduction - PCA • 7.Ensemble Method • o Random Forest o Adaboost • 8.Clustering o K-means o Hierarchical Method • 9.Reinforcement Learning o Q-learning Algorithm & Implementation • • @ 進階資料處理 (Python常用資料處理套件) • o 資料矩陣運算-使用Numpy o 資料庫匯入-使用Pandas o 資料視覺化-繪圖與製表-使用Matplotlib Part4 iPAS巨量資料分析試題 • 1.中級巨量資料分析師能力觀念題 • 2.術科試題 - 文字資料處理 o 透過程式產生重複資料 o JSON 格式之載入與轉換 o 取出描述內容包含字串「Limited」之商品資料 o 字串處理技巧 o 將商品描述(describe)透過結巴斷詞並計算詞頻 排行 • 3.術科試題解析 - 集群與視覺化 o 讀取資料 o 次數分配表 o k-means 集群 o 分組計算 o 資料視覺化 • 4.術科試題解析 - 隨機森林迴歸預測模型 o 讀取資料 o 切分訓練集與測試集 o 模型配適 o 預測 o 評估 • 5.術科試題解析 - 隨機森林分類預測模型 o 讀取資料 o 切分訓練集與測試集 o 模型配適 o 預測 o 評估

這是一門有別於坊間的AI數位課程，不僅有清楚的觀念說明也有詳細的程式解說。教你機器學習的專業術語與觀念，並能了解其背後的意義及數學意義。瞭解機器學習的各種演算法並且能以進行範例實作。 將介紹機器學習的各類演算法並以Scikit learn進行手把手實作教學。對於同類型演算法，將以同一種資料集讓學員能比較演算法之間的差異及各式參數對模型效能的影響。 學習目標 【機器學習】 1. 了解機器學習的概念 2. 學會Regression、Classification、Clustering 機器學習相關演算法基本原理 3. 學會用Scikit-learn 進行如Logistic Regression、SVM、Decision Tree、Random Forest等等Machine Learning 的實作。 4. 學會強化式學習及其實作 ※ 課程適用經濟部iPAS巨量資料分析師/機器學習工程師能力鑑定考試準備

這是一門有別於坊間的AI數位課程，我們不僅有清楚的觀念說明也有詳細的程式解說。本課程將深入深度學習原理細節，引導實作Tensorflow/Keras、DNN、CNN、Transfer learning 及YOLO物件偵測等。 【深度學習】 1. 了解深度學習的原理及各種訓練技巧-Batch Normalization, Dropout, Early Stopping,… 2. 學會使用Keras進行深層神經網路(DNN)實作 3. CNN模型與工作原理並能實作CNN影像分類與進階技巧 4. YOLO實作影像偵測 ※ 課程適用經濟部iPAS巨量資料分析師/機器學習工程師能力鑑定考試準備