成為AI工程師必學的：機器學習的統計基礎與Kaggle範例實作
成為AI工程師必學的：機器學習的統計基礎與Kaggle範例實作
完課後，你將學會
Linear Regression（線性迴歸）：一種可以預測未知資料的分析技術，企業經常使用它將原始資料轉換為商業智慧和可行的見解，在人工智慧與機器學習中，都使用線性回歸來解決複雜的問題。
Logistic Regression（邏輯迴歸）：使用數學來尋找兩個資料之間的關係，用以預測可能的數值，例如可以用來預測新網站訪客的行為。邏輯迴歸在人工智慧與機器學習領域中是非常重要的技術，邏輯迴歸模型相對於其他機器學習技術上具有簡易性、速度快、靈活性、可見性等優勢。
Linear Discriminant Analysis (線性區別分析) : 線性判別分析(LDA)基於假設每類別的資料為常態分佈情況下進行訓練資料的概似函數建模，並搭配最大後驗機率法進行分類判斷。這個方法使用統計學和機器學習方法，試圖找到不同類別之間的模型進行區分化。相較於常看到的Naive Bayes Classifier（單純貝式分類器），LDA會透過高斯函數的共變異數矩陣來考慮到特徵和特徵之間的關聯性，在單純貝式分類器則是直接假設特徵之間彼此無關聯，LDA模型考慮的更全面。
統法降維（Dimension reduction）：刪除最小變異法、透過統計檢定法進行單變量特徵選擇、順序特徵選擇（Sequential Feature Selection）、主成分分析（Principal components analysis），此類型方式在機器學習目的是希望能減少資料的特徵量，從觀察資料中探勘何謂重要的特徵資料，並且在後續建立分類模型或是回歸預測模型的效能不會差異太多甚至會更好。
模型評估 （Model Evaluation）：如何有效評估建立好的分類或是回歸模型，利用訓練資料和測試資料的區分，避免因為同一批次資料訓練同一批次資料進行評估造成挑選到不適當的模型。
課程成果
Kaggle 範例：癌症資料分類 （Jupyter notebook）
本範例採用癌症分類資料集，一共有 570 筆資料，每筆資料有 30 個欄位特徵，最終目的是利用這 30個欄位資料進行資料分類，目標是良性癌症和惡性癌症分類。此範例將採用主成分分析和線性區別分析直接進行建立模型，並分析主成分分析須採用到幾個主成分在測試資料集可以得到合適的分類正確率。
課程介紹
什麼是Kaggle？
Kaggle是一個資料建模與分析的競賽平台。企業和研究者可在其上發布資料，統計學者和數據分析專家可在其上進行競賽以產生最好的模型。
Kaggle提供了很好的環境跟豐富的資料讓大家來使用，如果說寫程式的人常用Leetcode提升自己寫code的能力，那麼資料分析者會選擇Kaggle作為練習跟打比賽的平台。
這裡有許多的真實的資料庫可以做為練習參考，例如用於遊戲銷售中的簡單資料、環境污染檢測的資料、COVID-19研究資料、烏克蘭公共採購資料庫等，而本課程在第六章會用到四個實際案例：
◆Mobile Price Classification
手機價錢等級評估
◆Cancer Data Classification
良性癌症、惡性癌症分類
◆Medical Cost Personal Prediction
個人醫療費用預測
◆Used Cars Price Prediction
二手車價預測
可以讓你在這些專案上訓練與測試你的模型，最終幫助到其他有需要的人。
課程說明
Python是機器學習最常用的程式語言，針對想要成為現在最受歡迎的資料分析師、數據科學家、模型開發工程師、AI 大數據工程師、演算法工程師的學員，有必要學習了解Python與統計基礎，因此在本課程裡提供了機器學習統計方法需要用到的基礎知識，並且透過Python 實作，讓學員能充分理解機器學習基礎運作方式、進階分類和迴歸分析，最後統整課程所學，進行Kaggle的實例操作。
本課程講師為教學經驗豐富、並且任職上市公司人工智慧研發部副理的黃志勝老師，以業界需求的實務角度著眼，貼近初學者的心態著手，從入門的Python下載與安裝開始教學，由淺入深介紹統計相關名詞，搭配統計相關的範例實作（提供範例程式碼），就算是沒有機器學習經驗或背景的學員也能放心學習。
本課程將從基礎出發 :
📌 第一章「基礎運算和常用到的機率概念」
📌 第二章「常用統計學」，充分介紹機器學習的基礎
📌 第三章「迴歸分析和分類方法」，搭配實例練習
📌 第四章「統計降維方法」，透過實際範例讓學員做中學，讓複雜的數學方程式實例化
📌 第五章「模型評估」，讓學員理解模型的評估方式，了解如何選擇適合的模型
📌 第六章「實際案例操作」，從 kaggle 迴歸和分類的實際結構化資料集，將單元 1-5 學習的方法充分應用在四個範例中，讓學員可以更清楚看到在不同的範例上，只要是在結構資料下，可以用相同的操作方式得到成果，並進行完整的資料分析。
第六章從 kaggle 迴歸和分類的實際結構化資料集，將單元 1-5 學習的方法充分應用在四個範例中，讓學員可以更清楚看到在不同的範例上，只要是在結構資料下，可以用相同的操作方式得到成果，並進行完整的資料分析
學習過程中有不清楚的部分可以在討論區提出，且完課後將提供電子完課證書！
實例解說
迴歸實例練習：波士頓房價
此實例將會採用SKlearn套件進行練習。波士頓房價預測是一個公開的資料集，可以利用資料集內的特徵欄位自變數（X），房價欄位作為依變數（Y），將利監督式學習的線性迴歸模型（f）進行建模（Y=f（X））。
🌟分類實例練習1：IRIS分類
IRIS資料集是一個古典的花朵資料集，在此練習中，將進行山鳶尾、變色鳶尾、維吉尼亞鳶尾三個種類的分類（依變數（Y）），資料是依據每朵花的花瓣花萼長寬進行資料收集（自變數（X））。
🌟分類實例練習2：男女生判斷
男女生分類資料集是講師自行創立的資料，將身高、體重、手機品牌、體脂肪作為自變數（X），來判斷男女生（依變數（Y））。
🌟特徵選取法練習
利用SKlearn內建的函數刪除不合理的特徵、單變量特徵選擇、順序特徵選擇等方法進行操作，並以男女生分類的範例進行練習。
🌟特徵萃取法練習
利用SKlearn內建的函數進行主成份分析（PCA），並在男女生分類的問題進行範例操作。
課程特色
1. 超強師資：講師擁有13年產學研究經驗，同時兼任業界人工智慧高級主管與大學教職，讓學員可以學到真正有用的知識與技巧。
2. 跟著範例學：每個章節均會搭配範例，讓學員從做中建立觀念、降低學習難度，並且是以機器學習最常用的Python來進行實作教學。
3. 不限次練習：重複的練習才能加深學習的印象與技巧，本課程提供完整的範例程式碼，並設有討論區供讀者與老師互動解答。
完課成效
學到業界都在用的統計知識與機器學習技術
使用 Python 實作出4個案例。學習操作最流行的機器學習框架 SKlearn，並額外操作 SVM 和 SVR方法，體驗 SKlearn 模組下，可以輕鬆快速操作其他機器學習演算法。
課程大綱
第零章
AI 工程師簡介
工程師的工作內容
AI 工程師需要具備什麼能力
AI 工作在臺灣的市場
第一章
機器學習常用的基礎和機率
數值資料表示方式
向量與矩陣運算
矩陣分解
隨機變數的機率分布與機率密度函數
常用到的統計機率分布模型
常用到的距離和相似度計算方式
第二章
機器學習常用的統計學
統計量與特徵表徵
信賴區間
常態分布的區間估計
抽樣數的選擇
假設檢定
條件機率與貝氏定理
貝氏法則理論與最大後驗機率
第三章
迴歸和分類
簡單與多元線性迴歸分析
迴歸實例解說(Python實作)-波士頓房價為例
分類１:羅吉斯迴歸
分類２:線性區別分析
分類實例解說(Python實作)-
(1)IRIS分類、(2)男 、女生判斷
第四章
統計降維法
特徵選取法
特徵萃取法
特徵選取法(Python實作)
特徵萃取法(Python實作)
第五章
模型評估
二元分類模型評估指標 (Python實作)
多元分類評估指標 (Python實作)
迴歸模型評估指標 (Python實作)
交叉驗證：如何選取模型與模型評估
第六章
實際案例操作
(Python實作)
Mobile Price Classification: 手機價錢等級評估
Cancer Data Classification: 良性癌症、惡性癌症分類
Used Cars Price Prediction: 二手車價預測
Medical Cost Personal Prediction: 個人醫療費用預測
附錄
Python 基礎教學
Python 下載與安裝教學
Python 語法教學
（if, for, range, while, pass, list, type, tuple, dict, set）
Mastertalks