104學習精靈

R語言是開源的統計程式語言，常用於開發統計、資料分析軟體系統，課程中我們將從R/R-Studio入門，從統計分析、資料探勘與機器學習的原理與技巧，讓學員有能力進行相關的資料分析技術與資料視覺化整合應用。本門課適合想瞭解R語言，作為進入大數據分析基礎，或進行量化研究、進階資料視覺化。

這門課程帶你從數據輸入開始，學習對資料的清洗。清洗儲存完成後，就可以開始著手分析，將分析結果以清晰易懂的圖表或圖形在螢幕或報表上展示。分析方面，還會學到商場上最熱門的關聯性分析，並在 Numpy，Pandas，MatplotLib 等程式庫實作後，學到基本的迴歸預測，資料分類以及分群的原理與技巧。

學習這門資料探勘課程，資料挖得快又精準！課程將讓你從資料探勘原理到關聯規則的觀念與使用技巧、分類原理的觀念、 分類方法、決策樹、簡單貝式分類、聚類原理的觀念、K-Means、階層聚類技術、DBSCAN密度式聚類法。

成為AI工程師必學的：機器學習的統計基礎與Kaggle範例實作 完課後，你將學會 Linear Regression（線性迴歸）：一種可以預測未知資料的分析技術，企業經常使用它將原始資料轉換為商業智慧和可行的見解，在人工智慧與機器學習中，都使用線性回歸來解決複雜的問題。 Logistic Regression（邏輯迴歸）：使用數學來尋找兩個資料之間的關係，用以預測可能的數值，例如可以用來預測新網站訪客的行為。邏輯迴歸在人工智慧與機器學習領域中是非常重要的技術，邏輯迴歸模型相對於其他機器學習技術上具有簡易性、速度快、靈活性、可見性等優勢。 Linear Discriminant Analysis (線性區別分析) : 線性判別分析(LDA)基於假設每類別的資料為常態分佈情況下進行訓練資料的概似函數建模，並搭配最大後驗機率法進行分類判斷。這個方法使用統計學和機器學習方法，試圖找到不同類別之間的模型進行區分化。相較於常看到的Naive Bayes Classifier（單純貝式分類器），LDA會透過高斯函數的共變異數矩陣來考慮到特徵和特徵之間的關聯性，在單純貝式分類器則是直接假設特徵之間彼此無關聯，LDA模型考慮的更全面。 統法降維（Dimension reduction）：刪除最小變異法、透過統計檢定法進行單變量特徵選擇、順序特徵選擇（Sequential Feature Selection）、主成分分析（Principal components analysis），此類型方式在機器學習目的是希望能減少資料的特徵量，從觀察資料中探勘何謂重要的特徵資料，並且在後續建立分類模型或是回歸預測模型的效能不會差異太多甚至會更好。 模型評估 （Model Evaluation）：如何有效評估建立好的分類或是回歸模型，利用訓練資料和測試資料的區分，避免因為同一批次資料訓練同一批次資料進行評估造成挑選到不適當的模型。 課程成果 Kaggle 範例：癌症資料分類 （Jupyter notebook） 本範例採用癌症分類資料集，一共有 570 筆資料，每筆資料有 30 個欄位特徵，最終目的是利用這 30個欄位資料進行資料分類，目標是良性癌症和惡性癌症分類。此範例將採用主成分分析和線性區別分析直接進行建立模型，並分析主成分分析須採用到幾個主成分在測試資料集可以得到合適的分類正確率。 課程介紹 什麼是Kaggle？ Kaggle是一個資料建模與分析的競賽平台。企業和研究者可在其上發布資料，統計學者和數據分析專家可在其上進行競賽以產生最好的模型。 Kaggle提供了很好的環境跟豐富的資料讓大家來使用，如果說寫程式的人常用Leetcode提升自己寫code的能力，那麼資料分析者會選擇Kaggle作為練習跟打比賽的平台。 這裡有許多的真實的資料庫可以做為練習參考，例如用於遊戲銷售中的簡單資料、環境污染檢測的資料、COVID-19研究資料、烏克蘭公共採購資料庫等，而本課程在第六章會用到四個實際案例： ◆Mobile Price Classification 　手機價錢等級評估 ◆Cancer Data Classification 　良性癌症、惡性癌症分類 ◆Medical Cost Personal Prediction 　個人醫療費用預測 ◆Used Cars Price Prediction 　二手車價預測 可以讓你在這些專案上訓練與測試你的模型，最終幫助到其他有需要的人。 課程說明 Python是機器學習最常用的程式語言，針對想要成為現在最受歡迎的資料分析師、數據科學家、模型開發工程師、AI 大數據工程師、演算法工程師的學員，有必要學習了解Python與統計基礎，因此在本課程裡提供了機器學習統計方法需要用到的基礎知識，並且透過Python 實作，讓學員能充分理解機器學習基礎運作方式、進階分類和迴歸分析，最後統整課程所學，進行Kaggle的實例操作。 本課程講師為教學經驗豐富、並且任職上市公司人工智慧研發部副理的黃志勝老師，以業界需求的實務角度著眼，貼近初學者的心態著手，從入門的Python下載與安裝開始教學，由淺入深介紹統計相關名詞，搭配統計相關的範例實作（提供範例程式碼），就算是沒有機器學習經驗或背景的學員也能放心學習。 本課程將從基礎出發 : 📌 第一章「基礎運算和常用到的機率概念」 📌 第二章「常用統計學」，充分介紹機器學習的基礎 📌 第三章「迴歸分析和分類方法」，搭配實例練習 📌 第四章「統計降維方法」，透過實際範例讓學員做中學，讓複雜的數學方程式實例化 📌 第五章「模型評估」，讓學員理解模型的評估方式，了解如何選擇適合的模型 📌 第六章「實際案例操作」，從 kaggle 迴歸和分類的實際結構化資料集，將單元 1-5 學習的方法充分應用在四個範例中，讓學員可以更清楚看到在不同的範例上，只要是在結構資料下，可以用相同的操作方式得到成果，並進行完整的資料分析。 第六章從 kaggle 迴歸和分類的實際結構化資料集，將單元 1-5 學習的方法充分應用在四個範例中，讓學員可以更清楚看到在不同的範例上，只要是在結構資料下，可以用相同的操作方式得到成果，並進行完整的資料分析 學習過程中有不清楚的部分可以在討論區提出，且完課後將提供電子完課證書！ 實例解說 迴歸實例練習：波士頓房價 此實例將會採用SKlearn套件進行練習。波士頓房價預測是一個公開的資料集，可以利用資料集內的特徵欄位自變數（X），房價欄位作為依變數（Y），將利監督式學習的線性迴歸模型（f）進行建模（Y=f（X））。 🌟分類實例練習1：IRIS分類 IRIS資料集是一個古典的花朵資料集，在此練習中，將進行山鳶尾、變色鳶尾、維吉尼亞鳶尾三個種類的分類（依變數（Y）），資料是依據每朵花的花瓣花萼長寬進行資料收集（自變數（X））。 🌟分類實例練習2：男女生判斷 男女生分類資料集是講師自行創立的資料，將身高、體重、手機品牌、體脂肪作為自變數（X），來判斷男女生（依變數（Y））。 🌟特徵選取法練習 利用SKlearn內建的函數刪除不合理的特徵、單變量特徵選擇、順序特徵選擇等方法進行操作，並以男女生分類的範例進行練習。 🌟特徵萃取法練習 利用SKlearn內建的函數進行主成份分析（PCA），並在男女生分類的問題進行範例操作。 課程特色 1. 超強師資：講師擁有13年產學研究經驗，同時兼任業界人工智慧高級主管與大學教職，讓學員可以學到真正有用的知識與技巧。 2. 跟著範例學：每個章節均會搭配範例，讓學員從做中建立觀念、降低學習難度，並且是以機器學習最常用的Python來進行實作教學。 3. 不限次練習：重複的練習才能加深學習的印象與技巧，本課程提供完整的範例程式碼，並設有討論區供讀者與老師互動解答。 完課成效 學到業界都在用的統計知識與機器學習技術 使用 Python 實作出4個案例。學習操作最流行的機器學習框架 SKlearn，並額外操作 SVM 和 SVR方法，體驗 SKlearn 模組下，可以輕鬆快速操作其他機器學習演算法。 課程大綱 第零章 AI 工程師簡介 工程師的工作內容 AI 工程師需要具備什麼能力 AI 工作在臺灣的市場 第一章 機器學習常用的基礎和機率 數值資料表示方式 向量與矩陣運算 矩陣分解 隨機變數的機率分布與機率密度函數 常用到的統計機率分布模型 常用到的距離和相似度計算方式 第二章 機器學習常用的統計學 統計量與特徵表徵 信賴區間 常態分布的區間估計 抽樣數的選擇 假設檢定 條件機率與貝氏定理 貝氏法則理論與最大後驗機率 第三章 迴歸和分類 簡單與多元線性迴歸分析 迴歸實例解說(Python實作)-波士頓房價為例 分類１:羅吉斯迴歸 分類２:線性區別分析 分類實例解說(Python實作)- (1)IRIS分類、(2)男 、女生判斷 第四章 統計降維法 特徵選取法 特徵萃取法 特徵選取法(Python實作) 特徵萃取法(Python實作) 第五章 模型評估 二元分類模型評估指標 (Python實作) 多元分類評估指標 (Python實作) 迴歸模型評估指標 (Python實作) 交叉驗證：如何選取模型與模型評估 第六章 實際案例操作 (Python實作) Mobile Price Classification: 手機價錢等級評估 Cancer Data Classification: 良性癌症、惡性癌症分類 Used Cars Price Prediction: 二手車價預測 Medical Cost Personal Prediction: 個人醫療費用預測 附錄 Python 基礎教學 Python 下載與安裝教學 Python 語法教學 （if, for, range, while, pass, list, type, tuple, dict, set）

最多人推薦給新手的Python 入門課程，邁向數據科學之路首先要先打好Python基礎，Python自學不是不行，有好的老師好的實作讓你無痛轉職，8個基礎實作+程式範例練習，一次學會Python的原理概念，同學一致好評的課程與講師

AI如火如荼發展，各大產業對於巨量資料分析人才都存在龐大需求。iPAS產業人才能力鑑定是經濟部為充裕產業升級所需人才， 整合產官學研所建立的鑑定體制。有專業能力認證，更容易獲得企業優先面試/聘用及加薪之機會。艾鍗學院授課講師皆取得iPAS認證，章章精彩、片刻不冷場，帶給學員最實戰的應試指南，打穩巨量資料分析師的基本功！ 學習目標 1. 熟悉Python程式語言與Python物件導向設計。 2. 熟悉Python原生的資料結構操作，如tuple, list, dict, set等。 3. 機器學習的概念(監督式學習、非監督式學習)。 4. 資料特徵與資料預處理方式。 5. 知道如何使用Scikit Learn 套件進行實作。 6. 了解迴歸與最小平方法。 7. 了解基本的機器學習分類演算法, 如決策樹、隨機森林等。 8. 了解機器學習分群演算法, 如K-means, 階層式分群法。 9. 熟悉Python常用的資料處理套件，如Pandas, Numpy, Matplotlib。 10. 從提供的iPAS 中級實作題解答中，了解更多實作技巧。 章節架構 初級 Part1.資料導向程式設計 • 1.Python實作基礎 o Python 簡介 o 變數與動態資料型別 o 運算式 o 序列資料結構- list, tuple, range o 非序列資料結構-set, dict,… o 流程控制 o 自訂函數 o 變數命名空間 o 例外處理 o 物件導向設計 o 模組與套件 o 資料匯入與匯出(txt,csv,JSON,pickle) o 附錄: Anaconda 安裝與使用 Part2.機器學習簡介與資料處理 • 1.人工智慧簡介 • 2.機器學習簡介(監督式學習、非監督式學習) • • 3.資料與特徵 • • 4.資料預處理使用Scikit-learn • • 5.其他 o Z-score 標準化 o 資料庫概念(含NoSQL) 中級 Part3.機器學習實務 • 1.Introduction to Machine learning & Terminology • 2.Linear Regression o Gradient Descent from scratch o Linear Regression from scratch o ridge vs lasso regression • 3.Machine learning using Scikit-learn • 4.Linear Regression using Scikit-learn • 5.Classification o Logistic Regression o KNN o Decision Tree • 6.Dimensionality reduction - PCA • 7.Ensemble Method • o Random Forest o Adaboost • 8.Clustering o K-means o Hierarchical Method • 9.Reinforcement Learning o Q-learning Algorithm & Implementation • • @ 進階資料處理 (Python常用資料處理套件) • o 資料矩陣運算-使用Numpy o 資料庫匯入-使用Pandas o 資料視覺化-繪圖與製表-使用Matplotlib Part4 iPAS巨量資料分析試題 • 1.中級巨量資料分析師能力觀念題 • 2.術科試題 - 文字資料處理 o 透過程式產生重複資料 o JSON 格式之載入與轉換 o 取出描述內容包含字串「Limited」之商品資料 o 字串處理技巧 o 將商品描述(describe)透過結巴斷詞並計算詞頻 排行 • 3.術科試題解析 - 集群與視覺化 o 讀取資料 o 次數分配表 o k-means 集群 o 分組計算 o 資料視覺化 • 4.術科試題解析 - 隨機森林迴歸預測模型 o 讀取資料 o 切分訓練集與測試集 o 模型配適 o 預測 o 評估 • 5.術科試題解析 - 隨機森林分類預測模型 o 讀取資料 o 切分訓練集與測試集 o 模型配適 o 預測 o 評估