Pandas相關課程｜104學習精靈

成為AI工程師必學的深度學習與 PyTorch 實作

成為AI工程師必學的深度學習與 PyTorch 實作完課後，你將學會 Multilayer Perceptron （MLP, 多層感知器）：也稱為前饋神經網路，是深度學習中最基礎的模型，可用於處理結構化的資料，例如表格中的數值、類別等，並進行分類、回歸等任務。 Convolutional Neural Network （CNN，卷積神經網路）：用於對影像或音訊等二維和一維資料進行分析和處理，能夠有效地提取出其特徵，並進行影像分類、目標檢測等任務。 Recurrent Neural Network （RNN，遞迴神經網路）Family：包含RNN、Long Short Term Memory Network (LSTM，長短期記憶網路)：用於處理序列型資料，能夠有效地捕捉序列間的長期相依性，被廣泛應用於語音辨識、機器翻譯等自然語言處理領域。 Transformer：用於處理序列型的資料，透過學習來估計全部序列之間的的關聯性，能共有效的通盤考慮整段資料的特性，被廣泛用在自然語言領域，近年來也被導入影像相關AI模型。 Generative Adversarial Network （GAN，生成對抗網路）：是一種生成模型，能夠透過兩個神經網路之間的對抗訓練，從噪聲中生成出與真實資料相似的新資料，用於影像生成、音訊生成等任務。課程成果 4-5 影像切割方法介紹（U-NET）在實務上最常拿來使用就是影像的前景背景切割，也就是如果要做去背的動作，可以靠大量資料模型訓練後，讓模型學習到哪些是主要要切割出來的物體。 5-4 Transformer 我們簡單操作NLP相關的範例，利用網路上別人的開源資料進行英中翻譯的Transformer （簡易版）的PytTorch模型建立和模型訓練。 5-5 實作：股價預測我們將進行股價資料爬蟲（直接利用yfinance模組），然後採用LSTM利用過去的股價進行未來股價的預測。除了股價預測之外，只要資料都是時序資料都也可以進行相同的程式操作，包含庫存預測或是失業率預測等。課程介紹什麼是 PyTorch？ PyTorch是一個基於Torch函式上，針對Python所開發的機器學習庫，為深度學習的框架之一，主要應用於電腦視覺和自然語言處理。 PyTorch 的設計目標是提供一個簡單易用、靈活且高效的工具，深受在深度學習領域的工作者的喜愛。它最大的核心功能是提供自動微分，幫助開發人員可以更容易地定義和優化神經網絡模型。同時，PyTorch的動態計算圖表更貼近Python風格的編程，因此更易於開發和調試。你可以使用標準的Python語句進行調試，並且更容易理解和檢查中間結果。另一個特點是會使用動態計算圖表。相較於其他框架（TensorFlow），PyTorch的計算圖是在運行時就構建的，表示計算會在每一行程式碼都完成後執行，使得使用者可以更靈活地進行模型構建和調試。此外，PyTorch還支援多GPU平行加速，可以加快模型訓練的速度。 PyTorch與TensorFlow的差異 PyTorch和TensorFlow是當今兩個最受歡迎且廣泛使用的深度學習框架，它們有一些重要的差異：社群生態系統：TensorFlow擁有更大的社群生態系統和更廣泛的應用案例支援。許多大型公司和研究機構使用TensorFlow進行深度學習研究和應用開發。然而，PyTorch近年來的快速發展也使其社群生態系統不斷擴大，並且在學術界和研究領域中獲得了廣泛的支持，並且在最新、State-of-the-art和開源的AI算法幾乎都以PyTorch撰寫。開發和調試：由於PyTorch的動態圖和Python風格的編程，它通常被認為更容易於開發和調試。您可以使用標準的Python語句進行調試，並且更容易理解和檢查中間結果。課程説明本課程講師是擁有13年以上的AI產學經驗、並且任職上市公司人工智慧研發部副理的黃志勝老師，以業界需求的實務角度著眼，貼近初學者的心態著手，介紹完整的近代人工智慧，神經網路的模型學習技巧，例如參數初始和更新方式、梯度更新方式、損失函數等。以及網路架構的介紹，包含感知神經網路、卷積神經網路、和時序系列神經網路（RNN、LSTM、Transformer）等，並帶著學員學習PyTorch的操作，詳述近代人工智慧應用與深度學習的相關技術。主要重點有：深度學習與 PyTorch 基礎觀念：從深度學習的基礎觀念開始介紹，深度學習的演變以及使用 PyTorch 進行深度學習專案的開發。類神經網路相關主題：探討損失函數、梯度下降法、參數影響等，並如何選擇優化器。卷積神經網路（CNN）：利用 PyTorch 建立 CNN 網路，學習建構和訓練模型，進行物件偵測及影像偵測等實作。並完成三項實作練習： CNN影像分類（貓狗分類） YOLO物件偵測（人臉偵測）Ｕ-NET影像切割（PASCAL VOC）時序神經網路：遞迴神經網路（RNN）、長短記憶模型（LSTM）、GRU 網路和 Transformer 自注意力機制，並實際應用於以下兩項實作練習：股價預測英中文翻譯課程適合誰 1. 想成為 AI 工程師者 2. 想了解深度學習（Deep Learning）與訓練模型者 3. 想學習 PyTorch 操作、神經網路者課程特色 1. 課程搭配卷積神經網路（CNN）與時序神經網路範例實作 2. 內容含市面少有的 Transformer : 自注意力（Self-Attention）教學 3. 老師擁有 13年學術上和業界的經驗,課程所教授的知識都是在業界實際使用到的內容課程大綱一、深度學習與PyTorch基礎觀念深度學習的演變為什麼要使用 PyTorch：PyTorch 如何協助深度學習專案的開發 PyTorch 數值型態與基本運算 ONNX簡介 Pytorch dataloader 二、類神經網路感知機神經網路常用的 Activation Function （激勵函數, ACT）透過 Activation Function 做到特徵非線性轉換三、神經網路怎麼學習損失函數梯度下降法倒傳遞學習法參數常規化參數初始方式優化器（Optimizer）的選擇四、卷積神經網路（CNN）卷積神經網路常用的原件，例如: 卷積（Convolution）最大池化（Max pooling）全連結層（Fully connection）激勵函數（Activation function） Softmax函數...等等 CNN經典模型介紹 : Alexnet、VGG、GoogleNet、Inceptionv2-v4、ResNet、DenseNet、MobileNet等等。如何利用Pytorch自行建立CNN網路，以ResNet為例。物件偵測方法介紹（YOLO）影像切割方法介紹（U-NET）資料增強（Data Augumentation）實作:使用預模型做遷移學習、訓練自己的深度學習模型 CNN影像分類（貓狗分類） YOLO物件偵測（人臉偵測） U-NET影像切割（PASCAL Visual Object Classes（PASCAL VOC））五、時序神經網路遞迴神經網路（RNN）長短期記憶模型（LSTM） GRU網路 Transformer:自注意力（Self-Attention）實作：股價預測實作:中英文翻譯解鎖 Generative Adversarial Network （GAN）

Mastertalks

成為AI工程師必學的：機器學習的統計基礎與Kaggle範例實作

成為AI工程師必學的：機器學習的統計基礎與Kaggle範例實作完課後，你將學會 Linear Regression（線性迴歸）：一種可以預測未知資料的分析技術，企業經常使用它將原始資料轉換為商業智慧和可行的見解，在人工智慧與機器學習中，都使用線性回歸來解決複雜的問題。 Logistic Regression（邏輯迴歸）：使用數學來尋找兩個資料之間的關係，用以預測可能的數值，例如可以用來預測新網站訪客的行為。邏輯迴歸在人工智慧與機器學習領域中是非常重要的技術，邏輯迴歸模型相對於其他機器學習技術上具有簡易性、速度快、靈活性、可見性等優勢。 Linear Discriminant Analysis (線性區別分析) : 線性判別分析(LDA)基於假設每類別的資料為常態分佈情況下進行訓練資料的概似函數建模，並搭配最大後驗機率法進行分類判斷。這個方法使用統計學和機器學習方法，試圖找到不同類別之間的模型進行區分化。相較於常看到的Naive Bayes Classifier（單純貝式分類器），LDA會透過高斯函數的共變異數矩陣來考慮到特徵和特徵之間的關聯性，在單純貝式分類器則是直接假設特徵之間彼此無關聯，LDA模型考慮的更全面。統法降維（Dimension reduction）：刪除最小變異法、透過統計檢定法進行單變量特徵選擇、順序特徵選擇（Sequential Feature Selection）、主成分分析（Principal components analysis），此類型方式在機器學習目的是希望能減少資料的特徵量，從觀察資料中探勘何謂重要的特徵資料，並且在後續建立分類模型或是回歸預測模型的效能不會差異太多甚至會更好。模型評估（Model Evaluation）：如何有效評估建立好的分類或是回歸模型，利用訓練資料和測試資料的區分，避免因為同一批次資料訓練同一批次資料進行評估造成挑選到不適當的模型。課程成果 Kaggle 範例：癌症資料分類（Jupyter notebook）本範例採用癌症分類資料集，一共有 570 筆資料，每筆資料有 30 個欄位特徵，最終目的是利用這 30個欄位資料進行資料分類，目標是良性癌症和惡性癌症分類。此範例將採用主成分分析和線性區別分析直接進行建立模型，並分析主成分分析須採用到幾個主成分在測試資料集可以得到合適的分類正確率。課程介紹什麼是Kaggle？ Kaggle是一個資料建模與分析的競賽平台。企業和研究者可在其上發布資料，統計學者和數據分析專家可在其上進行競賽以產生最好的模型。 Kaggle提供了很好的環境跟豐富的資料讓大家來使用，如果說寫程式的人常用Leetcode提升自己寫code的能力，那麼資料分析者會選擇Kaggle作為練習跟打比賽的平台。這裡有許多的真實的資料庫可以做為練習參考，例如用於遊戲銷售中的簡單資料、環境污染檢測的資料、COVID-19研究資料、烏克蘭公共採購資料庫等，而本課程在第六章會用到四個實際案例： ◆Mobile Price Classification 　手機價錢等級評估 ◆Cancer Data Classification 　良性癌症、惡性癌症分類 ◆Medical Cost Personal Prediction 　個人醫療費用預測 ◆Used Cars Price Prediction 　二手車價預測可以讓你在這些專案上訓練與測試你的模型，最終幫助到其他有需要的人。課程說明 Python是機器學習最常用的程式語言，針對想要成為現在最受歡迎的資料分析師、數據科學家、模型開發工程師、AI 大數據工程師、演算法工程師的學員，有必要學習了解Python與統計基礎，因此在本課程裡提供了機器學習統計方法需要用到的基礎知識，並且透過Python 實作，讓學員能充分理解機器學習基礎運作方式、進階分類和迴歸分析，最後統整課程所學，進行Kaggle的實例操作。本課程講師為教學經驗豐富、並且任職上市公司人工智慧研發部副理的黃志勝老師，以業界需求的實務角度著眼，貼近初學者的心態著手，從入門的Python下載與安裝開始教學，由淺入深介紹統計相關名詞，搭配統計相關的範例實作（提供範例程式碼），就算是沒有機器學習經驗或背景的學員也能放心學習。本課程將從基礎出發 : 📌 第一章「基礎運算和常用到的機率概念」 📌 第二章「常用統計學」，充分介紹機器學習的基礎 📌 第三章「迴歸分析和分類方法」，搭配實例練習 📌 第四章「統計降維方法」，透過實際範例讓學員做中學，讓複雜的數學方程式實例化 📌 第五章「模型評估」，讓學員理解模型的評估方式，了解如何選擇適合的模型 📌 第六章「實際案例操作」，從 kaggle 迴歸和分類的實際結構化資料集，將單元 1-5 學習的方法充分應用在四個範例中，讓學員可以更清楚看到在不同的範例上，只要是在結構資料下，可以用相同的操作方式得到成果，並進行完整的資料分析。第六章從 kaggle 迴歸和分類的實際結構化資料集，將單元 1-5 學習的方法充分應用在四個範例中，讓學員可以更清楚看到在不同的範例上，只要是在結構資料下，可以用相同的操作方式得到成果，並進行完整的資料分析學習過程中有不清楚的部分可以在討論區提出，且完課後將提供電子完課證書！實例解說迴歸實例練習：波士頓房價此實例將會採用SKlearn套件進行練習。波士頓房價預測是一個公開的資料集，可以利用資料集內的特徵欄位自變數（X），房價欄位作為依變數（Y），將利監督式學習的線性迴歸模型（f）進行建模（Y=f（X））。 🌟分類實例練習1：IRIS分類 IRIS資料集是一個古典的花朵資料集，在此練習中，將進行山鳶尾、變色鳶尾、維吉尼亞鳶尾三個種類的分類（依變數（Y）），資料是依據每朵花的花瓣花萼長寬進行資料收集（自變數（X））。 🌟分類實例練習2：男女生判斷男女生分類資料集是講師自行創立的資料，將身高、體重、手機品牌、體脂肪作為自變數（X），來判斷男女生（依變數（Y））。 🌟特徵選取法練習利用SKlearn內建的函數刪除不合理的特徵、單變量特徵選擇、順序特徵選擇等方法進行操作，並以男女生分類的範例進行練習。 🌟特徵萃取法練習利用SKlearn內建的函數進行主成份分析（PCA），並在男女生分類的問題進行範例操作。課程特色 1. 超強師資：講師擁有13年產學研究經驗，同時兼任業界人工智慧高級主管與大學教職，讓學員可以學到真正有用的知識與技巧。 2. 跟著範例學：每個章節均會搭配範例，讓學員從做中建立觀念、降低學習難度，並且是以機器學習最常用的Python來進行實作教學。 3. 不限次練習：重複的練習才能加深學習的印象與技巧，本課程提供完整的範例程式碼，並設有討論區供讀者與老師互動解答。完課成效學到業界都在用的統計知識與機器學習技術使用 Python 實作出4個案例。學習操作最流行的機器學習框架 SKlearn，並額外操作 SVM 和 SVR方法，體驗 SKlearn 模組下，可以輕鬆快速操作其他機器學習演算法。課程大綱第零章 AI 工程師簡介工程師的工作內容 AI 工程師需要具備什麼能力 AI 工作在臺灣的市場第一章機器學習常用的基礎和機率數值資料表示方式向量與矩陣運算矩陣分解隨機變數的機率分布與機率密度函數常用到的統計機率分布模型常用到的距離和相似度計算方式第二章機器學習常用的統計學統計量與特徵表徵信賴區間常態分布的區間估計抽樣數的選擇假設檢定條件機率與貝氏定理貝氏法則理論與最大後驗機率第三章迴歸和分類簡單與多元線性迴歸分析迴歸實例解說(Python實作)-波士頓房價為例分類１:羅吉斯迴歸分類２:線性區別分析分類實例解說(Python實作)- (1)IRIS分類、(2)男、女生判斷第四章統計降維法特徵選取法特徵萃取法特徵選取法(Python實作) 特徵萃取法(Python實作) 第五章模型評估二元分類模型評估指標 (Python實作) 多元分類評估指標 (Python實作) 迴歸模型評估指標 (Python實作) 交叉驗證：如何選取模型與模型評估第六章實際案例操作 (Python實作) Mobile Price Classification: 手機價錢等級評估 Cancer Data Classification: 良性癌症、惡性癌症分類 Used Cars Price Prediction: 二手車價預測 Medical Cost Personal Prediction: 個人醫療費用預測附錄 Python 基礎教學 Python 下載與安裝教學 Python 語法教學（if, for, range, while, pass, list, type, tuple, dict, set）

Mastertalks