資料科學：Azure 機器學習工作室入門
1. 具備 Machine Learning 基礎知識
2. 具備 Machine Learning 問題類型梳理的能力
3. 具備 Machine Learning 開發流程的能力
4. 具備使用 Azure 機器學習工作室的能力
5. 具備資料清理、特徵工程、訓練模型、模型驗證和發布模型能力
6. 具備獨立建模的能力
Hahow好學校104學習精靈
資料清理
資料清理
關注
邀請朋友 
Facebook
Line
複製連結
Hi~ 歡迎分享學習資源，有學習問題可匿名向Giver發問！
我要分享
我要提問
資料清理 學習推薦
全部
影片
文章
3個實用的Pandas套件清理重複資料教學
本文以Kaggle網站的Amazon 2009-2019年Top50暢銷書資料集( https://www.kaggle.com/sootersaalu/amazon-top-50-bestselling-books-2009-2019
)為例，教大家如何查找及清理資料集的重複資料，提升資料的品質。
Q: Pandas duplicated()查找重複資料
想要使用Pandas套件查找資料集的重複資料，利用duplicated()方法(Method)可以得到每筆資料的重複狀態，True代表重複，False為沒重複，如下範例：
import pandas as pd
df = pd.read_csv('bestsellers with categories.csv')
print(df.duplicated())
接著，透過Pandas套件的括號[]語法即可檢視重複資料的各欄位資料，如下範例：
df = pd.read_csv('bestsellers with categories.csv')
print(df[df.duplicated()])
Pandas套件的duplicated()方法(Method)除了能夠查找所有欄位資料完全一樣的重複資料外，也提供了以下兩個關鍵字參數，來客製化查找的方式：
1. subset-查找特定欄位的重複資料
2. keep-保留第一筆(first)、最後一筆(last)或全部(False)的重複資料
如下範例：
df = pd.read_csv('bestsellers with categories.csv')
column_names = ['Name', 'Author', 'Year', 'Genre']
df = df[df.duplicated(subset=column_names, keep=False)]
print(df)
以上範例即是查找Name(書名)、Author(作者)、Year(出版年)及Genre(類型)四個欄位都一樣的重複資料，並且全部保留。
Q: Pandas drop_duplicates()刪除重複資料
從資料集裡找到重複的資料後，接下來，最常見的就是進行刪除或群組處理。
而要刪除完全一樣的重複資料，可以利用Pandas套件的drop_duplicates()方法(Method)，如下範例：
df = pd.read_csv('bestsellers with categories.csv')
df.drop_duplicates(inplace=True)
其中，inplace關鍵字參數代表直接從現有資料集中刪除重複資料。
另外，要刪除特定欄位重複的資料，同樣可以透過subset及keep關鍵字參數來達成，如下範例：
df = pd.read_csv('bestsellers with categories.csv')
column_names = ['Name', 'Author', 'Year', 'Genre']
df.drop_duplicates(subset=column_names, keep='first', inplace=True)
Q: Pandas groupby()、agg()群組重複資料
除了可以利用Pandas套件的drop_duplicates()方法(Method)刪除重複資料外，有時基於商業邏輯，可以透過群組的方式解決重複資料。
這時候，就可以利用Pandas套件的groupby()方法(Method)群組相同資料的欄位，以及agg()方法(Method)，統計運算剩餘的不同資料欄位，達到合併重複資料成一筆的效果，如下範例：
df = pd.read_csv('bestsellers with categories.csv')
column_names = ['Name', 'Author', 'Year', 'Genre']
summeries = {'User Rating': 'mean', 'Reviews': 'sum', 'Price': 'mean'}
df = df.groupby(by=column_names).agg(summeries).reset_index()
print(df)
如果想要學習更多的Python應用教學，歡迎前往Learn Code With Mike(https://www.learncodewithmike.com/2022/01/pandas-drop-duplicate-data.html
)網站觀看更多精彩內容。
3
0
1134 0
拍手
留言
分享
Line
複製連結
收藏
熱門精選
雙11精選加碼課程，不要錯過喔!
雙11精選加碼課程，不要錯過喔 !
第一波 11/1 00:00 ~ 11/10 23:59
想要增加職場技能，要保握學習優惠喔!讓你學習更輕鬆!
【 領『 88折送百元LINE點數 』優惠券＿結帳記得使用優惠券 】
優惠時間：2024/11/1-2014/11/10
🔵 ChatGPT x Excel | 職場必學商務數據分析術
🔵 從Excel到Power BI數據視覺化
🔵 .NET開發資料庫應用系統全方位－ADO.NET與Entity Framework(.NET Core)攻略
🔵 成為 AI 科學家｜資料分析師必備視覺化技能 Power BI
🔵 C# .Net Framework系統基礎實作攻略
🔵 學程式也能很好玩：不背語法寫Java
🔵 快速活用 MySQL，精準設計關聯式資料庫
🔵 全端工程師必修-Python迅速開發網站實戰
🔵 第一次就上手，前端工程新手指南
🔵 成為前端工程師｜透過 HTML 與 CSS 認識網頁設計，從 0 到 1 打造實用介面 (上集)
🔵 白帽駭客入門 I 基礎網頁滲透實作
【 領『 85折送百元LINE點數 』優惠券＿結帳記得使用優惠券 】
優惠時間：2024/11/1-2014/11/10
🟠 一次搞懂 ChatGPT 工作法 | 5分鐘看懂，立即上手 AI 應用觀念！
🟠 商務簡報技巧
🟠 Python基礎課程：17小時學會寫程式
🟠 訴訟基本觀念十堂課：教你避免法律風險，掌握官司的主導權
🟠 多益全制霸：必考文法全攻略
🟠 英文簡報表達力 | 商務溝通實戰技巧
🟠 多益全制霸：必考字群獨家記憶法
🟠 Offer Get ! 現在開始找份好工作
🟠 如何談升職加薪
🟠 讀懂財報的基礎入門
🟠 產品思維－像產品經理一樣思考
🟠 認識孩子的九大氣質：讓親子關係更緊密的一堂課
【 領『 85折送2百LINE點數 』優惠券＿結帳記得使用優惠券 】
優惠時間：2024/11/1-2014/11/10
⚡ 畫出迷人風格 | iPad電繪Procreate插畫課
⚡ 新手的第一堂Procreate動畫課｜療癒風格動起來
⚡ 【自我和解的8堂課】用金剛經破除生命誤會，找回快樂的自己
⚡ 居家水電自己來！水電爸爸的水電實務課
⚡ 【化輸入為輸出】九堂課教你輸出高品質內容
⚡ 手沖咖啡學｜搞懂原理，成為咖啡職人
【更多課程優惠｜查看留言處】
1
13
6506 2
拍手
留言
分享
Line
複製連結
收藏
104學習精靈精選課程
想提升職場競爭力？專業技能課程看起來👇
教你用Pandas套件清理資料中的常見資料型態問題(下)
想要實作資料分析，讀取資料是第一步所要執行的動作，而如果沒有正確的進行資料前處理(Data Preprocessing)，就會影響最後分析結果的準確性及可靠性。
本文就先針對「資料型態」，來和大家分享如何有效找出髒資料(Dirty Data)，並且利用Pandas套件來進行資料處理或清理，避免髒資料(Dirty Data)導致分析的副作用。
Q: Pandas類別資料型態(category)處理
在實作機器學習或分類資料的時候，有時會以數字來分別表示不同類別的資料。
同樣以Kaggle網站的ASUS筆電資料集( https://www.kaggle.com/bhageshcodebeast/asus-laptops-2020-jun
)為例，為了進行示範，Mike將「Category筆電類別欄位」利用以下三個數字表示：
0-其他
1-Premium
2-Platinum
Pandas讀取資料集後，如下範例：
import pandas as pd
df = pd.read_csv('AsusLaptops.csv')
print(df)
而各欄位的資料型態，如下範例：
import pandas as pd
df = pd.read_csv('AsusLaptops.csv')
print(df.info())
可以看到Pandas套件判定「Category筆電類別欄位」為int64(整數)型態，當利用Pandas套件的describe()方法(Method)進行摘要性統計的時候，就會看到數字型態的統計結果，如下範例：
import pandas as pd
df = pd.read_csv('AsusLaptops.csv')
print(df['Category'].describe())
但事實上，「Category筆電類別欄位」為類別資料型態(category)，如果沒有將欄位進行轉型，就有可能誤導後續的操作或統計。
解決方法，可以使用Pandas套件的astype()方法(Method)，將「Category筆電類別欄位」轉型為類別型態(category)，這時候，再透過describe()方法(Method)來查看摘要性統計的時候，就會是類別型態(category)的統計結果，如下範例：
import pandas as pd
df = pd.read_csv('AsusLaptops.csv')
df['Category'] = df['Category'].astype('category') #轉型
print(df['Category'].describe())
以上就是在進行資料分析的過程中，常見的資料型態問題，本文和大家分享了利用Pandas套件的info()方法(Method)，來查看各欄位的資料型態是否與需求相符，如果其中含有髒資料(Dirty Data)，可以使用strip()方法(Method)進行資料清理，以及透過astype()方法(Method)轉型為正確的資料型態。
如果想要學習更多的Python應用教學，歡迎前往Learn Code With Mike(https://www.learncodewithmike.com/2021/12/processing-data-type-with-pandas.html
)網站觀看更多精彩內容。
2
0
372 0
拍手
留言
分享
Line
複製連結
收藏
推薦給你
辦公用品英文合集：釘書機、長尾夾、便利貼、迴紋針等辦公文書用具的英文原來是這個！
常見辦公室文具用品的英文該怎麼說呢？一篇教你釘書機、長尾夾、便利貼、迴紋針的英文怎麼說，來學習各種工具的英文吧！
1. 書寫工具
• Ballpoint Pen - 原子筆
• Mechanical Pencil - 自動鉛筆
• Highlighter - 螢光筆
• Eraser - 橡皮擦
• Correction Tape - 修正帶
2. 夾子和裝訂文件工具
• Stapler - 釘書機
• Staples - 釘書針
• Paperclip - 迴紋針
• Binder Clip - 長尾夾
• Hole Punch - 打孔機
3. 黏貼工具
• Push Pin - 圖釘
• Tape Dispenser - 膠帶座
• Glue Stick - 口紅膠
• Rubber Bands - 橡皮筋
4. 量測工具
• Ruler - 尺
• Calculator - 計算機
5. 文件夾等辦公用品
• Folder - 資料夾
• Post-it Notes - 便利貼
• Clipboard - 寫字夾板
記得關注我們的共學教室，不要錯過任何文章喔！
0
1
470 1
拍手
留言
分享
Line
複製連結
收藏
你可能感興趣的教室