「資料清理」在職進修、線上學習、共學教室

關注

Mike Ku

Learn Code With Mike品牌創辦人

2022/01/21

本文以Kaggle網站的Amazon 2009-2019年Top50暢銷書資料集( https://www.kaggle.com/sootersaalu/amazon-top-50-bestselling-books-2009-2019 )為例，教大家如何查找及清理資料集的重複資料，提升資料的品質。

Q: Pandas duplicated()查找重複資料

想要使用Pandas套件查找資料集的重複資料，利用duplicated()方法(Method)可以得到每筆資料的重複狀態，True代表重複，False為沒重複，如下範例：

import pandas as pd

df = pd.read_csv('bestsellers with categories.csv')

print(df.duplicated())

接著，透過Pandas套件的括號[]語法即可檢視重複資料的各欄位資料，如下範例：

df = pd.read_csv('bestsellers with categories.csv')

print(df[df.duplicated()])

Pandas套件的duplicated()方法(Method)除了能夠查找所有欄位資料完全一樣的重複資料外，也提供了以下兩個關鍵字參數，來客製化查找的方式：

1. subset-查找特定欄位的重複資料

2. keep-保留第一筆(first)、最後一筆(last)或全部(False)的重複資料

如下範例：

df = pd.read_csv('bestsellers with categories.csv')

column_names = ['Name', 'Author', 'Year', 'Genre']

df = df[df.duplicated(subset=column_names, keep=False)]

print(df)

以上範例即是查找Name(書名)、Author(作者)、Year(出版年)及Genre(類型)四個欄位都一樣的重複資料，並且全部保留。

Q: Pandas drop_duplicates()刪除重複資料

從資料集裡找到重複的資料後，接下來，最常見的就是進行刪除或群組處理。

而要刪除完全一樣的重複資料，可以利用Pandas套件的drop_duplicates()方法(Method)，如下範例：

df = pd.read_csv('bestsellers with categories.csv')

df.drop_duplicates(inplace=True)

其中，inplace關鍵字參數代表直接從現有資料集中刪除重複資料。

另外，要刪除特定欄位重複的資料，同樣可以透過subset及keep關鍵字參數來達成，如下範例：

df = pd.read_csv('bestsellers with categories.csv')

column_names = ['Name', 'Author', 'Year', 'Genre']

df.drop_duplicates(subset=column_names, keep='first', inplace=True)

Q: Pandas groupby()、agg()群組重複資料

除了可以利用Pandas套件的drop_duplicates()方法(Method)刪除重複資料外，有時基於商業邏輯，可以透過群組的方式解決重複資料。

這時候，就可以利用Pandas套件的groupby()方法(Method)群組相同資料的欄位，以及agg()方法(Method)，統計運算剩餘的不同資料欄位，達到合併重複資料成一筆的效果，如下範例：

df = pd.read_csv('bestsellers with categories.csv')

column_names = ['Name', 'Author', 'Year', 'Genre']

summeries = {'User Rating': 'mean', 'Reviews': 'sum', 'Price': 'mean'}

df = df.groupby(by=column_names).agg(summeries).reset_index()

print(df)

如果想要學習更多的Python應用教學，歡迎前往Learn Code With Mike(https://www.learncodewithmike.com/2022/01/pandas-drop-duplicate-data.html

)網站觀看更多精彩內容。

看更多

learncodewithmike.com

[Pandas教學]3個實用的Pandas套件清理重複資料教學

3 0 1757 0

拍手

留言

分享到：

Line

Facebook

複製連結

取消

熱門精選

職涯學習課程專文推薦

關注

104學習

產品

09/11 14:57

轉職首選！3 週從零到上手的數據分析師養成營 —— 104人力銀行 × 104學習 × 緯育 TibaMe 聯合推出

想跨入高薪、有前景，又能左右商業決策的數據分析師職涯，但擔心自己沒有程式背景、時間不夠嗎？

這堂【數據分析師學習營】或許是你理想的起點。

✨ 首次跨界合作，更強大資源整合✨

這次由 104學習精靈首度攜手緯育 TibaMe 聯合打造。

⚡104人力銀行 × 104學習精靈：深耕職涯數據多年，最了解台灣企業用人需求，課程更貼近市場實際職缺。

⚡緯育 TibaMe：累積多年產業培訓經驗，專注於 IT、數據、AI 等熱門技能轉職養成，培訓模式完整，輔導成效有口碑。

這樣的合作，讓學員享有真實的培訓經驗，學習效果與轉職落地率都更具保障。

課程亮點一次看

🔥3 週密集實戰：短短三週密集訓練，快速掌握職場必備技能，不必耗費半年、一年時間啃課表。

🔥零基礎設計：無需工程背景，也不用寫程式，由淺入深帶你學會資料庫查詢（SQL）與數據視覺化工具 Power BI。

🔥實戰作品累績履歷實力：課程設計強調實務操作，結訓不僅懂工具，更手上有完成的作品，讓履歷直接升級。

🔥專屬平台與支援：透過共學社群與專業助教協助，學習不再孤單。

為什麼你該報名？

🟢快速起步，快速看成果：三週聚焦提速進展，是在職或時間有限者的最佳選擇。

🟢具備市場需求核心技能：SQL 與 Power BI，完全符合企業當前的數據分析需求。

🟢履歷實力落地具體化：實作作品比起只學理論更能打動雇主眼光。

🟢104 × 緯育 TibaMe 強強聯手：把資源與專業結合，讓學習不只停留在課程，而是直通「就業」與「轉職」。

👉 立即報名，搶先卡位：超小班就50位唷！

👉 刷中信／台新／玉山可享３期０利率！

👉 超早鳥優惠領＄８５０券報名到９／２４唷！

👉 前１０名解鎖送５００元Lｉｎｅ點數，第１１名起送２００元Lｉｎｅ點數，更多驚喜組合購，可再額外送１００元Lｉｎｅ點數

https://nabi.104.com.tw/course/104nabi/06418093-7c54-49e9-9f73-d5666ed65a1f

看更多

轉職首選！3 週從零到上手的數據分析師養成營 —— 104人力銀行 × 104學習 × 緯育 TibaMe 聯合推出

nabi.104.com.tw

【超早鳥領$850券↘到9/24】數據分析師學習營｜０經驗＆無工程背景，３週帶你開啟數據職涯！｜104獨家－數據分析課程│104課程中心

3 0 9864 4

拍手

留言

分享到：

Line

Facebook

複製連結

取消

104學習精靈精選課程

想提升職場競爭力？專業技能課程看起來👇

資料科學：Azure 機器學習工作室入門

1. 具備 Machine Learning 基礎知識 2. 具備 Machine Learning 問題類型梳理的能力 3. 具備 Machine Learning 開發流程的能力 4. 具備使用 Azure 機器學習工作室的能力 5. 具備資料清理、特徵工程、訓練模型、模型驗證和發布模型能力 6. 具備獨立建模的能力

Hahow好學校

Power BI 資料清理與建模

檢查資料中的數據品質清理不符合需求的原始數據資料格式、列表、建模與更新處理技巧本課程專為希望精通資料處理與建模技術的工作人士所設計。隨著現代企業收集到的數據量不斷增加，如何有效地清理與建模成為一大挑戰。本課程將教導學員如何運用Power BI的強大功能，以直觀的介面和簡單的拖拉操作來快速完成繁瑣的數據清理工作。無論面對多麼龐大的原始資料，只需幾個按鍵，就能輕鬆實現自動化的清理與建模，省去傳統手動處理時的重複勞動。特別是當資料更新時，Power BI可自動同步清理與建模，讓你無需再像使用Excel那樣重新整理報表，節省寶貴時間。此外，學員將學會如何利用Power BI實時更新數據，確保企業在做決策時能夠依據最新、最準確的資訊做出迅速且有效的反應。無論是希望優化工作流程的資料分析師，還是致力於提升企業數據管理效能的決策者，這門課程都將提供實用且高效的解決方案。

104人資市集

學習精靈

moneyaaa.com

超實用5招！「數位資料整理術」！只要將檔案命名為......就會變得超好找尋的喔！

9101 37

Mike的Python學院

關注

Mike Ku

Learn Code With Mike品牌創辦人

2022/01/20

教你用Pandas套件清理資料中的常見資料型態問題(下)

想要實作資料分析，讀取資料是第一步所要執行的動作，而如果沒有正確的進行資料前處理(Data Preprocessing)，就會影響最後分析結果的準確性及可靠性。

本文就先針對「資料型態」，來和大家分享如何有效找出髒資料(Dirty Data)，並且利用Pandas套件來進行資料處理或清理，避免髒資料(Dirty Data)導致分析的副作用。

Q: Pandas類別資料型態(category)處理

在實作機器學習或分類資料的時候，有時會以數字來分別表示不同類別的資料。

同樣以Kaggle網站的ASUS筆電資料集( https://www.kaggle.com/bhageshcodebeast/asus-laptops-2020-jun )為例，為了進行示範，Mike將「Category筆電類別欄位」利用以下三個數字表示：

0-其他

1-Premium

2-Platinum

Pandas讀取資料集後，如下範例：

import pandas as pd

df = pd.read_csv('AsusLaptops.csv')

print(df)

而各欄位的資料型態，如下範例：

import pandas as pd

df = pd.read_csv('AsusLaptops.csv')

print(df.info())

可以看到Pandas套件判定「Category筆電類別欄位」為int64(整數)型態，當利用Pandas套件的describe()方法(Method)進行摘要性統計的時候，就會看到數字型態的統計結果，如下範例：

import pandas as pd

df = pd.read_csv('AsusLaptops.csv')

print(df['Category'].describe())

但事實上，「Category筆電類別欄位」為類別資料型態(category)，如果沒有將欄位進行轉型，就有可能誤導後續的操作或統計。

解決方法，可以使用Pandas套件的astype()方法(Method)，將「Category筆電類別欄位」轉型為類別型態(category)，這時候，再透過describe()方法(Method)來查看摘要性統計的時候，就會是類別型態(category)的統計結果，如下範例：

import pandas as pd

df = pd.read_csv('AsusLaptops.csv')

df['Category'] = df['Category'].astype('category') #轉型

print(df['Category'].describe())

以上就是在進行資料分析的過程中，常見的資料型態問題，本文和大家分享了利用Pandas套件的info()方法(Method)，來查看各欄位的資料型態是否與需求相符，如果其中含有髒資料(Dirty Data)，可以使用strip()方法(Method)進行資料清理，以及透過astype()方法(Method)轉型為正確的資料型態。

如果想要學習更多的Python應用教學，歡迎前往Learn Code With Mike(https://www.learncodewithmike.com/2021/12/processing-data-type-with-pandas.html

)網站觀看更多精彩內容。