104學習精靈

巨量資料處理與分析

巨量資料處理與分析
關注
邀請朋友
邀請朋友

Line

Facebook

複製連結

取消
「巨量資料處理與分析：負責設計和實施巨量資料處理流程，以提取有價值的商業洞察。該角色需利用數據庫技術與分析工具來進行數據清洗、轉換及分析，目標是提升公司決策效率與市場競爭力。技能要求包括熟悉 SQL、Python 或 R 語言，以及具備良好的數據視覺化能力，能夠清晰傳達分析結果。此外，應具備良好的跨部門協作與溝通技巧，以推動數據驅動的文化，應對台灣職場中特有的團隊運作模式與快速變遷的市場需求。」
關於教室
關注人數 0 人
104人力銀行從職缺中挑選出常見技能所成立的官方教室，提供大家進行共學互動。
學習主持人
持續分享知識，
有機會成為官方教室主持人
關於教室
關注人數 0 人
104人力銀行從職缺中挑選出常見技能所成立的官方教室，提供大家進行共學互動。
學習主持人
持續分享知識，
有機會成為官方教室主持人
Hi~ 歡迎分享學習資源，有學習問題可匿名向Giver發問！
我要分享
我要提問

巨量資料處理與分析 學習推薦

全部
影片
文章
Mike的Python學院
關注
Mike Ku

Learn Code With Mike品牌創辦人

2021/11/24

3個優化Pandas套件讀取大型CSV檔案資料的技巧
本文以Kaggle網站的「Netflix data with IMDB scores added( https://www.kaggle.com/sarahjeeeze/imdbfile )」資料集為例，來和大家分享3個技巧，減少Pandas套件在處理大型資料時的記憶體耗用，以及提升讀取效率。
Q:Pandas如何去除不需要的資料?
在資料分析的過程中，有時並不是所有的CSV檔案欄位都是會使用到的，所以在呼叫Pandas套件的read_csv()方法(Method)時，相對於讀取所有欄位的大量資料，可以設定usecols關鍵字參數，僅讀取會使用到欄位，如下範例：
#所需的欄位
usecols = ['type', 'title', 'director', 'date_added', 'rating']
df = pd.read_csv('mycsvfile.csv', usecols=usecols)
讀取所要的資料欄位後，其中具有遺漏值的資料如果不需要，可以透過Pandas套件的dropna()方法(Method)進行去除，節省後續記憶體處理的資料量，如下範例：
new_df = df.dropna()
當然，dropna()方法(Method)還有以下3個關鍵字參數能夠依據需求來設定去除遺漏值的條件：
1.how：any(只要任一欄位有遺漏值就去除)、all(所有欄位皆有遺漏值就去除)
2.thresh：設定一筆資料有幾個遺漏值就移除
3.subset：設定檢查遺漏值的欄位
Q:Pandas如何精確設定欄位資料型態?
使用Pandas套件的read_csv()方法(Method)讀取CSV檔案資料時，也需要對所讀取的欄位設定精確的資料型態，尤其是數值類型的資料，避免耗用多餘的記憶體資源。
舉例來說，同樣是浮點數的資料，如果能夠視需求設定讀取float32型態，將會比float64型態佔用較少的記憶體資源，這時後就可以搭配Numpy套件來進行設定，安裝指令如下：
$ pip install numpy
而設定Pandas套件的讀取資料型態如下範例：
import pandas as pd
import numpy as np
usecols = ['type', 'title', 'director', 'date_added', 'rating']
df = pd.read_csv('mycsvfile.csv',
usecols=usecols,
dtype={'type':str,
'title':str,
'director':str,
'date_added':str,
'rating':np.float32})
new_df = df.dropna()
Q:Pandas如何切分資料?
相較於一次讀取大量的資料，我們可以將資料依需求或記憶體資源切分為多個區塊(chunk)，最後再把處理好的各區塊(chunk)進行合併，如下範例：
#清理區塊中的遺漏值函式
def chunk_cleaning(data_chunk):
cleaned_chunk = data_chunk.dropna()
return cleaned_chunk
#將CSV檔案以1000筆資料切分為一區塊
data_chunks = pd.read_csv('mycsvfile.csv', chunksize=1000)
chunk_list = [] #暫存各區塊的處理結果
for data_chunk in data_chunks:
cleaned_chunk = chunk_cleaning(data_chunk) #清理區塊中的遺漏值
chunk_list.append(cleaned_chunk)
combined_chunk = pd.concat(chunk_list) #將各區塊的結果進行合併
如果想要學習更多的Python應用教學，歡迎前往Learn Code With Mike( https://www.learncodewithmike.com/2021/06/optimize-pandas-speed-and-memory.html )網站觀看更多精彩內容。
看更多
3個優化Pandas套件讀取大型CSV檔案資料的技巧
learncodewithmike.com
[Pandas教學]3個優化Pandas套件讀取大型CSV檔案資料的技巧
2 0 126 2

熱門精選

職涯學習課程專文推薦
關注
104學習

產品

09/11 14:57

轉職首選！3 週從零到上手的數據分析師養成營 —— 104人力銀行 × 104學習 × 緯育 TibaMe 聯合推出
想跨入高薪、有前景，又能左右商業決策的數據分析師職涯，但擔心自己沒有程式背景、時間不夠嗎？
這堂【數據分析師學習營】或許是你理想的起點。
✨ 首次跨界合作，更強大資源整合✨
這次由 104學習精靈 首度攜手 緯育 TibaMe 聯合打造。
⚡104人力銀行 × 104學習精靈：深耕職涯數據多年，最了解台灣企業用人需求，課程更貼近市場實際職缺。
⚡緯育 TibaMe：累積多年產業培訓經驗，專注於 IT、數據、AI 等熱門技能轉職養成，培訓模式完整，輔導成效有口碑。
這樣的合作，讓學員享有真實的培訓經驗，學習效果與轉職落地率都更具保障。
課程亮點一次看
🔥3 週密集實戰：短短三週密集訓練，快速掌握職場必備技能，不必耗費半年、一年時間啃課表。
🔥零基礎設計：無需工程背景，也不用寫程式，由淺入深帶你學會資料庫查詢（SQL）與數據視覺化工具 Power BI。
🔥實戰作品累績履歷實力：課程設計強調實務操作，結訓不僅懂工具，更手上有完成的作品，讓履歷直接升級。
🔥專屬平台與支援：透過共學社群與專業助教協助，學習不再孤單。
為什麼你該報名？
🟢快速起步，快速看成果：三週聚焦提速進展，是在職或時間有限者的最佳選擇。
🟢具備市場需求核心技能：SQL 與 Power BI，完全符合企業當前的數據分析需求。
🟢履歷實力落地具體化：實作作品比起只學理論更能打動雇主眼光。
🟢104 × 緯育 TibaMe 強強聯手：把資源與專業結合，讓學習不只停留在課程，而是直通「就業」與「轉職」。
👉 立即報名，搶先卡位：超小班就50位唷！
👉 刷中信／台新／玉山可享３期０利率！
👉 超早鳥優惠領＄８５０券報名到９／２４唷！
👉 前１０名解鎖送５００元Lｉｎｅ點數，第１１名起送２００元Lｉｎｅ點數，更多驚喜組合購，可再額外送１００元Lｉｎｅ點數
看更多
轉職首選！3 週從零到上手的數據分析師養成營 —— 104人力銀行 × 104學習 × 緯育 TibaMe 聯合推出
nabi.104.com.tw
【超早鳥領$850券↘到9/24】數據分析師學習營｜０經驗＆無工程背景，３週帶你開啟數據職涯！​｜104獨家－數據分析課程│104課程中心
3 0 9882 4
126 0
Mike的Python學院
關注
Mike Ku

Learn Code With Mike品牌創辦人

2021/11/24

4個必學的Pandas套件處理遺漏值資料方法
本文以Kaggle網站的「Netflix data with IMDB scores added( https://www.kaggle.com/sarahjeeeze/imdbfile )」資料集為例，來和大家分享筆者在處理遺漏值(Missing Value)時，常用的Pandas套件方法(Method)。
Q:Pandas如何探索遺漏值(Missing Value)?
如果想要探索每一個欄位資料是否有遺漏值(Missing Value)，通常會使用Pandas套件的isnull()方法(Method)來查看，如下範例：
df = pd.read_csv('mycsvfile.csv')
print(df.isnull())
Pandas套件的isnull()方法(Method)會將所有欄位資料內容顯示為布林值(Boolean)，只要是遺漏值(Missing Value)就會顯示為True。
但是這樣並沒有辦法讓我們快速瞭解每個欄位的遺漏值(Missing Value)狀況，這時候就可以搭配使用Pandas套件的sum()方法(Method)，將每個欄位進行加總，瞭解每個欄位的遺漏值(Missing Value)個數，如下範例：
df = pd.read_csv('mycsvfile.csv')
print(df.isnull().sum())
由於在Python中，True代表1，False代表0，所以利用Pandas套件的isnull()與sum()方法(Method)，就能夠知道資料集的每個欄位遺漏值(Missing Value)個數。
Q:Pandas如何檢視遺漏值(Missing Value)?
探索了每個欄位的遺漏值(Missing Value)個數後，如果想要特別檢視特定欄位的遺漏值(Missing Value)資料內容，就可以利用以下的Pandas套件篩選語法：
df = pd.read_csv('mycsvfile.csv')
print(df[df.date_added.isnull()])
以上範例，就是檢視date_added(新增日期)欄位的11筆遺漏值(Missing Value)資料內容。
Q:Pandas dropna()方法(Method)如何使用?
Pandas套件提供了dropna()方法(Method)來因應不同的需求，包含：
1.dropna(how='any')：任一欄位有遺漏值(Missing Value)的資料就移除，如下範例：
df = pd.read_csv('mycsvfile.csv')
print(df.dropna(how='any'))
2.dropna(how='all')：所有欄位皆有遺漏值(Missing Value)的資料就移除，如下範例：
df = pd.read_csv('mycsvfile.csv')
print(df.dropna(how='all'))
3.dropna(subset=['欄位名稱', ...], how='any')：任一個指定的欄位有遺漏值(Missing Value)的資料就移除，如下範例：
df = pd.read_csv('mycsvfile.csv')
print(df.dropna(subset=['director', 'date_added'], how='any'))
4.dropna(subset=['欄位名稱', ...], how='all')：指定的欄位皆有遺漏值(Missing Value)的資料就移除，如下範例：
df = pd.read_csv('mycsvfile.csv')
print(df.dropna(subset=['director', 'date_added'], how='all'))
Q:Pandas fillna()方法(Method)如何使用?
另一個遺漏值(Missing Value)資料的處理方式，就是填入自訂的值，這時候就能利用Pandas套件的fillna()方法(Method)，指定value關鍵字參數(Keyword Argument)為想要填入的值即可，如下範例：
df = pd.read_csv('mycsvfile.csv')
df['director'].fillna(value='Not Found', inplace=True)
如果想要學習更多的Python應用教學，歡迎前往Learn Code With Mike( https://www.learncodewithmike.com/2021/07/pandas-handle-missing-value.html )網站觀看更多精彩內容。
看更多
4個必學的Pandas套件處理遺漏值資料方法
learncodewithmike.com
[Pandas教學]4個必學的Pandas套件處理遺漏值(Missing Value)資料方法
2 0 162 2
83 0

推薦給你

環境部淨零綠領人才培育課程
關注
104學習

產品

09/15 14:38

「環境部淨零綠領人才培育課程」首次測驗今登場 逾千名考生應試　到考率超過96%
「環境部淨零綠領人才培育課程」首場集中測驗今天在全國14個考區同步舉行，約1,400名完成48小時專業課程的學員參加測驗，到考率超過96%。凡是30歲以下在學生（不含在職專班者）及低（中低）收入戶，測驗及格者可申請學費優惠。環境部部長彭啓明為鼓勵這些通過測驗的綠領人才成為推動國家淨零轉型的生力軍，後續將擇優選出20名成績優異者，規劃於行政院大禮堂舉辦合格證明頒發典禮，以表示對於綠領人才的尊重並彰顯其榮譽。
-
主辦本次測驗的國家環境研究院（國環院）表示，參加本次測驗的學員，男女比例約為1比1，平均年齡為33歲，最年輕的學員年齡僅17歲，最年長者為69歲。而社會人士占五成多，略高於在學學生的四成多；三成具研究所以上學歷，兩成為文法商等跨領域背景，顯示各年齡層及不同專業領域對綠色轉型專業知能的高度需求。
-
國環院又指出，學員職業背景相當多元，除了大專院校在學生，也有來自各行各業的專業人士，包括上市櫃公司主管、會計師、資訊工程師與環工技師，甚至還有美髮業者與電影剪接師參與，充分展現綠領課程已成為跨領域專業人才進修與轉型的重要管道。
-
本次測驗採筆試方式，測驗後15個工作天內，國環院將寄發電子成績單，及格者同時可獲環境部核發的官方合格證明，請學員務必留意信件收取。國環院提醒，凡30歲以下大專院校在學生（不含在職專班），只要首次測驗及格即可申請新臺幣6,000元半額補助；符合中低收入戶、低收入戶或身心障礙身分者，則可申請新臺幣12,000元全額補助。學員取得成績單後，可逕向原開班學校申請學費減免事宜。
-
國環院強調，課程將持續開班招生，有興趣者可至「綠領人才資訊平臺」就近報名：https://ulvis.net/iTs8
下一場集中測驗訂於11月22日舉行，並將增設南投與離島考區，便利更多學員參與。
-
立即報名「環境部淨零綠領人才培育課程」：
看更多
0 0 823 0
你可能感興趣的教室