104學習

資料整理

資料整理
關注
邀請朋友
邀請朋友

Line

Facebook

複製連結

取消
「資料整理:負責收集、整理與分析各類數據,以支援業務決策及報告撰寫。主要目標在於提升數據準確性與可用性,促進資料驅動的決策過程。需具備精確的數據分析能力、跨部門溝通技巧及熟悉數據管理軟體(如Excel、SQL等)。此外,因應台灣職場的合作文化,必須能有效協調各部門需求,確保資料的整合性與一致性,並具備問題解決的敏銳度,以應對快速變化的商業環境。」
關於教室
關注人數 58 人
104人力銀行從職缺中挑選出常見技能所成立的官方教室,提供大家進行共學互動。
學習主持人
持續分享知識,
有機會成為官方教室主持人
教室標籤
關於教室
關注人數 58 人
104人力銀行從職缺中挑選出常見技能所成立的官方教室,提供大家進行共學互動。
學習主持人
持續分享知識,
有機會成為官方教室主持人
教室標籤
Hi~ 歡迎分享學習資源,有學習問題可匿名向Giver發問!
我要分享
我要提問

資料整理 學習推薦

不知如何開始嗎? 先進行技能挑戰吧~

技能挑戰:初級
目前等級:未達初級
999 人已通過「初級」測驗,通過率52%,和學習一起探索知識、增強能力!
我要挑戰
Steven Wu

稽核|104Giver職涯引導師 第3202410019號

11/13 18:30

[KNIME][稽核]Expression節點於資料整理、稽核領域應用
為何要用Expressions節點?
Expression單一節點就可同時新增或覆寫多欄、條件運算、正則清洗、型別轉換與錯誤處理,可以取代許多個String、Math、Rule等類似節點,讓流程更精簡、可維護性更高。
常見資料整理使用方式
1. 條件分類與標記
- 依規則產生新的分類欄(例如:風險等級、費用類別、稽核旗標)
- 以此範例資料為例:將薪資、伙食費、免稅加班費、獎金提撥、員工紅利提撥、獎金支出、年終獎金、勞保費、健保費、團保費、退休金、職工福利等費用科目標示為用人費用,以利後續分析。
看更多
0 0 429 0
Lillian Huang

內容編輯

2022/09/01

Ragic 從零開始 10 分鐘教學 (8) 連結與載入
管理大量資料時,很多人常遇到的問題就是無法擺脫「複製貼上地獄」,同樣的內容常常這邊得複製貼上一份、那邊得複製貼上一份,萬一某個地方改動了,其他地方也得一一修改,不但讓工作變得累又乏味,也容易出錯。
Ragic 最基本的連結功能:「連結與載入」,就是協助大家逃離複製貼上地獄的利器!它能讓需要重複使用的資料(例如「客戶資料」、「商品資料」),利用連結與載入關係快速帶入(例如帶入「銷售訂單」),不只能節省資料登打時間、減少錯誤發生機會,也能讓資料建立有意義的關聯,方便查找與比對。
這支影片不到 10 分鐘 -- 我們要在 5 分鐘之內,說明「連結與載入」的意義,以及示範怎麼一步一步在「銷售訂單」上,建立與「客戶」資料、「商品」資料的「連結與載入」關係。
更多教學請關注「Ragic 企業雲端資料庫」YouTube 頻道
看更多
0 0 775 0

104學習精選課程

看更多課程
想提升職場競爭力?專業技能課程看起來👇
Excel VBA |自動化表單、大量資料處理與股票分析
課程介紹 學習程式與軟體時,最可怕的就是許多令人費解的專業術語及用詞。遇上這種狀況,即使課程影片看了再多次都沒用。 因此,擁有超過18年的軟體教學經驗、在網路上累積授課時數超過2萬小時、部落格累積有千萬觀看的「電腦學習園地」創辦人——鄭勝友老師,會將專業術語轉化成我們生活中常見的景象,以最平易近人的方式進行教學。 本課程中,將以實際案例來說明 VBA 的使用技巧,透過「如何設計自訂表單、資料如何快速匯整、將網路資料抓取到Excel分析、大量資料處理、透過 Email 自動寄送加密檔案」等教學,逐步了解整個 VBA 的架構與輪廓,並新增「資料防呆輸入」小節,省去後續整理資料錯誤的工作時間。即使沒有任何程式設計基礎,也能輕易上手 VBA 的程序,縮短並簡化日常工作中的重複作業,自動化工作流程。 課程最後,將以產品銷售資料為例,說明如何在多位業務製作的報表間進行篩選,並將每一位客戶資料單獨成報表。完課後可應用在:教師輸出學生個人成績單、會計輸出不同客戶的資料、行銷輸出各渠道的銷售狀況等工作場景。 獨家內容 新增自訂函數計算儲存格顏色數量 一口氣開啟相關活頁簿 儲存關閉活頁簿 插入新的工作表 選取工作表 修改工作表名稱 移動復製工作表 刪除工作表 隱藏工作表 在儲存格中設定計算式 複製/貼上儲存格資料 自動設定欄寬與列高 自動設定儲存格格式 自動設定儲存格內容對齊 自動設定儲存底色與字體顏色 自動產生表格 自動修改工作表顏色 自動新增註解 自動產生 QRCode 與條碼 With 陳述式 您將能學到 設計多功能自動化表單 使用VBA自動化統整單據 一鍵產生自動化股票數據分析 辦公室報表資料大量處理 學員好評 James同學:教學的速度對初學者非常適合 教材很實用,我不用再特地去找老師上課。 Jackson Tsai同學:程式及教學非常有用 看了您的影片,才知道VBA自動化怎麼做,真是感激。 Rose同學:老師超會教~~ 感謝老師分享,老師的教學讓我更為理解Excel了,獲益良多。 適合對象 已經精熟Excel,想更近一步提升競爭力的人 工作與Excel密不可分,想提高工作效率者 日常工作中,需處理大量數據及資訊者 教師介紹 電腦學習園地——鄭勝友老師 專長: Excel VBA Microsoft系列軟體(Word、PowerPoint、Excel) Adobe系列軟體(Photoshop、Illustrator、After Effects) 工業軟體-AutoCAD 經歷: 鄭勝友老師從事電腦教育工作超過兩萬小時,授課無數,教學網站更有破千萬的的瀏覽次數。 證照: TQC Microsoft OFFICE Master TQC Powerpoint OFFICE Master Autodesk AutoCAD 原廠國際認證 勞委會軟體應用丙級認證 課程大綱 章節 1:Excel VBA 基本操作與語法介紹 如何進入VBA操作環境與調整 建立第一個VBA程序 在Excel 使用VBA程序的方式 使用VBA操作儲存格內容 判斷條件使用 使用迴圈執行反覆處理 如何使用除錯找出有問題的地方 章節 2:使用者表單應用 建立自訂對話輸入視窗 表單控制項使用 控制項事件處裡(點我試看) 核取方塊、按鈕、下拉選單應用 將表單內容傳遞到工作表中 資料防呆輸入 章節 3:資料自動匯整處理 資料匯總觀念說明 建立資料匯總表 將單據資料轉錄到匯總資料表中 章節 4:一鍵自動產生股票分析資料 證交所交易資料匯整至Excel中 自動整理刪除多餘內容 插入需要的公式欄位內容 自動產生圖表 章節 5:自動化大量資料處理 資料自動化處理功能說明 啟用篩選功能 設定篩選條件 範圍與多鍵值條件篩選 篩選與轉錄資料-薪增工作表 篩選與轉錄資料-加入篩選與複製結果 自動繪製表格與格式調整、版面修改 將篩選結果轉成PDF檔 加入大量處理資料迴圈功能 自動分割大量工作表變成個別檔案 章節 6:自動寄送大量附件資料Email給使用者 學習內容說明 Gmail自動寄信 加入寄信延遲時間 透過Outlook自動寄信 設定PDF加密碼前置作業 將工作表內容保存PDF並加入密碼保護 將大量工作內容存成PDF並加入個別密碼 加入一鍵產生PDF加密按鈕
Mastertalks
Python全方位期貨課程 - 從基礎、爬蟲、回測、LINE提醒到AI應用(2025年2月更新)
課程範例展示 完整分析期貨策略風險與報酬,並快速優雅的產出精美圖表。(圖上報酬為模擬示意) 利用回測框架演算期貨策略最適參數及其對應的報酬、MDD及Sharpe Ratio,迅速算出策略最適合參數。 (下欄位與參數數值為模擬,實際值以課程為主) 利用手邊現有資料,開發出市場警示、提醒程式,利用排程自動執行並透過Line Notify服務通知。 除基本的介紹與機器學習模型應用,我們使用一些深度學習及強化學習模型預測期貨價格、漲跌、交易等。(強化學習將於500%解鎖章節教授) 課程說明 您最需要的Python期貨程式交易,都盡在此課! 使用Python做出程式交易全方位的應用,讓你在程式交易的領域面對何種需求都能輕鬆應對,尤其是針對期貨保證金交易的模式,仍然能得心應手。當你學會期貨程式的撰寫之後,就算轉戰股票市場你也會覺得相當輕鬆,反之由股票交易程式轉戰期貨交易程式時常讓人手足無措。 (本課程包含三堂少量的用於股票的應用,因考量到台股高權值股對於台指的重大影響,因此在一些市場偵測的章節會有部分股票應用) 您是否有以下疑問? 還在人工看技術指標評估自己的策略? AI看起來很高深的樣子,完全不敢接觸 想出了好策略或是好的輔助指標卻不知道如何做成服務 市面上大多數是股票課程,課程偏少,網路上資源也較少 1.學會用程式,幾秒鐘即可獲得全面的策略分析! 許多投資者仍然是看著手機APP與技術指標來驗證自己的策略,這樣不僅速度慢,而且不全面。許多人人工驗證了其中一年就確信了自己的策略可行,實際操作時虧損慘重。如果你懂了程式,十年的資料可以在數秒鐘就回測完成,並且透過套件可以獲得非常全面的策略分析,我們會帶著你應用backtrader回測框架快速驗證期貨策略。 2.強大的AI模型,就算是程式小白也可以應用! AI確實是一門非常學術且具備高門檻的領域,但你我可能都並非是走研究學術路線,有了許多巨人替大家開發許多好用強大的AI模型,我們可以很輕易地呼叫這些強大的模型去學習自己的目標,應用並不困難。在本課程中我們將會示範機器學習(Machine Learning)與深度學習(Deep Learning)如何快速簡易的應用在期貨市場,並於解鎖課程中加入強化學習(Reinforcement Learning)的應用。 3. 運用程式進行盤中檢測 當你有好策略或是好的市場掃描程式,卻不知道如何做成服務嗎? 我們會教你如何使用windows排程自動執行你的程式,並讓程式透過Line Notify很簡單的發送Line訊息給你的使用者。時刻監控市場,並達到及時提醒。 4. 少見的全方位期貨課程 是的,不僅是課程,網路上的資源期貨也是偏少。股票的受眾較廣,且程式設計上較為容易,但期貨為保證金交易模式,許多程式設計或是回測框架這部分都會顯得比較複雜,本課程會點出一些關鍵的要點,讓你掌握期貨這方面的程式設計。 這堂課適合誰 苦於人工驗證交易策略,想要高速回測期貨策略 對期貨交易軟體感到無法滿足需求,想要高度自由化 對於Python於期貨市場的應用有高度興趣的初學者 對於爬蟲感到陌生,尤其是動態網頁更是不知所措 有良好的想法,但苦於不知道如何自動化並作成簡單的服務 想要生成專業又漂亮的策略回測結果圖表,卻不知從何下手 對於AI模型無基礎,但又想要嘗試看看,體驗模型的效果 教師介紹 張峮瑋 Arleigh Chang 黃仕勳 Ryan Huang 【老師的話】 大家好,我是《Python全方位期貨課程》的老師峮瑋(Arleigh)。 我曾經待過野村投信(NOMURA),也曾在東吳自然語言處理實驗室研究過模型與金融市場的議題 現在則替私人操盤手撰寫交易程式, 以Python為主,範圍包含程式交易、策略回測、AI應用於市場、資料採集、市場監測機器人等。 這些範疇正是我在課程中想要教給你的,我會將現在的工作環境會使用到的技術,在課程中透過實戰的方式讓你融會貫通。 歡迎大家一起加入這門線上課程!有任何問題歡迎提問,我會親自回覆。 【出版書籍】 - 著有《Python金融市場賺錢聖經》,曾榮登多個平台新書暢銷榜 【學歷】 - 就讀臺科大資管所,研究 AI 應用於金融交易市場 - 畢業於臺科大資工系 輔系財金系 【工作資歷】 - 現任野村投信(NOMURA) IT部門實習生 - 臺科大資工系資料探勘與社群網路分析實驗室成員 - 曾任臺科大 資管所行動計算與資料探勘實驗室成員 - 曾任程式語言家教,協助多位無程式經驗學生從0開始 - 多項AI產學合作經驗,涵蓋深度學習、自然語言處理、社群網路分析 - 曾任 IOH 開發開放個人經驗平台校園大使,演講 10 所高中職 - 曾於 IOH 分享個人講座 課程大綱 PART 1:PYTHON基礎教學 – 基礎講解+2道實戰上手PYTHON 1-1:Python下載、編譯器推薦、pip管理套件、虛擬環境 1-2:變數、運算元、運算子、資料型態及應用場景 1-3:for迴圈、while、if else判斷式、class簡介、def函式、經典套件介紹Pandas & numpy、Enumerate、Break/continue/pass、try/except 1-4:刷Leetcode簡單Two sum - 實戰演練1 1-5:手寫經典指標移動平均 – 實戰演練2 PART 2:資料來源與技術指標 – 熟悉爬蟲,資料來源無虞 2-1:台指資料分K轉換與計算技術指標 2-2:爬蟲介紹與基本SOP、Selenium應用場域 2-3:爬蟲實戰1: 證交所三大法人資訊 2-4:爬蟲實戰2: 期交所報價爬取 (Selenium) 2-5:爬蟲實戰3: 三大法人多空方口數與未平倉口數 2-6:即時資料 - 永豐API基本使用介紹(Shioaji) PART 3:盤中監測市場 – 計算專屬指標,LINE隨時提醒 3-1:Line Notify介紹 3-2:Windows排程呼叫程式自動運行 3-3:實戰1 – 三大法人買賣超統計資訊(股票) 3-4:實戰2 – 各大類股漲跌情況統計(股票) 3-5:實戰3 – 開盤前,昨日收盤指標有觸發訊號的提醒 PART 4:BACKTRADER回測策略+風險分析套件 – 高速回測策略,檢視完整報告 4-1:Backtrader介紹& Pyfolio示範 4-2:實戰回測1: 5ma & 60ma交叉策略 4-3:實戰回測2: 布林通道策略 4-4:實戰回測3: Momentum + 移動停利停損 4-5:實戰回測4: 以實戰1-3擇一為例,完整示範回測流程、演算最佳參數到pyfolio評估 PART 5:AI+期貨 – 玩玩模型應用在市場,體驗最新潮流 5-1:Deep Learning & Machine Learning & Reinforcement Learning簡介與資源推薦 5-2:實戰1: ML預測期貨漲跌 5-3:實戰2: DL預測期貨價格 5-4:實戰3: DL預測期貨漲跌 解鎖章節 200%:backtrader回測成果網頁可視化 500%:強化學習用於期貨交易學習範例 700%:python結合永豐API程式自動交易台指期範例 800%:回測配對交易範例
Mastertalks
Mike Ku

Learn Code With Mike品牌創辦人

2022/01/21

3個實用的Pandas套件清理重複資料教學
本文以Kaggle網站的Amazon 2009-2019年Top50暢銷書資料集( https://www.kaggle.com/sootersaalu/amazon-top-50-bestselling-books-2009-2019 )為例,教大家如何查找及清理資料集的重複資料,提升資料的品質。
Q: Pandas duplicated()查找重複資料
想要使用Pandas套件查找資料集的重複資料,利用duplicated()方法(Method)可以得到每筆資料的重複狀態,True代表重複,False為沒重複,如下範例:
import pandas as pd
df = pd.read_csv('bestsellers with categories.csv')
print(df.duplicated())
接著,透過Pandas套件的括號[]語法即可檢視重複資料的各欄位資料,如下範例:
df = pd.read_csv('bestsellers with categories.csv')
print(df[df.duplicated()])
Pandas套件的duplicated()方法(Method)除了能夠查找所有欄位資料完全一樣的重複資料外,也提供了以下兩個關鍵字參數,來客製化查找的方式:
1. subset-查找特定欄位的重複資料
2. keep-保留第一筆(first)、最後一筆(last)或全部(False)的重複資料
如下範例:
df = pd.read_csv('bestsellers with categories.csv')
column_names = ['Name', 'Author', 'Year', 'Genre']
df = df[df.duplicated(subset=column_names, keep=False)]
print(df)
以上範例即是查找Name(書名)、Author(作者)、Year(出版年)及Genre(類型)四個欄位都一樣的重複資料,並且全部保留。
Q: Pandas drop_duplicates()刪除重複資料
從資料集裡找到重複的資料後,接下來,最常見的就是進行刪除或群組處理。
而要刪除完全一樣的重複資料,可以利用Pandas套件的drop_duplicates()方法(Method),如下範例:
df = pd.read_csv('bestsellers with categories.csv')
df.drop_duplicates(inplace=True)
其中,inplace關鍵字參數代表直接從現有資料集中刪除重複資料。
另外,要刪除特定欄位重複的資料,同樣可以透過subset及keep關鍵字參數來達成,如下範例:
df = pd.read_csv('bestsellers with categories.csv')
column_names = ['Name', 'Author', 'Year', 'Genre']
df.drop_duplicates(subset=column_names, keep='first', inplace=True)
Q: Pandas groupby()、agg()群組重複資料
除了可以利用Pandas套件的drop_duplicates()方法(Method)刪除重複資料外,有時基於商業邏輯,可以透過群組的方式解決重複資料。
這時候,就可以利用Pandas套件的groupby()方法(Method)群組相同資料的欄位,以及agg()方法(Method),統計運算剩餘的不同資料欄位,達到合併重複資料成一筆的效果,如下範例:
df = pd.read_csv('bestsellers with categories.csv')
column_names = ['Name', 'Author', 'Year', 'Genre']
summeries = {'User Rating': 'mean', 'Reviews': 'sum', 'Price': 'mean'}
df = df.groupby(by=column_names).agg(summeries).reset_index()
print(df)
如果想要學習更多的Python應用教學,歡迎前往Learn Code With Mike(https://www.learncodewithmike.com/2022/01/pandas-drop-duplicate-data.html
)網站觀看更多精彩內容。
看更多
3 0 2007 0
你可能感興趣的教室