104學習精靈

資料整理

資料整理
關注
邀請朋友
邀請朋友

Line

Facebook

複製連結

取消
關於教室
關注人數 32 人
104人力銀行從職缺中挑選出常見技能所成立的官方教室,提供大家進行共學互動。
學習主持人
持續分享知識,
有機會成為官方教室主持人
教室標籤
關於教室
關注人數 32 人
104人力銀行從職缺中挑選出常見技能所成立的官方教室,提供大家進行共學互動。
學習主持人
持續分享知識,
有機會成為官方教室主持人
教室標籤
Hi~ 歡迎分享學習資源,有學習問題可匿名向Giver發問!
我要分享
我要提問

資料整理 學習推薦

全部
影片
文章

不知如何開始嗎? 先進行技能挑戰吧~

技能挑戰:初級
目前等級:未達初級
761 人已通過「初級」測驗,通過率53%,和學習精靈一起探索知識、增強能力!
我要挑戰
Lillian Huang

內容編輯

2022/09/01

Ragic 從零開始 10 分鐘教學 (8) 連結與載入
管理大量資料時,很多人常遇到的問題就是無法擺脫「複製貼上地獄」,同樣的內容常常這邊得複製貼上一份、那邊得複製貼上一份,萬一某個地方改動了,其他地方也得一一修改,不但讓工作變得累又乏味,也容易出錯。
Ragic 最基本的連結功能:「連結與載入」,就是協助大家逃離複製貼上地獄的利器!它能讓需要重複使用的資料(例如「客戶資料」、「商品資料」),利用連結與載入關係快速帶入(例如帶入「銷售訂單」),不只能節省資料登打時間、減少錯誤發生機會,也能讓資料建立有意義的關聯,方便查找與比對。
這支影片不到 10 分鐘 -- 我們要在 5 分鐘之內,說明「連結與載入」的意義,以及示範怎麼一步一步在「銷售訂單」上,建立與「客戶」資料、「商品」資料的「連結與載入」關係。
更多教學請關注「Ragic 企業雲端資料庫」YouTube 頻道
0 0 345 0

熱門精選

104學習精靈

產品

05/10 12:22

【首購好禮】單筆滿千送100元Line Points點數
活動名稱:【首購好禮】單筆滿$1,000以上送100元Line Points點數回饋
活動期間:2024/5/13 11:00- 2024/5/23 23:59
活動說明:活動期間於104課程中心付費購買「104課程中心x緯育TibaMe」指定課程,首次購買單筆滿$1,000以上 ( 若有使用相關優惠折扣碼優惠,其結帳金額須扣除優惠後需滿$1,000以上;且不累送) 即可獲贈100元Line Points點數回饋。(限量100名)
【EXCEL救星】
🟠 ChatGPT x Excel | 職場必學商務數據分析術
🟠【函數入門】別再土法煉鋼!你一定要懂的Excel函數
🟠【資料整理術】Excel資料整理分析入門
🟠 無痛起步-Excel VBA超入門實戰
🟠 【進階函數】Excel高效秘訣!上班族不可不知的進階函數
⚡本次活動⚡更多課程清單看這裡 ▶️ https://bit.ly/3UJvoW4
【AI、ChatGpt 應用】
🔵AI簡報3項思考力,ChatGPT倍速提升商業競爭力!
🔵成為 AI 科學家|打造數學基礎與統計地基,輕鬆開拓機器學習應用之城
🔵告別新手村FB與IG廣告投放攻略|AI助你輕鬆提高廣告效率
🔵開發者必學:OpenAI API應用與開發
⚡本次活動⚡更多課程清單看這裡 ▶️ https://bit.ly/3UJvoW4
【工程師與PM增能課程】
基礎扎根、應用職場技能....等學習。
🔷C# 從零開始前進.NET物件導向程式全攻略
🔷C# .Net Framework系統基礎實作攻略
🔷成為前端工程師|JavaScript 入門:帶你逐步培養網頁開發技能
🔷透過 HTML 與 CSS 認識網頁設計,從 0 到 1 打造實用介面 (上集)
🔷學程式也能很好玩:不背語法寫Java
⚡本次活動⚡更多課程清單看這裡 ▶️ https://bit.ly/3UJvoW4
【python增能】
🟡Python 基礎程式設計|開外掛勇闖 Python 異世界
🟡Python新學法 - 實作6個Terminal APP快速入門
🟡Python進階實作-用Flask開發Line影像辨識智能機器人
🟡Python 網路爬蟲 | 數據分析的第一步就是要學會爬
⚡本次活動⚡更多課程清單看這裡 ▶️ https://bit.ly/3UJvoW4
【外語加強:聽說讀寫樣樣來】
針對額外時間加強外語能力,或是準備多益考試的學習推薦!
🔻超實用英語會話必備 700 句
🔻NEW TOEIC 新多益線上高分速成班
活動注意事項:
1. 獲贈資格須符合下列說明:
(a)首購意指於2024/5/13 11:00 前未曾在104課程中心購買付費課程。
(b)指定課程為緯育TibaMe上架於104課程中心之線上課程,購買者必須於104課程中心系統完成付費紀錄。( 特別提醒: 購買者於TibaMe 官網線上消費不包含在此次活動 資格;可參考200+課程清單: https://bit.ly/3UNkkY6。 )
(c)訂單成立且完成付款時間皆須於2024年5月23日23:59前,且於7天內完成課程兌換,亦符合獲贈點數回饋的資格;最後獲贈者將於公告於本活動網站,中間姓名會隱藏。
(d)限量100名,採上述依照訂單完成付款後且完成兌換的前100名,符合上述資格的前100名會員,每人即有乙次資格,您的回饋點數將於2024/6/3-2024/6/11期間,寄送至您填寫的e-mail電子郵件信箱。
2.本次贈送的100元Line Points點數,點數發送出後須於2026/4/18前兌換,另點數兌換後於180天內須使用完畢,逾期失效。
3.如您有任何問題,歡迎來信nabiservice@104.com.tw
4.104課程中心保有最終修改、變更、活動解釋及取消本活動之權利。
2 0 8389 0
104學習精靈精選課程
看更多課程
想提升職場競爭力?專業技能課程看起來👇
Python全方位期貨課程 - 從基礎、爬蟲、回測、LINE提醒到AI應用
課程範例展示 完整分析期貨策略風險與報酬,並快速優雅的產出精美圖表。(圖上報酬為模擬示意) 利用回測框架演算期貨策略最適參數及其對應的報酬、MDD及Sharpe Ratio,迅速算出策略最適合參數。 (下欄位與參數數值為模擬,實際值以課程為主) 利用手邊現有資料,開發出市場警示、提醒程式,利用排程自動執行並透過Line Notify服務通知。 除基本的介紹與機器學習模型應用,我們使用一些深度學習及強化學習模型預測期貨價格、漲跌、交易等。(強化學習將於500%解鎖章節教授) 課程說明 您最需要的Python期貨程式交易,都盡在此課! 使用Python做出程式交易全方位的應用,讓你在程式交易的領域面對何種需求都能輕鬆應對,尤其是針對期貨保證金交易的模式,仍然能得心應手。當你學會期貨程式的撰寫之後,就算轉戰股票市場你也會覺得相當輕鬆,反之由股票交易程式轉戰期貨交易程式時常讓人手足無措。 (本課程包含三堂少量的用於股票的應用,因考量到台股高權值股對於台指的重大影響,因此在一些市場偵測的章節會有部分股票應用) 您是否有以下疑問? 還在人工看技術指標評估自己的策略? AI看起來很高深的樣子,完全不敢接觸 想出了好策略或是好的輔助指標卻不知道如何做成服務 市面上大多數是股票課程,課程偏少,網路上資源也較少 1.學會用程式,幾秒鐘即可獲得全面的策略分析! 許多投資者仍然是看著手機APP與技術指標來驗證自己的策略,這樣不僅速度慢,而且不全面。許多人人工驗證了其中一年就確信了自己的策略可行,實際操作時虧損慘重。如果你懂了程式,十年的資料可以在數秒鐘就回測完成,並且透過套件可以獲得非常全面的策略分析,我們會帶著你應用backtrader回測框架快速驗證期貨策略。 2.強大的AI模型,就算是程式小白也可以應用! AI確實是一門非常學術且具備高門檻的領域,但你我可能都並非是走研究學術路線,有了許多巨人替大家開發許多好用強大的AI模型,我們可以很輕易地呼叫這些強大的模型去學習自己的目標,應用並不困難。在本課程中我們將會示範機器學習(Machine Learning)與深度學習(Deep Learning)如何快速簡易的應用在期貨市場,並於解鎖課程中加入強化學習(Reinforcement Learning)的應用。 3. 運用程式進行盤中檢測 當你有好策略或是好的市場掃描程式,卻不知道如何做成服務嗎? 我們會教你如何使用windows排程自動執行你的程式,並讓程式透過Line Notify很簡單的發送Line訊息給你的使用者。時刻監控市場,並達到及時提醒。 4. 少見的全方位期貨課程 是的,不僅是課程,網路上的資源期貨也是偏少。股票的受眾較廣,且程式設計上較為容易,但期貨為保證金交易模式,許多程式設計或是回測框架這部分都會顯得比較複雜,本課程會點出一些關鍵的要點,讓你掌握期貨這方面的程式設計。 這堂課適合誰 苦於人工驗證交易策略,想要高速回測期貨策略 對期貨交易軟體感到無法滿足需求,想要高度自由化 對於Python於期貨市場的應用有高度興趣的初學者 對於爬蟲感到陌生,尤其是動態網頁更是不知所措 有良好的想法,但苦於不知道如何自動化並作成簡單的服務 想要生成專業又漂亮的策略回測結果圖表,卻不知從何下手 對於AI模型無基礎,但又想要嘗試看看,體驗模型的效果 教師介紹 張峮瑋 Arleigh Chang 黃仕勳 Ryan Huang 【老師的話】 大家好,我是《Python全方位期貨課程》的老師峮瑋(Arleigh)。 我曾經待過野村投信(NOMURA),也曾在東吳自然語言處理實驗室研究過模型與金融市場的議題 現在則替私人操盤手撰寫交易程式, 以Python為主,範圍包含程式交易、策略回測、AI應用於市場、資料採集、市場監測機器人等。 這些範疇正是我在課程中想要教給你的,我會將現在的工作環境會使用到的技術,在課程中透過實戰的方式讓你融會貫通。 歡迎大家一起加入這門線上課程!有任何問題歡迎提問,我會親自回覆。 【出版書籍】 - 著有《Python金融市場賺錢聖經》,曾榮登多個平台新書暢銷榜 【學歷】 - 就讀臺科大資管所,研究 AI 應用於金融交易市場 - 畢業於臺科大資工系 輔系財金系 【工作資歷】 - 現任野村投信(NOMURA) IT部門實習生 - 臺科大資工系資料探勘與社群網路分析實驗室成員 - 曾任臺科大 資管所行動計算與資料探勘實驗室成員 - 曾任程式語言家教,協助多位無程式經驗學生從0開始 - 多項AI產學合作經驗,涵蓋深度學習、自然語言處理、社群網路分析 - 曾任 IOH 開發開放個人經驗平台校園大使,演講 10 所高中職 - 曾於 IOH 分享個人講座 課程大綱 PART 1:PYTHON基礎教學 – 基礎講解+2道實戰上手PYTHON 1-1:Python下載、編譯器推薦、pip管理套件、虛擬環境 1-2:變數、運算元、運算子、資料型態及應用場景 1-3:for迴圈、while、if else判斷式、class簡介、def函式、經典套件介紹Pandas & numpy、Enumerate、Break/continue/pass、try/except 1-4:刷Leetcode簡單Two sum - 實戰演練1 1-5:手寫經典指標移動平均 – 實戰演練2 PART 2:資料來源與技術指標 – 熟悉爬蟲,資料來源無虞 2-1:台指資料分K轉換與計算技術指標 2-2:爬蟲介紹與基本SOP、Selenium應用場域 2-3:爬蟲實戰1: 證交所三大法人資訊 2-4:爬蟲實戰2: 期交所報價爬取 (Selenium) 2-5:爬蟲實戰3: 三大法人多空方口數與未平倉口數 2-6:即時資料 - 永豐API基本使用介紹(Shioaji) PART 3:盤中監測市場 – 計算專屬指標,LINE隨時提醒 3-1:Line Notify介紹 3-2:Windows排程呼叫程式自動運行 3-3:實戰1 – 三大法人買賣超統計資訊(股票) 3-4:實戰2 – 各大類股漲跌情況統計(股票) 3-5:實戰3 – 開盤前,昨日收盤指標有觸發訊號的提醒 PART 4:BACKTRADER回測策略+風險分析套件 – 高速回測策略,檢視完整報告 4-1:Backtrader介紹& Pyfolio示範 4-2:實戰回測1: 5ma & 60ma交叉策略 4-3:實戰回測2: 布林通道策略 4-4:實戰回測3: Momentum + 移動停利停損 4-5:實戰回測4: 以實戰1-3擇一為例,完整示範回測流程、演算最佳參數到pyfolio評估 PART 5:AI+期貨 – 玩玩模型應用在市場,體驗最新潮流 5-1:Deep Learning & Machine Learning & Reinforcement Learning簡介與資源推薦 5-2:實戰1: ML預測期貨漲跌 5-3:實戰2: DL預測期貨價格 5-4:實戰3: DL預測期貨漲跌 解鎖章節 200%:backtrader回測成果網頁可視化 500%:強化學習用於期貨交易學習範例 700%:python結合永豐API程式自動交易台指期範例 800%:回測配對交易範例
Mastertalks
Excel VBA |自動化表單、大量資料處理與股票分析
課程介紹 學習程式與軟體時,最可怕的就是許多令人費解的專業術語及用詞。遇上這種狀況,即使課程影片看了再多次都沒用。 因此,擁有超過18年的軟體教學經驗、在網路上累積授課時數超過2萬小時、部落格累積有千萬觀看的「電腦學習園地」創辦人——鄭勝友老師,會將專業術語轉化成我們生活中常見的景象,以最平易近人的方式進行教學。 本課程中,將以實際案例來說明 VBA 的使用技巧,透過「如何設計自訂表單、資料如何快速匯整、將網路資料抓取到Excel分析、大量資料處理、透過 Email 自動寄送加密檔案」等教學,逐步了解整個 VBA 的架構與輪廓,並新增「資料防呆輸入」小節,省去後續整理資料錯誤的工作時間。即使沒有任何程式設計基礎,也能輕易上手 VBA 的程序,縮短並簡化日常工作中的重複作業,自動化工作流程。 課程最後,將以產品銷售資料為例,說明如何在多位業務製作的報表間進行篩選,並將每一位客戶資料單獨成報表。完課後可應用在:教師輸出學生個人成績單、會計輸出不同客戶的資料、行銷輸出各渠道的銷售狀況等工作場景。 獨家內容 新增自訂函數計算儲存格顏色數量 一口氣開啟相關活頁簿 儲存關閉活頁簿 插入新的工作表 選取工作表 修改工作表名稱 移動復製工作表 刪除工作表 隱藏工作表 在儲存格中設定計算式 複製/貼上儲存格資料 自動設定欄寬與列高 自動設定儲存格格式 自動設定儲存格內容對齊 自動設定儲存底色與字體顏色 自動產生表格 自動修改工作表顏色 自動新增註解 自動產生 QRCode 與條碼 With 陳述式 您將能學到 設計多功能自動化表單 使用VBA自動化統整單據 一鍵產生自動化股票數據分析 辦公室報表資料大量處理 學員好評 James同學:教學的速度對初學者非常適合 教材很實用,我不用再特地去找老師上課。 Jackson Tsai同學:程式及教學非常有用 看了您的影片,才知道VBA自動化怎麼做,真是感激。 Rose同學:老師超會教~~ 感謝老師分享,老師的教學讓我更為理解Excel了,獲益良多。 適合對象 已經精熟Excel,想更近一步提升競爭力的人 工作與Excel密不可分,想提高工作效率者 日常工作中,需處理大量數據及資訊者 教師介紹 電腦學習園地——鄭勝友老師 專長: Excel VBA Microsoft系列軟體(Word、PowerPoint、Excel) Adobe系列軟體(Photoshop、Illustrator、After Effects) 工業軟體-AutoCAD 經歷: 鄭勝友老師從事電腦教育工作超過兩萬小時,授課無數,教學網站更有破千萬的的瀏覽次數。 證照: TQC Microsoft OFFICE Master TQC Powerpoint OFFICE Master Autodesk AutoCAD 原廠國際認證 勞委會軟體應用丙級認證 課程大綱 章節 1:Excel VBA 基本操作與語法介紹 如何進入VBA操作環境與調整 建立第一個VBA程序 在Excel 使用VBA程序的方式 使用VBA操作儲存格內容 判斷條件使用 使用迴圈執行反覆處理 如何使用除錯找出有問題的地方 章節 2:使用者表單應用 建立自訂對話輸入視窗 表單控制項使用 控制項事件處裡(點我試看) 核取方塊、按鈕、下拉選單應用 將表單內容傳遞到工作表中 資料防呆輸入 章節 3:資料自動匯整處理 資料匯總觀念說明 建立資料匯總表 將單據資料轉錄到匯總資料表中 章節 4:一鍵自動產生股票分析資料 證交所交易資料匯整至Excel中 自動整理刪除多餘內容 插入需要的公式欄位內容 自動產生圖表 章節 5:自動化大量資料處理 資料自動化處理功能說明 啟用篩選功能 設定篩選條件 範圍與多鍵值條件篩選 篩選與轉錄資料-薪增工作表 篩選與轉錄資料-加入篩選與複製結果 自動繪製表格與格式調整、版面修改 將篩選結果轉成PDF檔 加入大量處理資料迴圈功能 自動分割大量工作表變成個別檔案 章節 6:自動寄送大量附件資料Email給使用者 學習內容說明 Gmail自動寄信 加入寄信延遲時間 透過Outlook自動寄信 設定PDF加密碼前置作業 將工作表內容保存PDF並加入密碼保護 將大量工作內容存成PDF並加入個別密碼 加入一鍵產生PDF加密按鈕
Mastertalks
Mike Ku

Learn Code With Mike品牌創辦人

2022/01/21

3個實用的Pandas套件清理重複資料教學
本文以Kaggle網站的Amazon 2009-2019年Top50暢銷書資料集( https://www.kaggle.com/sootersaalu/amazon-top-50-bestselling-books-2009-2019 )為例,教大家如何查找及清理資料集的重複資料,提升資料的品質。
Q: Pandas duplicated()查找重複資料
想要使用Pandas套件查找資料集的重複資料,利用duplicated()方法(Method)可以得到每筆資料的重複狀態,True代表重複,False為沒重複,如下範例:
import pandas as pd
df = pd.read_csv('bestsellers with categories.csv')
print(df.duplicated())
接著,透過Pandas套件的括號[]語法即可檢視重複資料的各欄位資料,如下範例:
df = pd.read_csv('bestsellers with categories.csv')
print(df[df.duplicated()])
Pandas套件的duplicated()方法(Method)除了能夠查找所有欄位資料完全一樣的重複資料外,也提供了以下兩個關鍵字參數,來客製化查找的方式:
1. subset-查找特定欄位的重複資料
2. keep-保留第一筆(first)、最後一筆(last)或全部(False)的重複資料
如下範例:
df = pd.read_csv('bestsellers with categories.csv')
column_names = ['Name', 'Author', 'Year', 'Genre']
df = df[df.duplicated(subset=column_names, keep=False)]
print(df)
以上範例即是查找Name(書名)、Author(作者)、Year(出版年)及Genre(類型)四個欄位都一樣的重複資料,並且全部保留。
Q: Pandas drop_duplicates()刪除重複資料
從資料集裡找到重複的資料後,接下來,最常見的就是進行刪除或群組處理。
而要刪除完全一樣的重複資料,可以利用Pandas套件的drop_duplicates()方法(Method),如下範例:
df = pd.read_csv('bestsellers with categories.csv')
df.drop_duplicates(inplace=True)
其中,inplace關鍵字參數代表直接從現有資料集中刪除重複資料。
另外,要刪除特定欄位重複的資料,同樣可以透過subset及keep關鍵字參數來達成,如下範例:
df = pd.read_csv('bestsellers with categories.csv')
column_names = ['Name', 'Author', 'Year', 'Genre']
df.drop_duplicates(subset=column_names, keep='first', inplace=True)
Q: Pandas groupby()、agg()群組重複資料
除了可以利用Pandas套件的drop_duplicates()方法(Method)刪除重複資料外,有時基於商業邏輯,可以透過群組的方式解決重複資料。
這時候,就可以利用Pandas套件的groupby()方法(Method)群組相同資料的欄位,以及agg()方法(Method),統計運算剩餘的不同資料欄位,達到合併重複資料成一筆的效果,如下範例:
df = pd.read_csv('bestsellers with categories.csv')
column_names = ['Name', 'Author', 'Year', 'Genre']
summeries = {'User Rating': 'mean', 'Reviews': 'sum', 'Price': 'mean'}
df = df.groupby(by=column_names).agg(summeries).reset_index()
print(df)
如果想要學習更多的Python應用教學,歡迎前往Learn Code With Mike(https://www.learncodewithmike.com/2022/01/pandas-drop-duplicate-data.html
)網站觀看更多精彩內容。
3 0 900 0

推薦給你

知識貓星球

喵星人

7小時前

【小試身手】PMP 證照模擬題 專案管理計劃有哪些方面?
久違的第四題來了!來看看你是否對專案管理有所認識吧~
專案整合管理的一部分是制定專案管理計劃。這個計劃包括下列哪些方面?
a) 專案範疇、時程、成本和風險
b) 專案風險、品質、通信和採購
c) 專案範疇、品質、資源和人力
d) 專案時程、人力、採購和品質
答案一樣明天公布在留言區歐~
0 0 109 0
你可能感興趣的教室