104學習精靈

全部 課程 貼文 教室 證照 影片
Python爬蟲相關的課程 (15)
從工作推薦課程
零基礎成為Python金融數據分析師|金融資訊爬蟲X視覺化應用
您將能學到 課程單元從 Python 程式基礎開始,包含變數、資料型態、流程控制、函式、例外處理等 金融主題的網路爬蟲程式教學,製作Python爬蟲工具能夠自動抓取網路上豐富的金融資訊 專案實作教學,開發爬蟲程式抓取股市、匯率、利率、大盤等資訊 資料庫基礎教學,將抓下來的資訊儲存至資料庫與檔案當中,往後能夠有效的利用 資料視覺化教學,使用 Plotly套件繪製技術分析圖,包含K線和各技術指標 抄底工具程式實作,整合以上所學,透過成交量、技術指標、融資餘額資訊分析抄底時機 課程介紹 這堂 「零基礎成為Python金融數據分析師|金融資訊爬蟲X視覺化應用」課程,主要分為五個主題 + 一個HTML與CSS補充章節。 將從 Python 程式教學入門開始,搭配金融資訊相關的程式範例實作,接著學習如何使用SQL語法並有效抓取數據,並善用Pandas、Plotly視覺化套件,製作出K線、成交量、移動平均線、RSI 指標等圖表,最後進行抄底程式工具實作。 此外,有鑑於 Yahoo 更新網站後,整個 HTML 的結構完全不同,因此課程中特別新增了 Yahoo 股市爬蟲程式教材,並提供整堂課完整的程式碼範例,零基礎者也能輕易上手。 金融爬蟲流程簡介 課程中將學習到完整金融爬蟲方式,從分析網頁架構到儲存金融數據,最後資訊視覺化金融資訊。讓您在第一時間以最聰明便捷的途徑簡化投資歷程, 掌握投資先機,投報率即刻到手! → 確認資料來源 (臺灣證券交易所),分析網頁的架構,要抓的資料所在位置 → 透過爬蟲程式解析網頁內容,清理資料,從中抓取所需的數據 (Pandas) → 將整理的數據儲存至資料庫中 (SQL) → 未來就可以從資料庫中提取資料並繪製圖表 (Plotly) 200%解鎖項目 「講座:網路資源視覺化與Line Notify整合實作」 在這堂解鎖課程中,會實作讓程式能夠一覽股市資料的即時通知工具。將金融資訊爬蟲下來後,使用Plotly套件繪製成一張張簡潔的視覺化資訊圖表,並透過 LINE Notify來傳送給使用者。 400%解鎖項目 「講座:網路資源視覺化與Excel整合實作」 適合對象 零程式基礎,想踏入金融科技領域的人 對股票投資有經驗,想打造屬於自己可視覺化股票投資工具的投資人 對學習整合金融網路爬蟲、資料庫和資訊視覺化有興趣的工程師 教師介紹 Kadin Chung 鍾榮達 目前在公司負責系統分析與程式設計,同時也在做線上課程講師。 碩士畢業之後在外商系統整合服務公司上班多年,到自己設立軟體公司,第一個合作售出的系統是一套網路管理系統,可以幫助客戶配置,維護和測試數千台思科網路設備。 除此之外,Kadin在大型項目方面經驗豐富,例如馬拉松線上報名系統,車行租賃管理系統等。 在Kadin創業的過程中不斷地促使自己學習新的技能,並且知道什麼是「學習新技能」最有效的方法,他樂於分享一切所學的知識和實務經驗,也因為這份樂情,帶領 Kadin 來到 MasterTalks ,他將會透過高品質且有效率的方式分享他所學的一切技術和知識! 課程大綱 一、Python 程式基礎 1. 程式開發環境建立 2. 認識變數和資料型態 3. 流程控制 4. 常用的容器型態 5. 函式、模組和套件 6. 檔案的讀取與寫入 7. 例外處理 8. try-except 類別與物件 二、Python 爬蟲程式應用 1. 認識網路爬蟲 2. 網路爬蟲相關技術 3. 認識 HTML 4. 認識 Chrome開發人員工具 5. BeautifulSoup 教學 1|實作案例:Yahoo 股市爬蟲 6. BeautifulSoup 教學 2|實作案例:Google 股市爬蟲 7. Selenium 教學 1|實作案例:告牌匯率爬蟲 8. Selenium 教學 2|實作案例:匯率走勢爬蟲 三、數據的儲存:SQL圖表 1. CSV檔案讀取與寫入|銀行利率爬蟲 2. 資料庫基礎教學 1 3. 資料庫基礎教學 2|股票清單爬蟲 四、數據處理、資料分析與視覺化 1. Pandas 基礎教學 1 2. Pandas 基礎教學 2|股票日成交資訊 3. Plotly 基礎介紹 4. K線圖製作 5. 整合K線與成交量|子圖的製作 6. 移動平均線圖製作 7. RSI 指標圖製作 五、抄底工具程式實作 1. 台灣證券交易所|大盤指數爬蟲 2. 爬蟲抓取每日大盤【歷史資料】與資料庫整合實作 3. 爬蟲抓取每日大盤【成交資訊】與資料庫整合實作 4. 抄底工具:大盤K線與成交量圖製作 (含圖表週期轉換) 5. 抄底工具:大盤KD指標技術分析圖製作 6. 爬蟲抓取每日大盤【融資餘額】與資料庫整合實作 7. 抄底工具:大盤融資餘額圖製作 補充章節:HTML & CSS 基礎 1. HTML 基本介紹 2. 下載前端開發工具 3. HTML 結構 4. HTML 內容 5. HTML 圖片 6. HTML 超連結 7. 基本CSS介紹 8. 設定文字樣式 9. 設定顏色 10. 使用 Class 與 ID 11. CSS 區塊模型 12. 網頁布局 13. 美化網站 14. 定位方式 解鎖內容 講座1:LINE視覺化圖片即時通知 講座2:網路資源視覺化與Excel整合實作 講座3:Python爬蟲與PDF檔案下載整合實作 課前準備 一台能夠上網的電腦或筆電 課程中所使用到的軟體都是免費的,都會在課程中說明
Mastertalks
用Python操作Excel|實現職場自動化與理財工具開發
課程介紹 Excel是各行各業必備的工具,時常有各種資料要整理,要從網路上擷取資料,不斷的複製貼上,整理格式,統計各種表格內容,不知不覺中時間就這麼過去了,發現很多時候,自己的時間並不是在有價值的分析上,而是重複性的操作上,一整天下來,感覺很累,眼睛很酸,肩膀很硬,想到明天還有資料要整理,整個心情就好不起來。 其實只要作業流程確定,這些重複繁瑣的操作,都可以使用Python操作Excel來自動完成! 這堂課將會學習使用Python讓所有操作的步驟自動化,將能夠減省大量的時間和繁複無趣的重複性操作。 課程主要分 7 個章節,在第一個章節,你將會學習 Python 的 xlwings 套件基礎,透過程式開啟或建立檔案、彈性單筆到多筆資料的讀取與寫入、公式的應用到工作表的操作。 有了操作基礎後,自第二章節將實作更進階的應用與操作,透過程式抓取網路開放資訊,做資料的清理。並整理至 Excel,再設定格式與凸顯資料,最後透過 Pandas 做資料的統計。 資料視覺化在資料分析中是很重要的一個環節,在第三章節將學習使用程式來建立 Excel 原生圖表,和學習整合 Plotly 和 Matplotlib 這兩款強大視覺化套件至 Excel,最後實作一鍵自動完成統整資料的案例。 獨家內容 加入就送 7 大類別,共 39 個 Python 程式範例 檔案路徑資料解析 列出所有資料夾內指定檔案類型的檔案 批次修改多個檔案名稱(可含子資料夾) 一次搜尋多個特定檔案(自動走訪檔案) list資料讀寫 Dictionary資料讀寫 Numpy資料讀寫 Series資料讀寫 建立、複製與刪除工作表 複製工作表至另一個活頁簿 複製工作表標籤顏色 隱藏與顯示工作表 保護與取消工作表 設定指定的列高與欄寬 工作表中新增與刪除列與欄 將單欄資料拆成多欄資料 將多欄資料合併成單欄資料 凍結工作表窗格 設定字型、大小、粗體、斜體、底線和顏色 設定數字格式 設定儲存格框線樣式 設定儲存格對齊方式 設定合併儲存格 公式與函數的使用 Excel原生折線圖&3D折線圖 Excel原生長條圖&3D長條圖 Excel原生圓餅圖&3D圓餅圖 Matplotlib折線圖 Matplotlib長條圖 Matplotlib長條堆積圖 Matplotlib圓餅圖 Matplotlib散佈圖 Plotly泡泡圖 Plotly雷達圖 建立樞紐分析表 Excel 轉成 PDF 檔 Excel 工作表列印 課程特色 課程教學使用 Jupyter Notebook,說明每一行程式是如何運行的 課程中所使用到的軟體和爬蟲所抓下來的資料均是免費來源,不需要額外付費才能進行課程 課程包含豐富的實戰教學,各實戰中都可以從中學習到不同的技巧和技術 課程後台有專屬討論區,和全體同學一同線上學習,學習過程中有問題,都可以直接提出 彈性的學習時間與地點,只需要一台電腦就可以在任何地方無時間限制的重複觀看與練習 適合對象 想讓繁複作業自動化的人 想增加資料分析工作效率的人 想學習Python結合Excel做統計分析的人 想節省時間,讓大量重複性行政作業自動處理的人 想用Python自動整理金融資訊的價值投資人 上完課程後,你能夠學會 Python搭配xlwings模組,自動輕鬆操作Excel 學習網路爬蟲與Excel整合,自動化抓取資料、清理資料、整合資料、統計資料、產生圖表並整理至Excel 使用Python做Excel密碼保護 整合Matplotlib與Poltly視覺化圖表至Excel 學習整合網路公開資源抓取,並於Excel中產生統計圖表 用Python製作FIRE財務自由計畫Excel試算表 用Python製作美股價值投資工具 講師介紹 Kadin Chung 鍾榮達 目前在公司負責系統分析與程式設計,同時也在做線上課程講師。 碩士畢業之後在外商系統整合服務公司上班多年,到自己設立軟體公司,第一個合作售出的系統是一套網路管理系統,可以幫助客戶配置,維護和測試數千台思科網路設備。 除此之外,Kadin在大型項目方面經驗豐富,例如馬拉松線上報名系統,車行租賃管理系統等。 在Kadin創業的過程中不斷地促使自己學習新的技能,並且知道什麼是「學習新技能」最有效的方法,他樂於分享一切所學的知識和實務經驗,也因為這份樂情,帶領 Kadin 來到 MasterTalks ,他將會透過高品質且有效率的方式分享他所學的一切技術和知識! 課程大綱 第一章 利用Python輕鬆操作Excel 講座 1 Anaconda 開發環境安裝與架設 講座 2 使用Python操作Excel基礎 (開啟Excel、單筆資料讀寫、儲存格名稱設定和公式應用等) 講座 3 多筆資料讀寫操作 講座 4 操作 Excel 工作表 (新增刪除工作表,一次複製12月份工作表並自動命名) 第二章 網路公開資訊擷取與 Excel 整合應用 講座 1 Converter 的應用 (字典與DataFrame資料型態的Excel讀寫) 講座 2 使用Python抓取網路公開資訊 (空氣品質指標為例,包含資料清理與寫入Excel) 講座 3 使用Python自動化操作設定格式與凸顯資料 (字體、位置、格式和邊框等設定,依分類設定儲存格顏色) 講座 4 自動化資料統計應用 (統計各縣市空氣品質指標為例) 第三章 運用Python自動操作Excel資料視覺化圖表 講座 1 Excel 原生圖表資料視覺化 (製作折線圖、長條圖為例,套件有提供74種圖表可自行設定) 講座 2 Plotly 資料視覺化 (製作折線圖為例,官方網站有提供各種圖表範例) 講座 3 Matplotlib 資料視覺化 (製作折線圖、圓餅圖為例,官方網站有提供各種圖表範例) 講座 4 Python 資料視覺化實戰案例 (以第二章節空氣品質指標統計為例) 講座 5 一鍵自動化統整資料至Excel【從數據下載、資料清理、統計數據、凸顯資料到製作圖表】 第四章 Python X Excel 專案實戰 1 (FIRE 財務自由計畫試算表) 講座 1 專案開發實戰介紹 講座 2 使用Python自動計算試算表 講座 3 自動操作設定凸顯資料(點我試看) 講座 4 自動產生資料視覺化圖表 講座 5 一鍵自動化試算FIRE財富自由計畫 第五章 Python X Excel 專案實戰 2 ( 美股投資工具 ) 講座 1 專案開發實戰介紹 講座 2 Python網路爬蟲與Excel整合實作 講座 3 多頁爬蟲與Excel整合實作 講座 4 一鍵自動化整理價值投資清單 第六章 Python X Excel 專案實戰 3 ( 辦公室自動化工具 ) 講座 1 專案開發實戰介紹 講座 2 統整多份訂單資料(讀取多份Excel訂單資料,統整至單一清單,含 CSV 文件處理) 講座 3 各客戶銷售統計(產生統計表資訊與圓餅圖,大客戶一目了然) (點我試看) 講座 4 各產品類別銷售統計(產生統計表資訊與堆積長條圖, 找出明星商品) 講座 5 每月營收統計 - (產生統計表資訊與折線圖, 一張圖看每月營收狀況) 講座 6 使用Python做Excel密碼保護 第七章 補充章節 講座1:驗證儲存格資料 講座2:設定條件式格式設定 Python 程式基礎 程式開發環境建立 認識變數和資料型態 流程控制 常用的容器型態 函式、模組和套件 檔案的讀取與寫入 例外處理 try-except 類別與物件 Python 爬蟲程式 認識網路爬蟲 網路爬蟲相關技術 認識 HTML 認識 Chrome 開發人員工具 BeautifulSoup 教學 1|實作案例:Yahoo 股市爬蟲 BeautifulSoup 教學 2|實作案例:Google 股市爬蟲 Selenium 教學 1|實作案例:告牌匯率爬蟲 Selenium 教學 2|實作案例:匯率走勢爬蟲 上課前準備 一台能夠上網的電腦或筆電(Windows或Mac) 電腦需要有Microsoft Excel軟體 課程會說明如何安裝Anaconda與Python和所需的套件,皆是免費 xlwings套件,支援.xlsx/.xls/.xlsm/.xlsb格式
Mastertalks
用Python 建立分散式架構及監控系統:一堂課打造金融大數據戰情室
課程介紹 隨著資料量級上升及反爬蟲技術的進步,以自動化分散式的進行資料搜集早已成為無可避免的趨勢,我們將帶你打造一站式分散資料搜集監控系統。 學員將學到如何部署分散式爬蟲來大大拓展爬蟲效率,不再受限於單一機器上,並使用關聯式資料庫存放,最後還有完整的監控系統。 什麼是 「分散式系統」? 分散式系統是一套,能讓同時使用 10 台、100台機器,去負擔你的服務。例如後端、 爬蟲、資料處理等等。 為什麼要懂 「分散式技術、 爬蟲監控系統」, 跟我有什麼關係? 因為資料與使用者規模的成長,單機應用在多數產品上已經無法應付,分散式架構成為了業界的 主流應用,了解了分散式架構,能夠在求職中獲得巨大的優勢。 課程特色 解析 GitHub 上擁有超過 1,600 Stars的知名金融大數據開源專案 - FinMind 所使用的關鍵技術。 本課程會提供完整的課程原始碼,只要跟著操作,一定能夠完成。 驗證碼、Google reCAPTCHA 等反爬機制破解。 分散式系統 Rabbitmq、Celery 。 開發自己的分散式系統,課程中以爬蟲為例,課程之外也能用來部署自己的應用程式。 透過分散式的方式來加速爬蟲,提升資料收集速度、系統穩定度、並預留未來拓展性,還能減少 IP 被封鎖的情況。 關聯式資料庫-MySQL。 使用 Docker 一鍵架設。 大數據監控系統 Grafana、Promethus、Chatbot。 建立分散式爬蟲,在蒐集資料的同時進行資料檢查,確保資料完整性。 進行大規模爬蟲、資料處理時,有效監控當前進度。 以 Grafana、Promethus,建立 Dashboard 監控儀表板,協助使用者了解資料狀況的同時監測異常,並實時對 Slack、Telegram、Gmail 等發出 Alert 。 本課程的爬蟲以 FinMind 實務案例進行探討,不同於一般爬蟲課程,會更能貼近業界遇到的真實情況。 與其他 Python 爬蟲課程差異性。 本課程著重在分散式架構的建立與維護,除了課程中的案例,課後可以相同的架構使用在各種情境,例如IoT設備、後端、DevOps等應用。 本課程提供了 End to End 的資料蒐集解決方案,讓你清楚明了每一步流程,包含了資料獲取、資料儲存管理、資料監控等。 資料品質與機器監控,這是一般市面上的課程欠缺的部份,但這些技能,在業界一定會用到。但一般人不容易接觸到這塊,所以才想推出本課程,並以 FinMind 為例,彌補市場不足。 這堂課適合誰 想進一步提升大數據處理能力,學習爬進階爬蟲(分散式) 想提升工程能力,突破效能瓶頸,並完成一個 side project。 想要入門 Python 的同學 想要成為資料工程師 設備需求 Python 3.6 VS code 1.41.1 Docker、Docker Compose 建議 Windows 的學員,安裝 WSL,Ubuntu、Mac 的成員則無需安裝。 課程大綱 第一章 Python 爬蟲 第零章:環境設定 1-1 章節介紹 1-2 爬蟲介紹 1-3 爬蟲 - 台股證交所 1-4 爬蟲 - 台股櫃買中心 1-5 爬蟲 - 台股期交所 1-6 章節回顧 第二章 Docker 安裝 2-1:為什麼使用 Docker? 2-2:Docker 安裝 Linux Mac Windows 2-3 Docker 介紹 Dockerfile - image - container Volume Network 應用實做 2-4 Docker 工具介紹 docker compose docker registry docker swarm docker portainer 第三章 分散式架構 3-1:為什麼需要分散式 3-2:分散式工具介紹 - Rabbitmq、Flower、Celery 3-3:建置分散式環境 3-4:Python 分散式工具 Celery 介紹與實作 3-5: Celery 結合爬蟲 3-6:MySQL 資料庫建置 3-7:分散式架構結合資料庫 第四章 雲端部屬,實務上的分散式架構 4-1:為什麼使用雲端 4-2:申請 3 台雲端機器 4-3:雲端建立 rabbitmq、flower、mysql4 4-4:建立爬蟲 Docker Image、部屬爬蟲 4-5 分散式爬蟲展示 第五章 爬蟲監控系統 5-1:章節介紹 5-2:為什麼需要監控系統 5-3:監控系統介紹 5-4:監控系統建置 5-5 : 章節回顧 第六章 監控系統 6-1:監控系統上雲端 6-2:打造完整的監控系統 by Grafana & Prometheus 6-3:監控 container by cadvisor 6-4:監控機器狀況 by netdata 6-5 : Alert 系統 - chatbot 6-6 : 章節回顧 作業 - 專案 使用分散式爬蟲成功抓到櫃買中心資料 資料上傳資料庫 設定監控指標 解鎖章節 600%:提供 Google reCAPTCHA 與常見圖靈驗證碼破解 900%:公開 20~30 支台股金融資料爬蟲程式碼 準備軟體或資源 Python 3.6 Vscode 1.41.1 Docker、Docker Compose 建議 Windows 的學員,安裝 WSL,Ubuntu、Mac 的成員則無需安裝。
Mastertalks