104學習

Scrapy

Scrapy
關注
邀請朋友
邀請朋友

Line

Facebook

複製連結

取消
「Scrapy:負責設計、開發及維護網頁抓取工具,協助數據收集與分析,以支持公司業務決策。主要責任包括制定爬蟲策略、監控抓取效能,並確保數據質量。需具備Python編程技能、網頁結構理解能力及良好的資料處理技巧,並能跨部門協作,與數據分析、行銷及產品團隊緊密配合。具備優秀的溝通能力,能夠有效解釋技術概念並處理多方意見,以適應台灣快速變化的科技環境與市場需求。」
關於教室
關注人數 2 人
104人力銀行從職缺中挑選出常見技能所成立的官方教室,提供大家進行共學互動。
學習主持人
持續分享知識,
有機會成為官方教室主持人
教室標籤
關於教室
關注人數 2 人
104人力銀行從職缺中挑選出常見技能所成立的官方教室,提供大家進行共學互動。
學習主持人
持續分享知識,
有機會成為官方教室主持人
教室標籤
Hi~ 歡迎分享學習資源,有學習問題可匿名向Giver發問!
我要分享
我要提問

Scrapy 學習推薦

全部
影片
文章
Mike Ku

Learn Code With Mike品牌創辦人

2022/01/21

不可不知的Scrapy框架爬取下一層網頁資料實作
本文以INSIDE硬塞的網路趨勢觀察網站( https://www.inside.com.tw/ )首頁的熱門文章為例,來和大家分享如何在Scrapy框架中爬取下一層的網頁內容。
Q: Scrapy網頁爬蟲爬取下一層網頁內容
建立Scrapy網頁爬蟲檔案(hot_news.py),在parse()方法(Method)的地方,透過Scrapy框架的xpath()方法(Method),來爬取INSIDE硬塞的網路趨勢觀察網站的所有熱門文章下一層網頁網址,如下範例:
import scrapy
class HotNewsSpider(scrapy.Spider):
name = 'hot_news'
allowed_domains = ['www.inside.com.tw']
def parse(self, response):
post_urls = response.xpath(
"//a[@class='hero_menu_link']/@href").getall()
詳細的Scrapy xpath定位元素方法教學可以參考[Scrapy教學5]掌握Scrapy框架重要的XPath定位元素方法文章( https://www.learncodewithmike.com/2021/01/scrapy-xpath-selectors.html )。取得了所有熱門文章的下一層網頁網址後,就可以透過迴圈來進行請求,如下範例:
import scrapy
class HotNewsSpider(scrapy.Spider):
name = 'hot_news'
allowed_domains = ['www.inside.com.tw']
def parse(self, response):
post_urls = response.xpath(
"//a[@class='hero_menu_link']/@href").getall()
for post_url in post_urls:
yield scrapy.Request(post_url, self.parse_content)
其中Request方法(Method)的第一個參數,就是「請求網址」,也就是熱門文章的下一層網頁網址,而第二個參數就是請求該網址後,所要執行的方法(Method),而parse_content()方法(Method)中,就是來爬取熱門文章的下一層網頁內容,以本文為例就是包含「文章標題」及「文章摘要」。
接著,就可以在parse_content()方法(Method)中,同樣使用Scrapy框架的xpath()方法(Method),來爬取「文章標題」及「文章摘要」,如下範例:
import scrapy
class HotNewsSpider(scrapy.Spider):
...
def parse_content(self, response):
# 熱門文章標題
hot_news_title = response.xpath(
"//h1[@class='post_header_title js-auto_break_title']/text()").get()
# 熱門文章摘要
hot_news_intro = response.xpath(
"//div[@class='post_introduction']/text()").get()
print(f"熱門文章標題:{hot_news_title},\n熱門文章摘要:{hot_news_intro}")
利用以下的指令執行Scrapy網頁爬蟲:
$ scrapy crawl hot_news
如果想要學習更多的Python應用教學,歡迎前往Learn Code With Mike(https://www.learncodewithmike.com/2021/02/scrapy-follow-links-and-collect-data.html
)網站觀看更多精彩內容。
看更多
2 0 628 0
104學習

02/01 00:00

11 1
Mike Ku

Learn Code With Mike品牌創辦人

2022/01/19

一定要懂的Scrapy框架結合Gmail寄送爬取資料附件秘訣
本文將爬取的結果存入CSV檔案後,透過Gmail附件郵寄給使用者。在開始之前,大家可以先參考[Python實戰應用]Python寄送Gmail電子郵件實作教學文章( https://www.learncodewithmike.com/2020/02/python-email.html )的第二節步驟,取得Gmail的應用程式密碼,以便能夠利用它的SMTP(簡易郵件傳輸協定)來發送郵件。
Q: Scrapy MailSender結合Gmail發送郵件
在Scrapy網頁爬蟲框架中,想要實作發送電子郵件的功能,可以使用內建的MailSender模組(Module),透過基本的設定即可達成。開啟Scrapy專案的settings.py設定檔,加入以下的Gmail SMTP設定:
MAIL_HOST = "smtp.gmail.com"
MAIL_PORT = 587
MAIL_FROM = "申請Gmail應用程式密碼所使用的電子郵件帳號"
MAIL_PASS = "Gmail應用程式密碼"
MAIL_TLS = True
並且,將[Scrapy教學7]教你Scrapy框架匯出CSV檔案方法提升資料處理效率文章( https://www.learncodewithmike.com/2021/01/scrapy-export-csv-files.html )中所建立的CsvPipeline資料模型管道設定開啟,如下範例:
ITEM_PIPELINES = {
'news_scraper.pipelines.CsvPipeline': 500,
}
設定完成後,開啟ITEM PIPELINE資料模型管道(pipelines.py)檔案,引用Scrapy框架的設定檔及MailSender模組(Module),如下範例:
from itemadapter import ItemAdapter
from news_scraper import settings
from scrapy.mail import MailSender
接著,在CsvPipeline類別(Class)的close_spider()方法(Method)中,來建立Scrapy MailSender物件,以及指定Gmail的附件,包含「附件顯示的名稱(attach_name)」、「網際網路媒體類型(mime_type)」及「檔案物件(file_object)」,如下範例:
class CsvPipeline:
...
def close_spider(self, spider):
self.exporter.finish_exporting()
self.file.close()
mail = MailSender(smtphost=settings.MAIL_HOST,
smtpport=settings.MAIL_PORT,
smtpuser=settings.MAIL_FROM,
smtppass=settings.MAIL_PASS,
smtptls=settings.MAIL_TLS)
attach_name = "posts.csv"
mime_type = "application/vnd.openxmlformats-officedocument.spreadsheetml.sheet"
file_object = open("posts.csv", "rb")
return mail.send(to=["example@gmail.com"],
subject="news",
body="",
attachs=[(attach_name, mime_type, file_object)])
如果想要學習更多的Python應用教學,歡迎前往Learn Code With Mike(https://www.learncodewithmike.com/2021/02/scrapy-sending-gmail.html
)網站觀看更多精彩內容。
看更多
2 0 385 0
104學習

02/03 00:00

6 0

推薦給你

104學習

產品

10/13 16:32

Canva免費證照速攻!快速考證指南
Canva一直是許多職場人士的必備工具,但除了強大的設計功能外,很少人知道旗下Canva Design School還提供許多Canva免費課程,部分課程完成後,還能透過考試取得官方Canva證照。這份攻略將詳細介紹如何獲取證書,幫助你快速掌握Canva基本功、熟悉最新的AI工具應用,有效提升職場技能。
⚡Canva免費考證 FAQ 完整攻略⚡
✅Q1:如何找到Canva官方的免費課程與證書考試?
A:首先進入Canva Design School,在平台上,點擊「Get certified」,這裡提供的課程在結束後都可參加考試並獲得證書。
*即使沒有將課程上完,也可直接點擊「Earn a certificate」開始考試。對於已經熟悉Canva操作的使用者來說,若覺得課程內容簡單,想要節省時間,可直接選擇考試的方式獲得證書。
✅Q2:有哪些推薦的免費認證課程?
A:Canva提供了多門適合不同需求的課程,例如:
• Canva Essentials(Canva基礎操作):適合初學者快速建立Canva使用能力,涵蓋基礎介面、功能及AI輔助工具。 https://nabi.104.com.tw/ability/10049184
• Marketing with Canva(行銷設計技巧):教導如何利用Canva製作符合品牌風格的社群貼文、廣告素材,提升行銷效率。
• Graphic design essentials(平面設計基礎):學習設計的基本元素、原則、色彩理論與字體排版。
還有「Canva for Work」(職場應用)及教育類的「AI in the Classroom」等課程…
✅Q3:想快速拿證照,一定要把所有課程看完嗎?
A:不一定需要。對於已經熟悉Canva操作的資深用戶來說,即使沒有將課程上完,也可直接點擊「Earn a certificate」開始考試,藉此節省時間。考試題目為選擇題或多選題,數量介於20到30題之間。不過,若是Canva新手,建議還是完整將課程看完後再考試,除了能穩固基本功外,也能在答題時減少錯誤的機率。
✅Q4:Canva證書有什麼實際用途?如何分享?
A:Canva的證照不僅實用且免費,能夠證明您與時俱進,擁有數位設計與AI應用的專業能力。通過測驗的學員可獲得官方電子證書下載保存,或將證書分享到履歷表,為履歷及職涯形象加分。
看更多
4 0 944 1
你可能感興趣的教室