104學習精靈
Scrapy
Scrapy
關注
邀請朋友 
Facebook
Line
複製連結
Hi~ 歡迎分享學習資源，有學習問題可匿名向Giver發問！
我要分享
我要提問
Scrapy 學習推薦
全部
影片
文章
不可不知的Scrapy框架爬取下一層網頁資料實作
Q: Scrapy網頁爬蟲爬取下一層網頁內容
建立Scrapy網頁爬蟲檔案(hot_news.py)，在parse()方法(Method)的地方，透過Scrapy框架的xpath()方法(Method)，來爬取INSIDE硬塞的網路趨勢觀察網站的所有熱門文章下一層網頁網址，如下範例：
import scrapy
class HotNewsSpider(scrapy.Spider):
name = 'hot_news'
allowed_domains = ['www.inside.com.tw']
def parse(self, response):
post_urls = response.xpath(
"//a[@class='hero_menu_link']/@href").getall()
詳細的Scrapy xpath定位元素方法教學可以參考[Scrapy教學5]掌握Scrapy框架重要的XPath定位元素方法文章( https://www.learncodewithmike.com/2021/01/scrapy-xpath-selectors.html
)。取得了所有熱門文章的下一層網頁網址後，就可以透過迴圈來進行請求，如下範例：
import scrapy
class HotNewsSpider(scrapy.Spider):
name = 'hot_news'
allowed_domains = ['www.inside.com.tw']
def parse(self, response):
post_urls = response.xpath(
"//a[@class='hero_menu_link']/@href").getall()
for post_url in post_urls:
yield scrapy.Request(post_url, self.parse_content)
其中Request方法(Method)的第一個參數，就是「請求網址」，也就是熱門文章的下一層網頁網址，而第二個參數就是請求該網址後，所要執行的方法(Method)，而parse_content()方法(Method)中，就是來爬取熱門文章的下一層網頁內容，以本文為例就是包含「文章標題」及「文章摘要」。
接著，就可以在parse_content()方法(Method)中，同樣使用Scrapy框架的xpath()方法(Method)，來爬取「文章標題」及「文章摘要」，如下範例：
import scrapy
class HotNewsSpider(scrapy.Spider):
...
def parse_content(self, response):
# 熱門文章標題
hot_news_title = response.xpath(
"//h1[@class='post_header_title js-auto_break_title']/text()").get()
# 熱門文章摘要
hot_news_intro = response.xpath(
"//div[@class='post_introduction']/text()").get()
print(f"熱門文章標題：{hot_news_title}，\n熱門文章摘要：{hot_news_intro}")
利用以下的指令執行Scrapy網頁爬蟲：
$ scrapy crawl hot_news
如果想要學習更多的Python應用教學，歡迎前往Learn Code With Mike(https://www.learncodewithmike.com/2021/02/scrapy-follow-links-and-collect-data.html
)網站觀看更多精彩內容。
2
0
548 0
拍手
留言
分享
Line
複製連結
收藏
熱門精選
🔥104人力銀行「2024職涯博覽會」開始報名啦📢
微軟、緯穎、德州儀器、遊戲橘子、東京威力科創、KPMG、IKEA、星巴克、宜得利、迪卡儂等，上百家頂尖知名企業現場徵才🤩
📍 6/15(六) 資訊科技、顧問金融業
📍 6/16(日) 電子製造業、零售服務業
連續兩日，優質企業將在現場釋出數千個工作機會💼
另有中高階獵才、職涯諮詢、趨勢論壇、夜fun職場等系列活動，
主題精采多元，除部分講座收費，其餘活動皆 免費！免費！免費！
0
2
393 0
拍手
留言
分享
Line
複製連結
收藏
學習精靈
02/01 00:00
youtube.com
[Scrapy 爬蟲] 如何撰寫第一支Scrapy 爬蟲以抓取蘋果即時新聞?
9 1
分享
Line
複製連結
收藏
一定要懂的Scrapy框架結合Gmail寄送爬取資料附件秘訣
本文將爬取的結果存入CSV檔案後，透過Gmail附件郵寄給使用者。在開始之前，大家可以先參考[Python實戰應用]Python寄送Gmail電子郵件實作教學文章( https://www.learncodewithmike.com/2020/02/python-email.html
)的第二節步驟，取得Gmail的應用程式密碼，以便能夠利用它的SMTP(簡易郵件傳輸協定)來發送郵件。
Q: Scrapy MailSender結合Gmail發送郵件
在Scrapy網頁爬蟲框架中，想要實作發送電子郵件的功能，可以使用內建的MailSender模組(Module)，透過基本的設定即可達成。開啟Scrapy專案的settings.py設定檔，加入以下的Gmail SMTP設定：
MAIL_HOST = "smtp.gmail.com"
MAIL_PORT = 587
MAIL_FROM = "申請Gmail應用程式密碼所使用的電子郵件帳號"
MAIL_PASS = "Gmail應用程式密碼"
MAIL_TLS = True
並且，將[Scrapy教學7]教你Scrapy框架匯出CSV檔案方法提升資料處理效率文章( https://www.learncodewithmike.com/2021/01/scrapy-export-csv-files.html
)中所建立的CsvPipeline資料模型管道設定開啟，如下範例：
ITEM_PIPELINES = {
'news_scraper.pipelines.CsvPipeline': 500,
}
設定完成後，開啟ITEM PIPELINE資料模型管道(pipelines.py)檔案，引用Scrapy框架的設定檔及MailSender模組(Module)，如下範例：
from itemadapter import ItemAdapter
from news_scraper import settings
from scrapy.mail import MailSender
接著，在CsvPipeline類別(Class)的close_spider()方法(Method)中，來建立Scrapy MailSender物件，以及指定Gmail的附件，包含「附件顯示的名稱(attach_name)」、「網際網路媒體類型(mime_type)」及「檔案物件(file_object)」，如下範例：
class CsvPipeline:
...
def close_spider(self, spider):
self.exporter.finish_exporting()
self.file.close()
mail = MailSender(smtphost=settings.MAIL_HOST,
smtpport=settings.MAIL_PORT,
smtpuser=settings.MAIL_FROM,
smtppass=settings.MAIL_PASS,
smtptls=settings.MAIL_TLS)
attach_name = "posts.csv"
mime_type = "application/vnd.openxmlformats-officedocument.spreadsheetml.sheet"
file_object = open("posts.csv", "rb")
return mail.send(to=["example@gmail.com"],
subject="news",
body="",
attachs=[(attach_name, mime_type, file_object)])
如果想要學習更多的Python應用教學，歡迎前往Learn Code With Mike(https://www.learncodewithmike.com/2021/02/scrapy-sending-gmail.html
)網站觀看更多精彩內容。
2
0
267 0
拍手
留言
分享
Line
複製連結
收藏
學習精靈
02/03 00:00
youtube.com
Python 網路爬蟲實戰經驗分享 - Scrapy 網站爬蟲框架
4 0
分享
Line
複製連結
收藏
推薦給你
職位英文簡稱懶人包：BD、PM、UI、QA、HR是什麼？
1. UI (User Interface)
全名：User Interface Designer (用戶界面設計師)
介紹：UI設計師負責設計產品或應用程式的用戶界面，確保界面設計美觀、易於使用和符合用戶需求。
2. UX (User Experience)
全名：User Experience Designer (用戶體驗設計師)
介紹：UX設計師負責設計產品或應用程式的整體用戶體驗，包括用戶流程、互動設計和用戶研究，以提高用戶滿意度和產品易用性。
3. BD (Business Development)
全名：Business Development Manager (業務拓展經理)
介紹：業務拓展經理負責尋找新的業務機會，建立合作夥伴關係，拓展客戶群和市場份額，以促進公司的業務增長。
4. CM (Community Manager)
全名：Community Manager (社群經理)
介紹：社群經理負責管理和維護品牌在社交媒體上的形象，與粉絲互動，促進社群參與，並回應用戶的評論和問題。
5. QA (Quality Assurance)
全名：Quality Assurance Engineer (品質保證工程師)
介紹：品質保證工程師負責測試產品或服務的品質，確保其符合品質標準，並發現並解決可能存在的問題。
6. PM (Project Manager)
全名：Project Manager (專案經理)
介紹：專案經理負責領導和管理專案團隊，制定專案計劃、監督進度、資源分配和風險控制，以確保項目按時高效完成。
7. CRM (Customer Relationship Management)
全名：Customer Relationship Management Specialist (客戶關係管理專員)
介紹：客戶關係管理專員負責與客戶建立和維護關係，聆聽客戶需求並提供解決方案，以提高客戶滿意度並促進客戶忠誠度。
8. PR (Public Relations)
全名：Public Relations Specialist (公關專員)
介紹：公關專員負責管理公司或品牌的公關活動和形象，與媒體溝通，發布新聞稿，組織活動，以提升公司或品牌的形象和知名度。
9. HR (Human Resources)
全名：Human Resources Manager (人力資源經理)
介紹：人力資源經理負責招聘、員工培訓、薪資福利管理、人員管理、勞動法規遵循等。
10. IT (Information Technology)
全名：Information Technology Specialist (資訊技術專家)
介紹：資訊技術專家負責管理和維護公司的IT系統和設備，解決用戶的技術問題，並提供技術支援和建議。
0
0
47 0
拍手
留言
分享
Line
複製連結
收藏
你可能感興趣的教室