104學習精靈
框架設計
框架設計
關注
邀請朋友 
Facebook
Line
複製連結
Hi~ 歡迎分享學習資源，有學習問題可匿名向Giver發問！
我要分享
我要提問
框架設計 學習推薦
全部
影片
文章
不可不知的Scrapy框架爬取下一層網頁資料實作
Q: Scrapy網頁爬蟲爬取下一層網頁內容
建立Scrapy網頁爬蟲檔案(hot_news.py)，在parse()方法(Method)的地方，透過Scrapy框架的xpath()方法(Method)，來爬取INSIDE硬塞的網路趨勢觀察網站的所有熱門文章下一層網頁網址，如下範例：
import scrapy
class HotNewsSpider(scrapy.Spider):
name = 'hot_news'
allowed_domains = ['www.inside.com.tw']
def parse(self, response):
post_urls = response.xpath(
"//a[@class='hero_menu_link']/@href").getall()
詳細的Scrapy xpath定位元素方法教學可以參考[Scrapy教學5]掌握Scrapy框架重要的XPath定位元素方法文章( https://www.learncodewithmike.com/2021/01/scrapy-xpath-selectors.html
)。取得了所有熱門文章的下一層網頁網址後，就可以透過迴圈來進行請求，如下範例：
import scrapy
class HotNewsSpider(scrapy.Spider):
name = 'hot_news'
allowed_domains = ['www.inside.com.tw']
def parse(self, response):
post_urls = response.xpath(
"//a[@class='hero_menu_link']/@href").getall()
for post_url in post_urls:
yield scrapy.Request(post_url, self.parse_content)
其中Request方法(Method)的第一個參數，就是「請求網址」，也就是熱門文章的下一層網頁網址，而第二個參數就是請求該網址後，所要執行的方法(Method)，而parse_content()方法(Method)中，就是來爬取熱門文章的下一層網頁內容，以本文為例就是包含「文章標題」及「文章摘要」。
接著，就可以在parse_content()方法(Method)中，同樣使用Scrapy框架的xpath()方法(Method)，來爬取「文章標題」及「文章摘要」，如下範例：
import scrapy
class HotNewsSpider(scrapy.Spider):
...
def parse_content(self, response):
# 熱門文章標題
hot_news_title = response.xpath(
"//h1[@class='post_header_title js-auto_break_title']/text()").get()
# 熱門文章摘要
hot_news_intro = response.xpath(
"//div[@class='post_introduction']/text()").get()
print(f"熱門文章標題：{hot_news_title}，\n熱門文章摘要：{hot_news_intro}")
利用以下的指令執行Scrapy網頁爬蟲：
$ scrapy crawl hot_news
如果想要學習更多的Python應用教學，歡迎前往Learn Code With Mike(https://www.learncodewithmike.com/2021/02/scrapy-follow-links-and-collect-data.html
)網站觀看更多精彩內容。
2
0
550 0
拍手
留言
分享
Line
複製連結
收藏
熱門精選
【限量:免費報名】利用AI自動化行銷｜直播講座
講座詳細資訊
時間：04/30（二） 20:00 - 21:00
講者：圭話行銷創辦人 何佳勳 / 業界資深的數位廣告行銷專家
主題：行銷新篇章：AI如何革新檔期活動策略
在這個數位化的時代，AI技術正以驚人的速度改變著我們的行銷方式。檔期促銷活動面對的受眾眾多，難以精準定位目標受眾，進而影響活動效果、每次規劃檔期活動都需要創造吸引人的內容和促銷方式，但長期以來，創意卻逐漸耗盡、想要掌握AI如何革新檔期活動策略的最新動向嗎？
你也在苦思如何創造不同以往、有別競品的檔期活動嗎？104學習精靈與緯育TibaMe，攜手邀請到數位廣告界專家 圭話行銷創辦人何佳勳老師。學員們都稱呼他為小圭老師，不僅熱愛與學員社群互動、對學員有問必答，更善於為客戶的製造許多驚喜及營收，一起期待老師分享如何透過 AI 工具提升30%的檔期活動成效吧~
1
0
3862 0
拍手
留言
分享
Line
複製連結
收藏
一定要懂的Scrapy框架結合Gmail寄送爬取資料附件秘訣
本文將爬取的結果存入CSV檔案後，透過Gmail附件郵寄給使用者。在開始之前，大家可以先參考[Python實戰應用]Python寄送Gmail電子郵件實作教學文章( https://www.learncodewithmike.com/2020/02/python-email.html
)的第二節步驟，取得Gmail的應用程式密碼，以便能夠利用它的SMTP(簡易郵件傳輸協定)來發送郵件。
Q: Scrapy MailSender結合Gmail發送郵件
在Scrapy網頁爬蟲框架中，想要實作發送電子郵件的功能，可以使用內建的MailSender模組(Module)，透過基本的設定即可達成。開啟Scrapy專案的settings.py設定檔，加入以下的Gmail SMTP設定：
MAIL_HOST = "smtp.gmail.com"
MAIL_PORT = 587
MAIL_FROM = "申請Gmail應用程式密碼所使用的電子郵件帳號"
MAIL_PASS = "Gmail應用程式密碼"
MAIL_TLS = True
並且，將[Scrapy教學7]教你Scrapy框架匯出CSV檔案方法提升資料處理效率文章( https://www.learncodewithmike.com/2021/01/scrapy-export-csv-files.html
)中所建立的CsvPipeline資料模型管道設定開啟，如下範例：
ITEM_PIPELINES = {
'news_scraper.pipelines.CsvPipeline': 500,
}
設定完成後，開啟ITEM PIPELINE資料模型管道(pipelines.py)檔案，引用Scrapy框架的設定檔及MailSender模組(Module)，如下範例：
from itemadapter import ItemAdapter
from news_scraper import settings
from scrapy.mail import MailSender
接著，在CsvPipeline類別(Class)的close_spider()方法(Method)中，來建立Scrapy MailSender物件，以及指定Gmail的附件，包含「附件顯示的名稱(attach_name)」、「網際網路媒體類型(mime_type)」及「檔案物件(file_object)」，如下範例：
class CsvPipeline:
...
def close_spider(self, spider):
self.exporter.finish_exporting()
self.file.close()
mail = MailSender(smtphost=settings.MAIL_HOST,
smtpport=settings.MAIL_PORT,
smtpuser=settings.MAIL_FROM,
smtppass=settings.MAIL_PASS,
smtptls=settings.MAIL_TLS)
attach_name = "posts.csv"
mime_type = "application/vnd.openxmlformats-officedocument.spreadsheetml.sheet"
file_object = open("posts.csv", "rb")
return mail.send(to=["example@gmail.com"],
subject="news",
body="",
attachs=[(attach_name, mime_type, file_object)])
如果想要學習更多的Python應用教學，歡迎前往Learn Code With Mike(https://www.learncodewithmike.com/2021/02/scrapy-sending-gmail.html
)網站觀看更多精彩內容。
2
0
270 0
拍手
留言
分享
Line
複製連結
收藏
推薦給你
Vision Pro銷售慘跌！分析師驚揭3產業慘況
蘋果自詡為「革命性空間運算設備」的 Vision Pro 頭戴式裝置，上市至今已超過一年，卻傳出銷售慘跌的消息。知名蘋果分析師郭明錤指出，Vision Pro在2024年的出貨量預估將下修至40-45台，比原先預估的70-80台減少了30-43%。
【銷售不佳的三大關鍵」】
師郭明錤指出，Vision Pro銷售不佳的原因主要有以下三點：
⓵ 高價難親民
Vision Pro的售價高達3，499美元，相比之下，其他AR和VR頭戴式裝置的價格普遍低於1,000美元。高昂的售價成為Vision Pro的一大銷售障礙。
⓶ 內容匱乏乏人問津
Vision Pro目前可用的內容有限，主要以虛擬會議、3D設計、教育訓練等功能為主。缺乏引人入勝的內容，讓消費者難以找到購買Vision Pro的理由。
⓷ 技術問題添亂
一些使用者反映Vision Pro存在過熱、舒適度不佳等技術問題。這些技術問題降低了Vision Pro的使用者體驗，也影響了其銷售表現。
針對Vision Pro銷售不佳的問題，蘋果採取了以下因應策略：
◉ 降價求生：有傳言指出蘋果正在考慮降低Vision Pro的價格，以提高其競爭力。
◉ 內容加碼搶救：蘋果正在與第三方開發商合作，開發更多Vision Pro的內容。
◉ 技術攻堅解決問題：蘋果正在努力解決Vision Pro的技術問題，以提升使用者體驗。
【Vision Pro的未來命運】
儘管Vision Pro的銷售表現不如預期，但郭明錤仍對其未來發展持樂觀態度。他認為，隨著AR技術的發展，Vision Pro的價格將會越來越便宜，功能也將會越來越強大。未來，AR穿戴式裝置有望成為像智慧型手機一樣普及的電子產品
➤ 立即關注【AI趨勢報－科技愛好者的產地】獲得更多科技新知！
1
0
42 1
拍手
留言
分享
Line
複製連結
收藏
你可能感興趣的教室