104學習精靈
XPath
XPath
關注
邀請朋友 
Facebook
Line
複製連結
Hi~ 歡迎分享學習資源，有學習問題可匿名向Giver發問！
我要分享
我要提問
XPath 學習推薦
全部
影片
文章
不可不知的Scrapy框架爬取下一層網頁資料實作
Q: Scrapy網頁爬蟲爬取下一層網頁內容
建立Scrapy網頁爬蟲檔案(hot_news.py)，在parse()方法(Method)的地方，透過Scrapy框架的xpath()方法(Method)，來爬取INSIDE硬塞的網路趨勢觀察網站的所有熱門文章下一層網頁網址，如下範例：
import scrapy
class HotNewsSpider(scrapy.Spider):
name = 'hot_news'
allowed_domains = ['www.inside.com.tw']
def parse(self, response):
post_urls = response.xpath(
"//a[@class='hero_menu_link']/@href").getall()
詳細的Scrapy xpath定位元素方法教學可以參考[Scrapy教學5]掌握Scrapy框架重要的XPath定位元素方法文章( https://www.learncodewithmike.com/2021/01/scrapy-xpath-selectors.html
)。取得了所有熱門文章的下一層網頁網址後，就可以透過迴圈來進行請求，如下範例：
import scrapy
class HotNewsSpider(scrapy.Spider):
name = 'hot_news'
allowed_domains = ['www.inside.com.tw']
def parse(self, response):
post_urls = response.xpath(
"//a[@class='hero_menu_link']/@href").getall()
for post_url in post_urls:
yield scrapy.Request(post_url, self.parse_content)
其中Request方法(Method)的第一個參數，就是「請求網址」，也就是熱門文章的下一層網頁網址，而第二個參數就是請求該網址後，所要執行的方法(Method)，而parse_content()方法(Method)中，就是來爬取熱門文章的下一層網頁內容，以本文為例就是包含「文章標題」及「文章摘要」。
接著，就可以在parse_content()方法(Method)中，同樣使用Scrapy框架的xpath()方法(Method)，來爬取「文章標題」及「文章摘要」，如下範例：
import scrapy
class HotNewsSpider(scrapy.Spider):
...
def parse_content(self, response):
# 熱門文章標題
hot_news_title = response.xpath(
"//h1[@class='post_header_title js-auto_break_title']/text()").get()
# 熱門文章摘要
hot_news_intro = response.xpath(
"//div[@class='post_introduction']/text()").get()
print(f"熱門文章標題：{hot_news_title}，\n熱門文章摘要：{hot_news_intro}")
利用以下的指令執行Scrapy網頁爬蟲：
$ scrapy crawl hot_news
如果想要學習更多的Python應用教學，歡迎前往Learn Code With Mike(https://www.learncodewithmike.com/2021/02/scrapy-follow-links-and-collect-data.html
)網站觀看更多精彩內容。
2
0
549 0
拍手
留言
分享
Line
複製連結
收藏
熱門精選
行銷思維大升級！AI浪潮下的新媒體：翻轉品牌、應用社群大數據
🚀 讓我們帶你，探索數位行銷的新境界 🚀
第1場：聚焦於AI大數據的威力，揭示真實聲音的秘密
第2場：則以《500輯》為例，展現傳統媒體品牌的翻轉之路
從大數據的洞察到新媒體的創新，開啟媒體產業的全新時代 ！
名額有限，熱烈報名中
2
1
3352 0
拍手
留言
分享
Line
複製連結
收藏
學習精靈
02/28 00:00
youtube.com
如何使用Python + Firefox + 網頁XPath取得Goodinfo股票資訊
5 0
分享
Line
複製連結
收藏
掌握Scrapy框架重要的CSS定位元素方法(上)
想要開發Python網頁爬蟲的朋友，都會知道定位元素(Element)是一個非常重要的動作，Scrapy框架本身就有提供自己的定位元素(Element)方法(Method)，包含CSS與XPath兩種，本文就以INSIDE硬塞的網路趨勢觀察網站－AI新聞( https://www.inside.com.tw/tag/ai
)為例，先來和大家分享在Scrapy框架中，如何利用CSS的定位元素(Element)方法(Method)，爬取想要的網頁內容。
Q: Scrapy如何利用CSS方法取得單一元素值?
CSS(Cascading Style Sheets)階層樣式表相信大家都不陌生，可以自訂樣式的類別來裝飾網頁，像是字體顏色、粗體等，所以在利用Scrapy框架開發網頁爬蟲時，也就能夠利用CSS樣式類別，來定位想要爬取的網頁元素(Element)。
前往INSIDE硬塞的網路趨勢觀察網站－AI新聞，在文章標題的地方，點擊滑鼠右鍵，選擇檢查，可以看到它的CSS樣式類別。假設想要在Scrapy框架中，利用CSS樣式類別來取得網頁的單一元素值，也就是單一文章的標題，就可以在spiders/inside.py的parse()方法(Method)中，使用css()方法(Method)來定位單一元素(Element)，如下範例：
import scrapy
class InsideSpider(scrapy.Spider):
name = 'inside'
allowed_domains = ['www.inside.com.tw']
def parse(self, response):
title = response.css("a.js-auto_break_title::text").get()
print(title)
接著，利用以下的指令執行inside網頁爬蟲：
$ scrapy crawl inside
以上範例，response就是Scrapy框架請求後的回應結果，接著，呼叫css()方法，傳入所要定位的HTML標籤<a>，點的後面加上它的CSS樣式類別，由於要取得元素(Element)的文字，所以在加上「::text」關鍵字，最後，呼get()方法(Method)取得單一元素(Element)。
Q: Scrapy如何利用CSS方法取得多個元素值?
而在Scrapy框架中，想要爬取網頁多個元素值，則呼叫getall()方法(Method)即可，如下範例：
import scrapy
class InsideSpider(scrapy.Spider):
name = 'inside'
allowed_domains = ['www.inside.com.tw']
def parse(self, response):
titles = response.css("a.js-auto_break_title::text").getall()
print(titles)
可以看到getall()方法(Method)回傳的是一個串列(List)，包含了所有樣式類別為「js-auto_break_title」的<a>標籤文字，接下來，利用迴圈即可取得其中的文章標題，如下範例：
import scrapy
class InsideSpider(scrapy.Spider):
name = 'inside'
allowed_domains = ['www.inside.com.tw']
def parse(self, response):
titles = response.css("a.js-auto_break_title::text").getall()
for title in titles:
print(title)
如果想要學習更多的Python應用教學，歡迎前往Learn Code With Mike( https://www.learncodewithmike.com/2021/01/scrapy-css-selectors.html
)網站觀看更多精彩內容。
2
0
176 1
拍手
留言
分享
Line
複製連結
收藏
學習精靈
10/13 00:00
youtube.com
python爬蟲案例基礎課#12課# 使用xpath抓取名言網
1 0
分享
Line
複製連結
收藏
推薦給你
產品經理怎麼看？競爭對手的四種類型
競爭對手的類型可以分為以下幾種：
1. 直接競爭對手：這些公司直接提供與你的產品或服務相同或非常相似的產品或服務，並且在同一目標市場上競爭。他們可能是你最直接的競爭對手，因為他們的產品和服務與你的直接競爭，顧客須在你跟你的競爭對手間做選擇。
2. 間接競爭對手：這些公司提供的產品或服務可能與你的相似，但並非直接競爭。它們可能滿足相同的客戶需求，但以不同的方式或在不同的市場定位，雖然不直接競爭，但它們仍然可以影響你的業務。
3. 替代品競爭對手：這些是完全不同的產品或服務，但滿足了相同的客戶需求。當客戶發現有替代品可以滿足他們的需求時，他們可能會轉向這些替代品，從而影響你的業務。
4. 新進入者：這些是新進入市場的公司，可能對你的業務構成潛在威脅，他們可能帶來新的技術、創新或競爭策略，挑戰現有競爭者的地位。
了解這些不同類型的競爭對手可以幫助你制定更全面和有效的競爭策略，並做好應對各種情況的準備，須確保我們在直接競爭者面前保有競爭力、不會因間接競爭者而失去過多客群以即確保自己是潛能替代品競爭者。
0
0
162 0
拍手
留言
分享
Line
複製連結
收藏
你可能感興趣的教室