104學習精靈
Scrapy
Scrapy
關注
邀請朋友 
Facebook
Line
複製連結
Hi~ 歡迎分享學習資源，有學習問題可匿名向Giver發問！
我要分享
我要提問
Scrapy 學習推薦
全部
影片
文章
不可不知的Scrapy框架爬取下一層網頁資料實作
Q: Scrapy網頁爬蟲爬取下一層網頁內容
建立Scrapy網頁爬蟲檔案(hot_news.py)，在parse()方法(Method)的地方，透過Scrapy框架的xpath()方法(Method)，來爬取INSIDE硬塞的網路趨勢觀察網站的所有熱門文章下一層網頁網址，如下範例：
import scrapy
class HotNewsSpider(scrapy.Spider):
name = 'hot_news'
allowed_domains = ['www.inside.com.tw']
def parse(self, response):
post_urls = response.xpath(
"//a[@class='hero_menu_link']/@href").getall()
詳細的Scrapy xpath定位元素方法教學可以參考[Scrapy教學5]掌握Scrapy框架重要的XPath定位元素方法文章( https://www.learncodewithmike.com/2021/01/scrapy-xpath-selectors.html
)。取得了所有熱門文章的下一層網頁網址後，就可以透過迴圈來進行請求，如下範例：
import scrapy
class HotNewsSpider(scrapy.Spider):
name = 'hot_news'
allowed_domains = ['www.inside.com.tw']
def parse(self, response):
post_urls = response.xpath(
"//a[@class='hero_menu_link']/@href").getall()
for post_url in post_urls:
yield scrapy.Request(post_url, self.parse_content)
其中Request方法(Method)的第一個參數，就是「請求網址」，也就是熱門文章的下一層網頁網址，而第二個參數就是請求該網址後，所要執行的方法(Method)，而parse_content()方法(Method)中，就是來爬取熱門文章的下一層網頁內容，以本文為例就是包含「文章標題」及「文章摘要」。
接著，就可以在parse_content()方法(Method)中，同樣使用Scrapy框架的xpath()方法(Method)，來爬取「文章標題」及「文章摘要」，如下範例：
import scrapy
class HotNewsSpider(scrapy.Spider):
...
def parse_content(self, response):
# 熱門文章標題
hot_news_title = response.xpath(
"//h1[@class='post_header_title js-auto_break_title']/text()").get()
# 熱門文章摘要
hot_news_intro = response.xpath(
"//div[@class='post_introduction']/text()").get()
print(f"熱門文章標題：{hot_news_title}，\n熱門文章摘要：{hot_news_intro}")
利用以下的指令執行Scrapy網頁爬蟲：
$ scrapy crawl hot_news
如果想要學習更多的Python應用教學，歡迎前往Learn Code With Mike(https://www.learncodewithmike.com/2021/02/scrapy-follow-links-and-collect-data.html
)網站觀看更多精彩內容。
2
0
570 0
拍手
留言
分享
Line
複製連結
收藏
熱門精選
【最新】2024年11月AI課程熱門排行榜TOP 10：最受歡迎的AI學習課程推薦
從AI基礎知識到應用，市面上提供了各種AI學習課程：AI線上課程、AI實體課程，無論您是初學者還是專業人士，都可以找到適合自己的AI課程。本文將為您揭曉2024年11月最受歡迎的AI課程排行榜，幫助您輕鬆找到優質的AI學習資源，快速掌握AI技能。
本篇透過從104課程中心的用戶學習大數據，整理出大家都在搜尋的TOP 10 熱門課程；可透過排行榜，找到你所需的學習內容，增進職場的職能成長，加強自我競爭力，打造你的職涯藍圖！
第1名。ChatGPT x Excel | 職場必學商務數據分析術
講師將以系統化教學法，教授數據分析常用情境，搭上火紅 ChatGPT ，步驟式實戰，能隨學即用，讓你知道如何在工作中運用所學到的技能！
第2名。AI資料科學家【 聽課全系列 】
「基礎思維」AI資料科學的新朋友，必定要了解一下人工智慧的歷史里程碑與事件，從這裡出發，您也能與不熟悉這個領域的朋友侃侃而談地分享您所學領域的轉變與趨勢，而初學者免不了學習的十字路口，不知道該從哪個部分開始學習AI，這裡也會給您適合適當的指引。常常被混的網頁爬蟲與ETL您真的認識並了解嗎？聽聽看TibaMe的講師們怎麼說吧！
第3名。生成式AI應用速成：商業溝通師-數位行銷課(12/21開課)
🔴報名截止日：2024/12/8🔴
你可以學到
🌟AI 行銷創作零基礎也能秒上手｜不需任何行銷經驗，快速學會生成式 AI 工具，輕鬆打造吸睛行銷素材。
🌟行銷策略效果爆發式成長｜ 有效運用 AI 提升執行力，讓行銷效率飆升、策略效果倍增。
🌟精準鎖定目標受眾，打中痛點｜ 用 AI 技術解析消費者行為，精準掌握市場趨勢，一次抓住受眾需求。
🌟品牌形象全面升級｜ AI 創造獨特行銷風格，讓品牌成為目光焦點，迅速在市場中脫穎而出。
第4名。2小時輕鬆學AI | 基礎觀念與應用
從資料科學的基礎觀念談起、商業智慧、資料探勘、影像辨識等技術應用，最後再討論企業實際導入人工智慧所需的相關流程。
第5名。生成式AI應用速成：創作詠唱師-影音創作課(11/30開課)
🔴報名截止日：2024/11/17🔴
你可以學到
🌟虛擬角色打造 ｜ 從角色設計、到AI影片製作，一站式打造你的專屬虛擬網紅。
🌟短影音製作 ｜ 運用AI工具，快速生成各種特效、濾鏡，製作出精緻的短影音。
🌟內容行銷 ｜ 學習如何利用AI工具製作出更能觸動觀眾的內容。
第6名。生成式AI工具應用實戰 (線上直播課程)
你可以學到
行銷廣告文案+社群策略及內容+SEO生成+BingAI繪圖，一次學會生成式AI工具應用！
本課程「生成式AI工具應用」旨在教導學員如何利用最先進的生成式AI工具，特別是ChatGPT和微軟Bing AI繪圖工具，來提升行銷文案、社群媒體內容、SEO優化、廣告文案創作以及內容行銷的效率和成效。
第7名。生成式AI應用速成：創作詠唱師-繪圖設計課(12/21開課)
🔴報名截止日：2024/12/8🔴
你可以學到
🌟成為AI設計高手｜ 從設計小白變身AI設計達人，自信接下各種設計挑戰。
🌟擴大職涯發展｜ 掌握AI設計技能，提升職場競爭力，開拓更多職涯發展機會。
🌟節省設計成本｜ 減少外包設計費用，提高工作效率，為企業創造更多價值。
🌟實現創意無限｜ 突破傳統設計框架，用AI工具打造出獨一無二的視覺作品。
第8名。AI應用時代｜從邏輯思維到文字溝通，從職場複利到高效生活
藉由AI助手的力量，更高效地完成商務工作、激發靈感。也透過AI協助經營社群，包含工作行程、日常旅遊、飲食規劃等，提高短影音規劃的效率，進而產出斜槓複利。
第9名。一次搞懂 ChatGPT 工作法 | 5分鐘看懂，立即上手 AI 應用觀念！
5分鐘輕巧學：圖解式影音 X 25應用情境 X 30組AI神器
第10名。AI x 產品企劃(產品開發)實務應用班
你可以學到
往在產品企劃及開發上，所面臨到的難以解決的疑難問題，在未來都有機會利用AI工具進一步改善，取得更有效的解決方案。
本課程將教會您如何快速掌握AI在商業分析、創意生成、行銷文案、用戶旅程設計與消費者行為洞察中的應用，並了解如何將這些工具應用於產品企劃流程中。
更多AI課程推薦：
2
0
2810 0
拍手
留言
分享
Line
複製連結
收藏
學習精靈
02/01 00:00
youtube.com
[Scrapy 爬蟲] 如何撰寫第一支Scrapy 爬蟲以抓取蘋果即時新聞?
9 1
分享
Line
複製連結
收藏
一定要懂的Scrapy框架結合Gmail寄送爬取資料附件秘訣
本文將爬取的結果存入CSV檔案後，透過Gmail附件郵寄給使用者。在開始之前，大家可以先參考[Python實戰應用]Python寄送Gmail電子郵件實作教學文章( https://www.learncodewithmike.com/2020/02/python-email.html
)的第二節步驟，取得Gmail的應用程式密碼，以便能夠利用它的SMTP(簡易郵件傳輸協定)來發送郵件。
Q: Scrapy MailSender結合Gmail發送郵件
在Scrapy網頁爬蟲框架中，想要實作發送電子郵件的功能，可以使用內建的MailSender模組(Module)，透過基本的設定即可達成。開啟Scrapy專案的settings.py設定檔，加入以下的Gmail SMTP設定：
MAIL_HOST = "smtp.gmail.com"
MAIL_PORT = 587
MAIL_FROM = "申請Gmail應用程式密碼所使用的電子郵件帳號"
MAIL_PASS = "Gmail應用程式密碼"
MAIL_TLS = True
並且，將[Scrapy教學7]教你Scrapy框架匯出CSV檔案方法提升資料處理效率文章( https://www.learncodewithmike.com/2021/01/scrapy-export-csv-files.html
)中所建立的CsvPipeline資料模型管道設定開啟，如下範例：
ITEM_PIPELINES = {
'news_scraper.pipelines.CsvPipeline': 500,
}
設定完成後，開啟ITEM PIPELINE資料模型管道(pipelines.py)檔案，引用Scrapy框架的設定檔及MailSender模組(Module)，如下範例：
from itemadapter import ItemAdapter
from news_scraper import settings
from scrapy.mail import MailSender
接著，在CsvPipeline類別(Class)的close_spider()方法(Method)中，來建立Scrapy MailSender物件，以及指定Gmail的附件，包含「附件顯示的名稱(attach_name)」、「網際網路媒體類型(mime_type)」及「檔案物件(file_object)」，如下範例：
class CsvPipeline:
...
def close_spider(self, spider):
self.exporter.finish_exporting()
self.file.close()
mail = MailSender(smtphost=settings.MAIL_HOST,
smtpport=settings.MAIL_PORT,
smtpuser=settings.MAIL_FROM,
smtppass=settings.MAIL_PASS,
smtptls=settings.MAIL_TLS)
attach_name = "posts.csv"
mime_type = "application/vnd.openxmlformats-officedocument.spreadsheetml.sheet"
file_object = open("posts.csv", "rb")
return mail.send(to=["example@gmail.com"],
subject="news",
body="",
attachs=[(attach_name, mime_type, file_object)])
如果想要學習更多的Python應用教學，歡迎前往Learn Code With Mike(https://www.learncodewithmike.com/2021/02/scrapy-sending-gmail.html
)網站觀看更多精彩內容。
2
0
154 0
拍手
留言
分享
Line
複製連結
收藏
學習精靈
02/03 00:00
youtube.com
Python 網路爬蟲實戰經驗分享 - Scrapy 網站爬蟲框架
4 0
分享
Line
複製連結
收藏
推薦給你
感恩節的由來和活動！認識西方的重要節日！
2024感恩節（Thanksgiving）在11月28日，這是西方（尤其是美國和加拿大）文化中最具代表性的節日之一，通常在美國於每年十一月的第四個星期四慶祝，在加拿大則是十月的第二個星期一。感恩節的由來可追溯到1621年，當時清教徒和原住民共同舉行豐收慶典，為了感謝一年的收成。本篇文章介紹感恩節相關的活動和英文單字，還有馬西百貨的感恩節盛大遊行介紹，一起來看看吧！
▍感恩節活動
1. Eating Turkey 吃火雞
⇨ 火雞是感恩節晚餐的傳統主菜，雖然沒有明確的文獻說明，但推測是當時清教徒居住的北美洲東北部地區有大量的野生火雞，也因此成為食物來源。
• 例句：On Thanksgiving, we always have roasted turkey with cranberry sauce.
在感恩節，我們總是吃烤火雞搭配蔓越莓醬。
2. Family Gathering 家庭聚餐
⇨ 感恩節的精神在於感謝生命中的人事物，家人會聚在一起分享晚餐並表達感謝。
• 例句：Thanksgiving is the perfect time for a family gathering.
感恩節是家人團聚的最佳時機。
3. 觀看美式足球比賽 (Watching Football Games)
⇨ 許多人會在感恩節觀看美式足球比賽，美式足球在感恩節的歷史可以追溯到1876年，當時耶魯大學和普林斯頓大學在感恩節當天舉行了一場比賽，吸引了眾多觀眾。隨後，美式足球逐漸與這個節日緊密相連。NFL（美國國家橄欖球聯盟）自1934年起開始在感恩節安排比賽，這項傳統一直延續至今。
• 例句：My dad loves watching football games on Thanksgiving Day.
我爸爸喜歡在感恩節那天看美式足球比賽。
4. Parades 遊行活動
⇨ 馬西百貨公司感恩節遊行（Macy’s Thanksgiving Day Parade）是美國感恩節最具象徵意義的慶祝活動之一。該遊行始於1924年，最初是為了吸引顧客並慶祝感恩節，此後，遊行便成為每年感恩節上午在紐約市舉行的傳統盛事，當天會吸引數百萬現場觀眾以及透過電視和網路收看的全球觀眾。
• 例句：The Macy’s Thanksgiving Day Parade is broadcast nationwide every year.
馬西百貨公司的感恩節遊行每年都全國直播。
▍感恩節單字 Thanksgiving Vocabulary
1. Gratitude 感恩
⇨ 表達對事物或他人的感謝。
• 例句：We should express our gratitude to those who help us.
我們應該對幫助我們的人表達感謝。
2. Stuffing 填料
⇨ 填充在火雞中的麵包屑或其他食材。
• 例句：The turkey stuffing is made with bread, onions, and herbs.
火雞填料是用麵包、洋蔥和香草製作的。
3. Pumpkin Pie 南瓜派
⇨ 一種常見的感恩節甜點。
• 例句：Grandma makes the best pumpkin pie for Thanksgiving.
奶奶做的南瓜派是感恩節最棒的。
4. Harvest 豐收
⇨ 感恩節的核心概念之一是慶祝豐收。
• 例句：Thanksgiving was originally a celebration of the harvest season.
感恩節最初是慶祝豐收季節的節日。
5. Cornucopia 豐饒角
⇨ 一種象徵豐饒的裝飾品，通常用於感恩節。
• 例句：The cornucopia on the table symbolizes abundance and gratitude.
桌上的豐饒角象徵著富足和感恩。
你對於感恩節哪個活動最感興趣呢？小編是馬西百貨的感恩節遊行！雖然無法遠渡至紐約觀看遊行，但仍然能透過轉播參與盛事，一起相約在11月28日 線上觀看感恩節遊行吧！附上連結給有興趣的讀者！
0
0
53 0
拍手
留言
分享
Line
複製連結
收藏
你可能感興趣的教室