104學習精靈

Terminal server

AI 專區學習課程

證照測驗共學

Terminal server

關注

邀請朋友

Line

Facebook

複製連結

取消

「Terminal server：負責管理與維護伺服器終端連接，確保系統穩定性與安全性，提升用戶的終端使用體驗。主要職責包括設定與調整伺服器配置、監控系統效能、進行故障排查，並定期更新系統以保障資料安全。需具備跨部門協作能力、高效的溝通技巧，熟悉網絡架構與操作系統，同時了解台灣商業環境下公私部門對資料保護的要求，應具備解決具體挑戰的能力，以支持業務需求。」

關於教室

關注人數 0 人

104人力銀行從職缺中挑選出常見技能所成立的官方教室，提供大家進行共學互動。

學習主持人

持續分享知識，
有機會成為官方教室主持人

教室標籤

Terminal server

Hi~ 歡迎分享學習資源，有學習問題可匿名向Giver發問！

我要分享

我要提問

Terminal server 學習推薦

全部

影片

文章

Mike的Python學院

關注

Mike Ku

Learn Code With Mike品牌創辦人

2021/12/29

學會使用3個Scrapy網頁爬蟲偵錯技巧提升開發效率

Q:Scrapy Shell(互動介面)是什麼?

Scrapy Shell是一個互動式的終端(Terminal)介面，讓開發人員可以不需要等到整個Scrapy專案完成就能夠進行測試，主要是用來測試Scrapy框架使用css()或xpath()方法(Method)爬取資料的結果。

舉例來說，用Visual Studio Code開啟Scrapy專案，在終端介面(Terminal)的地方，利用以下的指令開啟Scrapy Shell：

$ scrapy shell　https://www.inside.com.tw/tag/AI

如果想要確認回應的結果，可以使用以下的Scrapy Shell指令：

>>>view(response)

True

除此之外，假設要爬取其中的新聞標題，就可以在Scrapy Shell的互動式介面中，透過指令的方式，使用css()或xpath()方法(Method)來測試是否能夠爬取成功，如下範例：

>>> response.css("h3.post_title a.js-auto_break_title::text").get()

'Appier 將於東京交易所掛牌，市值估突破 10 億美元'

Q:Scrapy Logging(日誌)如何使用?

Scrapy網頁爬蟲另一個最常用來偵錯的方法就是Logging(日誌)，依據重要的程度分為五種日誌類型，由高到低為：critical、error、warning、info、debug，由於Scrapy框架的網頁爬蟲類別(spiders)本身就已經有logger物件，所以無需引用就可以在網頁爬蟲中使用，如下範例：

class HotNewsSpider(scrapy.Spider):

name = 'hot_news'

allowed_domains = ['www.inside.com.tw']

start_urls = ['https://www.inside.com.tw/']

def parse(self, response):

# 熱門文章標題

hot_news_title = response.xpath(

"//h1[@class='title']/text()").get()

if hot_news_title:

return hot_news_title

else:

self.logger.error("沒有爬取到熱門文章標題")

接下來，開啟Scrapy專案的settings.py檔案，加入以下設定，如下範例：

LOG_FILE = "inside_log.txt"

LOG_LEVEL = "ERROR" #特別注意這邊一定要大寫

其中「LOG_LEVEL(日誌層級)」可以自訂在哪一個日誌類型以上需要被記錄到日誌檔中，預設為DEBUG。

而Scrapy網頁爬蟲(spiders)模組以外，如果想要使用Logging(日誌)，就需要引用logging模組(Module)，以ITEM PIPELINE資料模型管道(pipelines.py)為例，如下範例：

from itemadapter import ItemAdapter

from scrapy.exporters import CsvItemExporter

import logging

class CsvPipeline:

def __init__(self):

self.file = open('posts.csv', 'wb')

self.exporter = CsvItemExporter(self.file, encoding='big5')

self.exporter.start_exporting()

def process_item(self, item, spider):

if item:

self.exporter.export_item(item)

return item

else:

logging.error("無資料匯出!")

...

如果想要學習更多的Python應用教學，歡迎前往Learn Code With Mike(https://www.learncodewithmike.com/2021/03/scrapy-spiders-debug.html

)網站觀看更多精彩內容。

看更多

learncodewithmike.com

[Scrapy教學11]學會使用3個Scrapy網頁爬蟲偵錯技巧提升開發效率

2 0 1101 0

拍手

留言

分享到：

Line

Facebook

複製連結

取消

學習精靈

03/19 00:00

bubble727.pixnet.net

[Windows]Terminal Server port 遠端桌面改Port方法 @ IT資訊-實驗室[MIS LAB ] :: 痞客邦 ::

9 0

Mike的Python學院

關注

Mike Ku

Learn Code With Mike品牌創辦人

2021/12/29

實用的Scrapy框架安裝指南，開始你的第一個專案

繼[Scrapy教學1]快速入門Scrapy框架的5個執行模組及架構( https://www.learncodewithmike.com/2020/12/python-scrapy-architecture.html )文章，瞭解Scrapy框架的5個主要模組相互之間的關係與執行流程後，本文將帶大家在Windows環境中，安裝Scrapy框架，並且提示可能會遇到的錯誤該如何解決，最後，建立屬於您的第一個Scrapy專案，來一窺其中的檔案結構。

Q:如何安裝Scrapy框架?

首先，Scrapy框架的安裝方式，就像安裝Python的套件(Package)一樣，透過以下的指令即可進行安裝：

$ pip install scrapy

而要確認Scrapy框架是否有安裝成功，可以先在命令提示字元視窗中輸入scrapy指令，其中有一個「bench」指令，用來快速執行Scrapy框架的基準測試，如下：

$ scrapy bench

執行後如果沒有顯示錯誤訊息，代表安裝成功。

Q:如何建立Scrapy專案?

Scrapy框架安裝完成後，接下來，就可以建立Scrapy專案來開發網頁爬蟲。本文以新聞網頁爬蟲專案為例，在桌面先建立一個「news_scraper」資料夾，接著，開啟Visual Studio Code，打開「news_scraper」資料夾，在Terminal視窗中即可利用以下的指令來建立Scrapy專案：

$ scrapy startproject 你的專案名稱 .

以上指令的「.」意思是在目前的目錄下，建立Scrapy專案。而執行結果則是告訴我們專案建立成功，並且引導如何開發第一個Python網頁爬蟲。

Q:Scrapy專案結構是什麼?

這時候，可以在「news_scraper」資料夾中看到Scrapy專案的檔案結構：

1. spiders資料夾：用來存放Python網頁爬蟲程式碼的地方。

2. items.py：定義想要爬取或儲存的資料欄位。

3. middlewares.py：定義「spiders與引擎(ENGINE)中間件」及「引擎(ENGINE)與下載器(DOWNLOADER)中間件」。

4. pipelines.py：定義items資料的後續處理，像是清理、儲存至資料庫或檔案等。

5. settings.py：Scrapy專案設定檔。

6. scrapy.cfg：Scrapy專案部署設定檔。

經過本文的說明，相信大家都能夠將Scrapy框架安裝起來，另外，透過建立Scrapy專案的方式，來瞭解其中各個檔案所負責的工作，將有助於未來在開發的過程中，能夠得心應手，希望對於想學習Scrapy框架的讀者有所幫助。

如果想要學習更多的Python應用教學，歡迎前往Learn Code With Mike( https://www.learncodewithmike.com/2020/12/scrapy-installation.html )網站觀看更多精彩內容。