104學習精靈

Terminal server

學習課程

共學證照測驗

Terminal server

關注

邀請朋友

Line

Facebook

複製連結

取消

「Terminal server：負責管理與維護伺服器終端連接，確保系統穩定性與安全性，提升用戶的終端使用體驗。主要職責包括設定與調整伺服器配置、監控系統效能、進行故障排查，並定期更新系統以保障資料安全。需具備跨部門協作能力、高效的溝通技巧，熟悉網絡架構與操作系統，同時了解台灣商業環境下公私部門對資料保護的要求，應具備解決具體挑戰的能力，以支持業務需求。」

關於教室

關注人數 0 人

104人力銀行從職缺中挑選出常見技能所成立的官方教室，提供大家進行共學互動。

學習主持人

持續分享知識，
有機會成為官方教室主持人

教室標籤

Terminal server

Hi~ 歡迎分享學習資源，有學習問題可匿名向Giver發問！

我要分享

我要提問

Terminal server 學習推薦

全部

影片

文章

Mike的Python學院

關注

Mike Ku

Learn Code With Mike品牌創辦人

2021/12/29

學會使用3個Scrapy網頁爬蟲偵錯技巧提升開發效率

Q:Scrapy Shell(互動介面)是什麼?

Scrapy Shell是一個互動式的終端(Terminal)介面，讓開發人員可以不需要等到整個Scrapy專案完成就能夠進行測試，主要是用來測試Scrapy框架使用css()或xpath()方法(Method)爬取資料的結果。

舉例來說，用Visual Studio Code開啟Scrapy專案，在終端介面(Terminal)的地方，利用以下的指令開啟Scrapy Shell：

$ scrapy shell　https://www.inside.com.tw/tag/AI

如果想要確認回應的結果，可以使用以下的Scrapy Shell指令：

>>>view(response)

True

除此之外，假設要爬取其中的新聞標題，就可以在Scrapy Shell的互動式介面中，透過指令的方式，使用css()或xpath()方法(Method)來測試是否能夠爬取成功，如下範例：

>>> response.css("h3.post_title a.js-auto_break_title::text").get()

'Appier 將於東京交易所掛牌，市值估突破 10 億美元'

Q:Scrapy Logging(日誌)如何使用?

Scrapy網頁爬蟲另一個最常用來偵錯的方法就是Logging(日誌)，依據重要的程度分為五種日誌類型，由高到低為：critical、error、warning、info、debug，由於Scrapy框架的網頁爬蟲類別(spiders)本身就已經有logger物件，所以無需引用就可以在網頁爬蟲中使用，如下範例：

class HotNewsSpider(scrapy.Spider):

name = 'hot_news'

allowed_domains = ['www.inside.com.tw']

start_urls = ['https://www.inside.com.tw/']

def parse(self, response):

# 熱門文章標題

hot_news_title = response.xpath(

"//h1[@class='title']/text()").get()

if hot_news_title:

return hot_news_title

else:

self.logger.error("沒有爬取到熱門文章標題")

接下來，開啟Scrapy專案的settings.py檔案，加入以下設定，如下範例：

LOG_FILE = "inside_log.txt"

LOG_LEVEL = "ERROR" #特別注意這邊一定要大寫

其中「LOG_LEVEL(日誌層級)」可以自訂在哪一個日誌類型以上需要被記錄到日誌檔中，預設為DEBUG。

而Scrapy網頁爬蟲(spiders)模組以外，如果想要使用Logging(日誌)，就需要引用logging模組(Module)，以ITEM PIPELINE資料模型管道(pipelines.py)為例，如下範例：

from itemadapter import ItemAdapter

from scrapy.exporters import CsvItemExporter

import logging

class CsvPipeline:

def __init__(self):

self.file = open('posts.csv', 'wb')

self.exporter = CsvItemExporter(self.file, encoding='big5')

self.exporter.start_exporting()

def process_item(self, item, spider):

if item:

self.exporter.export_item(item)

return item

else:

logging.error("無資料匯出!")

...

如果想要學習更多的Python應用教學，歡迎前往Learn Code With Mike(https://www.learncodewithmike.com/2021/03/scrapy-spiders-debug.html

)網站觀看更多精彩內容。

看更多

learncodewithmike.com

[Scrapy教學11]學會使用3個Scrapy網頁爬蟲偵錯技巧提升開發效率

2 0 1094 0

拍手

留言

分享到：

Line

Facebook

複製連結

取消

熱門精選

職涯學習課程專文推薦

關注

104學習精靈

產品

6小時前

【AI課程推薦】從零到上榜：最值得投資的 iPAS AI 應用規劃師課程

你是否正在為考取 iPAS AI 應用規劃師認證而努力？

不論你是職涯轉換的新鮮人、正在準備升遷的在職人士，或是想提升 AI 導入與數位優化能力的專業工作者，這門由 104學習精靈所推出的「iPAS AI 應用規劃師｜速攻考點 × 模擬實戰 × GPT刷題一次通過」課程是極佳起點。

為什麼值得投資這門課？

⚡內容精準、高效導向：課程透過考照重點整理、模擬題實戰與 GPT 工具輔助刷題的方式，清楚聚焦於考試所需的思維與答題方式，讓你在最短時間內掌握題型邏輯與解題技巧。

⚡彈性又實用的學習模式：全課程提供線上觀看（不限次數），長達 1 小時 17 分鐘，你可以依自己的時間彈性安排學習節奏，也方便重複觀看複習，有效提升吸收率。

⚡課程價格親民、折扣誘人。

⚡幫助履歷加分：可在履歷或社群形象中展現你的學習力與 AI 導入技能。

適合對象：

🟢準備挑戰 iPAS AI 應用規劃師認證的考生：無論是初試啼聲還是想一次通過，本課程包羅必考精華與應試策略。

🟢需要快速掌握 AI 應用與規劃技能的職場人：這門課提供即戰力的工具與思維模式，有助於你在工作中靈活應用 AI。

🟢時間有限但期待高效學習者：短時長卻切中重點的課程設計，符合繁忙生活中仍希望進修成長的需求。

推薦學習策略：

🔥明確目標設定：在觀看課程前，先了解 iPAS AI 應用規劃師的考試結構與題型，設定明確的通過目標，協助你更專注於課程內容。

🔥循序成長、反覆鞏固：第一次著重於整體了解，第二次重點推敲難題與 GPT 解題技巧，讓學習更立體且記憶更深刻。

🔥實戰模擬 + 筆記整理：利用課程中的模擬實戰，加速答案邏輯的形成；同時整理筆記、歸納錯誤或重點，打造個人考前複習攻略。

🔥結合履歷，展現實力：完課後將「iPAS AI 應用規劃師完訓證明」或重點學習心得融入履歷或社群平台，提升曝光與職場競爭力。

如果你正在積極準備 iPAS AI 應用規劃師認證，或希望強化在 AI 領域的實務應用能力，這堂課無疑是你的最佳選擇之一。趕緊把握早鳥價，用高效策略搭配實戰演練，讓 GPT 成為你的刷題小幫手，助你一次通過、掌握職涯新門路！

【課程優惠】2025年9/30前享49折券現折!!

看更多

user266414.pse.is

iPAS AI應用規劃師｜速攻考點 × 模擬實戰 × GPT刷題一次通過｜104獨家線上課－iPAS課程│104課程中心

1 0 281 0

拍手

留言

分享到：

Line

Facebook

複製連結

取消

學習精靈

03/19 00:00

bubble727.pixnet.net

[Windows]Terminal Server port 遠端桌面改Port方法 @ IT資訊-實驗室[MIS LAB ] :: 痞客邦 ::

9 0

Mike的Python學院

關注

Mike Ku

Learn Code With Mike品牌創辦人

2021/12/29

實用的Scrapy框架安裝指南，開始你的第一個專案

繼[Scrapy教學1]快速入門Scrapy框架的5個執行模組及架構( https://www.learncodewithmike.com/2020/12/python-scrapy-architecture.html )文章，瞭解Scrapy框架的5個主要模組相互之間的關係與執行流程後，本文將帶大家在Windows環境中，安裝Scrapy框架，並且提示可能會遇到的錯誤該如何解決，最後，建立屬於您的第一個Scrapy專案，來一窺其中的檔案結構。

Q:如何安裝Scrapy框架?

首先，Scrapy框架的安裝方式，就像安裝Python的套件(Package)一樣，透過以下的指令即可進行安裝：

$ pip install scrapy

而要確認Scrapy框架是否有安裝成功，可以先在命令提示字元視窗中輸入scrapy指令，其中有一個「bench」指令，用來快速執行Scrapy框架的基準測試，如下：

$ scrapy bench

執行後如果沒有顯示錯誤訊息，代表安裝成功。

Q:如何建立Scrapy專案?

Scrapy框架安裝完成後，接下來，就可以建立Scrapy專案來開發網頁爬蟲。本文以新聞網頁爬蟲專案為例，在桌面先建立一個「news_scraper」資料夾，接著，開啟Visual Studio Code，打開「news_scraper」資料夾，在Terminal視窗中即可利用以下的指令來建立Scrapy專案：

$ scrapy startproject 你的專案名稱 .

以上指令的「.」意思是在目前的目錄下，建立Scrapy專案。而執行結果則是告訴我們專案建立成功，並且引導如何開發第一個Python網頁爬蟲。

Q:Scrapy專案結構是什麼?

這時候，可以在「news_scraper」資料夾中看到Scrapy專案的檔案結構：

1. spiders資料夾：用來存放Python網頁爬蟲程式碼的地方。

2. items.py：定義想要爬取或儲存的資料欄位。

3. middlewares.py：定義「spiders與引擎(ENGINE)中間件」及「引擎(ENGINE)與下載器(DOWNLOADER)中間件」。

4. pipelines.py：定義items資料的後續處理，像是清理、儲存至資料庫或檔案等。

5. settings.py：Scrapy專案設定檔。

6. scrapy.cfg：Scrapy專案部署設定檔。

經過本文的說明，相信大家都能夠將Scrapy框架安裝起來，另外，透過建立Scrapy專案的方式，來瞭解其中各個檔案所負責的工作，將有助於未來在開發的過程中，能夠得心應手，希望對於想學習Scrapy框架的讀者有所幫助。

如果想要學習更多的Python應用教學，歡迎前往Learn Code With Mike( https://www.learncodewithmike.com/2020/12/scrapy-installation.html )網站觀看更多精彩內容。