104學習

Terminal server

Terminal server
關注
邀請朋友
邀請朋友

Line

Facebook

複製連結

取消
這項技能主要指能管理和操作多用戶同時遠端連線的伺服器環境,確保系統穩定運作及資源有效分配。具備此技能的人能設定使用者權限、優化連線效能,並排除連線問題,提高團隊協作效率。對於IT管理、遠端支援及企業內部系統維護非常重要,有助於提升整體工作流程的順暢與安全性。
關於教室
關注人數 0 人
104人力銀行從職缺中挑選出常見技能所成立的官方教室,提供大家進行共學互動。
學習主持人
持續分享知識,
有機會成為官方教室主持人
教室標籤
關於教室
關注人數 0 人
104人力銀行從職缺中挑選出常見技能所成立的官方教室,提供大家進行共學互動。
學習主持人
持續分享知識,
有機會成為官方教室主持人
教室標籤
Hi~ 歡迎分享學習資源,有學習問題可匿名向Giver發問!
我要分享
我要提問

Terminal server 學習推薦

Mike Ku

Learn Code With Mike品牌創辦人

2021/12/29

學會使用3個Scrapy網頁爬蟲偵錯技巧提升開發效率
Q:Scrapy Shell(互動介面)是什麼?
Scrapy Shell是一個互動式的終端(Terminal)介面,讓開發人員可以不需要等到整個Scrapy專案完成就能夠進行測試,主要是用來測試Scrapy框架使用css()或xpath()方法(Method)爬取資料的結果。
舉例來說,用Visual Studio Code開啟Scrapy專案,在終端介面(Terminal)的地方,利用以下的指令開啟Scrapy Shell:
如果想要確認回應的結果,可以使用以下的Scrapy Shell指令:
>>>view(response)
True
除此之外,假設要爬取其中的新聞標題,就可以在Scrapy Shell的互動式介面中,透過指令的方式,使用css()或xpath()方法(Method)來測試是否能夠爬取成功,如下範例:
>>> response.css("h3.post_title a.js-auto_break_title::text").get()
'Appier 將於東京交易所掛牌,市值估突破 10 億美元'
Q:Scrapy Logging(日誌)如何使用?
Scrapy網頁爬蟲另一個最常用來偵錯的方法就是Logging(日誌),依據重要的程度分為五種日誌類型,由高到低為:critical、error、warning、info、debug,由於Scrapy框架的網頁爬蟲類別(spiders)本身就已經有logger物件,所以無需引用就可以在網頁爬蟲中使用,如下範例:
class HotNewsSpider(scrapy.Spider):
name = 'hot_news'
allowed_domains = ['www.inside.com.tw']
def parse(self, response):
# 熱門文章標題
hot_news_title = response.xpath(
"//h1[@class='title']/text()").get()
if hot_news_title:
return hot_news_title
else:
self.logger.error("沒有爬取到熱門文章標題")
接下來,開啟Scrapy專案的settings.py檔案,加入以下設定,如下範例:
LOG_FILE = "inside_log.txt"
LOG_LEVEL = "ERROR" #特別注意這邊一定要大寫
其中「LOG_LEVEL(日誌層級)」可以自訂在哪一個日誌類型以上需要被記錄到日誌檔中,預設為DEBUG。
而Scrapy網頁爬蟲(spiders)模組以外,如果想要使用Logging(日誌),就需要引用logging模組(Module),以ITEM PIPELINE資料模型管道(pipelines.py)為例,如下範例:
from itemadapter import ItemAdapter
from scrapy.exporters import CsvItemExporter
import logging
class CsvPipeline:
def __init__(self):
self.file = open('posts.csv', 'wb')
self.exporter = CsvItemExporter(self.file, encoding='big5')
self.exporter.start_exporting()
def process_item(self, item, spider):
if item:
self.exporter.export_item(item)
return item
else:
logging.error("無資料匯出!")
...
如果想要學習更多的Python應用教學,歡迎前往Learn Code With Mike(https://www.learncodewithmike.com/2021/03/scrapy-spiders-debug.html
)網站觀看更多精彩內容。
看更多
2 0 1282 0
Mike Ku

Learn Code With Mike品牌創辦人

2021/12/29

實用的Scrapy框架安裝指南,開始你的第一個專案
繼[Scrapy教學1]快速入門Scrapy框架的5個執行模組及架構( https://www.learncodewithmike.com/2020/12/python-scrapy-architecture.html )文章,瞭解Scrapy框架的5個主要模組相互之間的關係與執行流程後,本文將帶大家在Windows環境中,安裝Scrapy框架,並且提示可能會遇到的錯誤該如何解決,最後,建立屬於您的第一個Scrapy專案,來一窺其中的檔案結構。
Q:如何安裝Scrapy框架?
首先,Scrapy框架的安裝方式,就像安裝Python的套件(Package)一樣,透過以下的指令即可進行安裝:
$ pip install scrapy
而要確認Scrapy框架是否有安裝成功,可以先在命令提示字元視窗中輸入scrapy指令,其中有一個「bench」指令,用來快速執行Scrapy框架的基準測試,如下:
$ scrapy bench
執行後如果沒有顯示錯誤訊息,代表安裝成功。
Q:如何建立Scrapy專案?
Scrapy框架安裝完成後,接下來,就可以建立Scrapy專案來開發網頁爬蟲。本文以新聞網頁爬蟲專案為例,在桌面先建立一個「news_scraper」資料夾,接著,開啟Visual Studio Code,打開「news_scraper」資料夾,在Terminal視窗中即可利用以下的指令來建立Scrapy專案:
$ scrapy startproject 你的專案名稱 .
以上指令的「.」意思是在目前的目錄下,建立Scrapy專案。而執行結果則是告訴我們專案建立成功,並且引導如何開發第一個Python網頁爬蟲。
Q:Scrapy專案結構是什麼?
這時候,可以在「news_scraper」資料夾中看到Scrapy專案的檔案結構:
1. spiders資料夾:用來存放Python網頁爬蟲程式碼的地方。
2. items.py:定義想要爬取或儲存的資料欄位。
3. middlewares.py:定義「spiders與引擎(ENGINE)中間件」及「引擎(ENGINE)與下載器(DOWNLOADER)中間件」。
4. pipelines.py:定義items資料的後續處理,像是清理、儲存至資料庫或檔案等。
5. settings.py:Scrapy專案設定檔。
6. scrapy.cfg:Scrapy專案部署設定檔。
經過本文的說明,相信大家都能夠將Scrapy框架安裝起來,另外,透過建立Scrapy專案的方式,來瞭解其中各個檔案所負責的工作,將有助於未來在開發的過程中,能夠得心應手,希望對於想學習Scrapy框架的讀者有所幫助。
如果想要學習更多的Python應用教學,歡迎前往Learn Code With Mike( https://www.learncodewithmike.com/2020/12/scrapy-installation.html )網站觀看更多精彩內容。
看更多
3 0 819 2

熱門精選

104學習

產品

23小時前

2026 年 Prompting 怎麼學?AI大神吳恩達推出免費新課給一般人的 AI 使用指南
AI 工具越來越強,提示詞也不再只是「請幫我寫一段文案」這麼簡單。AI 教育者吳恩達(Andrew Ng)近期推出新課程《AI Prompting for Everyone》,主打不需要技術背景,幫助一般使用者學會更有效地使用 ChatGPT、Claude、Gemini 等 AI 工具。DeepLearning.AI 課程頁顯示,這是一門初學者課程,共 3 小時 4 分鐘、21 堂影片課,由吳恩達授課。官方學習頁也標示可免費開始學習、觀看課程影片;若需要 graded assignments 與證書,則屬於 PRO 方案。
吳恩達是誰?為什麼他的新課值得關注?
吳恩達是全球知名的 AI 教育者與機器學習專家。他是 DeepLearning.AI 創辦人、Coursera 共同創辦人,也曾擔任百度首席科學家,並曾創辦與領導 Google Brain 專案,目前也是史丹佛大學兼任教授。
對非工程背景的上班族來說,吳恩達最重要的影響,是他長期把 AI 知識轉化成大眾可以理解、可以上手的學習內容。從早期的機器學習課程,到《AI For Everyone》,再到這次的《AI Prompting for Everyone》,他的課程常被視為 AI 學習趨勢的風向球。
這門課在教什麼?不是背 Prompt,而是學會和 AI 協作
《AI Prompting for Everyone》的核心,不只是教你寫出更漂亮的提示詞,而是教你在不同工作情境中,如何讓 AI 產出更可靠、更有用的結果。官方課程頁將學習重點分成三大方向:找資訊、腦力激盪與寫作、創作與建構。
第一個重點是 Finding Information,也就是用 AI 找資料。課程會說明 AI 模型本身已經知道什麼、什麼時候應該使用 AI 網路搜尋、什麼情境適合使用 deep research mode,以及如何取得更準確、有來源的回答。
這對上班族非常實用。無論是做市場資料整理、競品分析、產業趨勢觀察,或準備會議前的背景研究,AI 不只是回答問題的工具,更可以協助快速建立資料架構。但前提是使用者要懂得要求來源、設定範圍,也要知道哪些資訊需要再查證。
第二個重點是 AI as a Thought Partner,也就是把 AI 當成思考夥伴。課程會教使用者如何提供正確上下文,讓 AI 理解真正需求;也會談到如何讓 AI 提供誠實回饋,而不是只迎合使用者。官方課綱中也列出 brainstorming、context、reasoning、sycophancy、writing with AI、AI critique 等單元。
這代表未來職場的 AI 能力,不只是「會叫 AI 寫東西」,而是能不能請 AI 幫忙檢查盲點、提出反方觀點、改善表達方式,甚至協助自己做更完整的決策思考。
第三個重點是 Working with Multimedia and Code。課程會介紹如何在提示中使用圖片、讓 AI 理解圖片、生成視覺內容,並使用 AI 建立簡單遊戲、網站與 App;官方也特別說明,這部分不需要程式經驗。
這也反映 AI 工具的使用場景正在擴大。過去上班族多半把 AI 用在寫信、摘要、翻譯、整理資料;但未來,AI 也可能協助做簡報素材、產出視覺概念、分析資料,甚至建立可展示的簡易 prototype。
誰適合上這門課?
官方課程頁指出,這門課適合任何在日常工作或生活中使用 ChatGPT、Claude、Gemini 等 AI 工具,並希望獲得更好結果的人,不需要技術背景,也沒有必修前置課程。
換句話說,這門課很適合以下幾類上班族:經常需要查資料的企劃、行銷、編輯、研究人員;需要寫報告、簡報、Email 的一般辦公室工作者;想把 AI 帶進工作流程的主管;以及想開始學 AI、但不想一開始就碰程式的人。
對職場工作者的啟示:提示力已經變成基本功
這門課最值得注意的訊號是:AI 提示力正在從「技巧」變成「基本工作能力」。
過去,很多人學 AI 會先找提示詞模板,例如「請扮演某某角色」、「請一步一步思考」、「請用表格整理」。這些技巧仍然有用,但已經不夠。真正會用 AI 的人,還要知道如何提供背景資料、設定輸出格式、要求資料來源、讓 AI 挑戰自己的想法,並判斷哪些內容可以採用、哪些內容必須查證。
也就是說,未來職場上的 AI 能力,不是誰背了最多 prompt,而是誰更會設計任務、拆解問題、提供上下文,並把 AI 產出整合成真正能交付的工作成果。
有興趣的讀者可至 DeepLearning.AI 官方課程頁開始學習:《AI Prompting for Everyone》。
課程影片可免費開始觀看;若想取得作業評分與證書,需留意官方 PRO 方案說明。
DeepLearning.AI《AI Prompting for Everyone》
看更多
1 0 961 1
你可能感興趣的教室