什麼!? n8n也能做爬蟲,使用cheerio在n8n裡做爬蟲

什麼!? n8n也能做爬蟲,使用cheerio在n8n裡做爬蟲

用 js 做爬蟲,應該沒人不認識 cheerio 吧。

原來 cheerio 還能在 n8n 裡面跑

今天說的不是自己開發節點,如果你想知道如何開發節點,可以去看我相關文章。

https://www.mason-tang.com/n8n%e7%94%a8%e5%ae%a2%e8%a3%bd%e7%af%80%e9%bb%9e%ef%bc%8c%e8%87%aa%e5%8b%95%e5%9f%b7%e8%a1%8c%e5%8d%80%e5%a1%8a%e9%8f%88%e8%bd%89%e8%b3%ac/
https://www.mason-tang.com/%e4%b8%8a%e5%82%b3%e5%a5%97%e4%bb%b6%e5%88%b0-npm-%e5%80%89%e5%ba%ab/

那麼要使用什麼爬蟲?當然是 Code 節點。

就這麼簡單嗎?可以直接使用?

如果你直接在 Code 的裡使用 require

如果你直接使用 cheerio 你只會發現找不到這個 module。

那要怎麼使用呢?

設定環境變數

如果你要在 Code 裡使用 require 必須使用 NODE_FUNCTION_ALLOW_EXTERNAL

export NODE_FUNCTION_ALLOW_EXTERNAL='cheerio'

如果你還想使用更多函數庫,就在裡面用半形逗號隔開。

這樣就能在 Code 節點裡使用 cheerio 製作爬蟲了。

發現不能使用其他函數庫?

目前你能無痛直接使用的函數庫,可以參考 n8n github 的 npm 安裝檔案

https://github.com/n8n-io/n8n/blob/master/pnpm-lock.yaml

裡面是你能在 n8n 中,設置 NODE_FUNCTION_ALLOW_EXTERNAL 就能 require 的函數庫。

但要是不在裡面的函數庫呢?

你需要在 n8n 的安裝目錄下 npm install {your_library} 來安裝。
你可以在 /usr/local/lib/node_modules/n8n 找到 n8n 安裝目錄。

安裝完畢後在 NODE_FUNCTION_ALLOW_EXTERNAL 後面增加你要的函數庫名稱就可以了。

如何使用 Node.js 內建函數庫?

要使用內建函數庫,與 NODE_FUNCTION_ALLOW_EXTERNAL 不同,NODE_FUNCTION_ALLOW_EXTERNAL 是給外部函數庫使用的。

如果要使用 Node.js 內建的函數庫,像是 fs 讀寫檔案。要使用 NODE_FUNCTION_ALLOW_BUILTIN

export NODE_FUNCTION_ALLOW_BUILTIN="fs"

你也可以 * 乾脆內建函數庫全部都可以使用。

NODE_FUNCTION_ALLOW_BUILTIN="*"

工商時間

如果你有使用自動化的需要

歡迎透過 Facebook, IG, Threads 聯絡我:

Facebook: https://www.facebook.com/mason276752

IG, Threads: @mason276752

Read more

2025 日本之旅

2025 日本之旅

這次 2025/10/4-12 的日本之旅 我的印象全停留在,卡啦OK多難睡,網咖多難找,還有300日圓可以洗澡12分鐘上。是沒這麼慘啦,但多災多難真的太有記憶點了。 但我很開心自己能完成 大阪 ⭢ 京都 ⭢ 東京 的自由行,從大阪關西機場到成田機場離開。對於一個人就第一次這樣走,很有挑戰。 這次要檢討的是,機場 ⭢ 旅館路線真的要先查好,尤其不要晚上去旅館,因為可能趕不上櫃檯關門時間。但最後事實證明,是我搞錯旅館位置,以為還以為我的旅館櫃檯關門了。但凡早點發現,就不用去找卡啦OK和網咖住。 再來是網咖過夜,一定要早點去找。包廂一定早早被包走。只能另外再找住宿地方。 最後是 Booking.com 實在太爛了。可能是我重複下單後,刪除其中一單的關係,把我另一個已經付款的旅館,當天取消!當天取消是要怎麼當天找到合適的旅館啦,整個住宿價格飆高。不得已,又要找網咖去住。 講完痛苦的部分,講講開心的部分。 這次看到漂亮的萬博大屋根,環形周長2公里。非常壯觀。

By Mason Tang
30歲心得

30歲心得

1. 不要介入別人的課題。避免別人負面情緒,影響到自己。 2. 累積專業,提高最低收入。也是向上層級的基本。 3. 覺察自己,調整自身態度、行為模式,成為更好的自己。 4. 揣測人性,保護自己同時創造共贏。 5. 練習不帶自己價值觀,聆聽別人說什麼,接受世界什麼人都有,可能別人的方式更好。 6. 練習接受現況,並持續思考下一步。 一切痛苦來源都是不接受。 7. 不帶目的,廣結善緣。持續做,不知道種子什麼時候會發芽,但回報是巨大的,會遠遠超越工作多年,足以改變人生。越早開始越好,才有足夠時間等到機會到來。 8. 學習理財, 10萬, 300萬, 1000萬,...,只用自己階段適合的理財方式。 * < 10 萬,拼命存錢,存緊急預備金,買足人身保險。避開無政府監管投資。 * <300

By Mason Tang
n8n怎麼做防抖debounce?

n8n怎麼做防抖debounce?

防抖 debounce, 是程式設計重要的概念之一。 用意是短時間有多個訊息進來,只處理一次。 處理哪一次呢?只處理最後一次。 就比如,有人點擊習慣什麼都按兩下, 你就要每次都處理兩次嗎? 又比如,你做 Line 機器人。講一句回一句。 那如果使用者一次傳好幾句呢? 像是打錯字,習慣的修正,再送一次。或是使用者分段講完。 你要跑一次一起處理,還是跑多次? 現在你知道使用情境了,那在 n8n 怎麼做呢? 就比如 Line 訊息好了,你其實可以把Webhook 來的訊息存到 db 裡。 另外做一個 短時間(ex:10s) 就跑一次的 schedule, 去檢查新訊息,並休息一下(ex:5s)。再檢查新訊息。 如果兩次新訊息,筆數都一樣,就表示沒有新訊息進來了。就可以開始處理。 最後再把新訊息標記成舊訊息。 讓

By Mason Tang