什麼!? n8n也能做爬蟲,使用cheerio在n8n裡做爬蟲

什麼!? n8n也能做爬蟲,使用cheerio在n8n裡做爬蟲

用 js 做爬蟲,應該沒人不認識 cheerio 吧。

原來 cheerio 還能在 n8n 裡面跑

今天說的不是自己開發節點,如果你想知道如何開發節點,可以去看我相關文章。

https://www.mason-tang.com/n8n%e7%94%a8%e5%ae%a2%e8%a3%bd%e7%af%80%e9%bb%9e%ef%bc%8c%e8%87%aa%e5%8b%95%e5%9f%b7%e8%a1%8c%e5%8d%80%e5%a1%8a%e9%8f%88%e8%bd%89%e8%b3%ac/
https://www.mason-tang.com/%e4%b8%8a%e5%82%b3%e5%a5%97%e4%bb%b6%e5%88%b0-npm-%e5%80%89%e5%ba%ab/

那麼要使用什麼爬蟲?當然是 Code 節點。

就這麼簡單嗎?可以直接使用?

如果你直接在 Code 的裡使用 require

如果你直接使用 cheerio 你只會發現找不到這個 module。

那要怎麼使用呢?

設定環境變數

如果你要在 Code 裡使用 require 必須使用 NODE_FUNCTION_ALLOW_EXTERNAL

export NODE_FUNCTION_ALLOW_EXTERNAL='cheerio'

如果你還想使用更多函數庫,就在裡面用半形逗號隔開。

這樣就能在 Code 節點裡使用 cheerio 製作爬蟲了。

發現不能使用其他函數庫?

目前你能無痛直接使用的函數庫,可以參考 n8n github 的 npm 安裝檔案

https://github.com/n8n-io/n8n/blob/master/pnpm-lock.yaml

裡面是你能在 n8n 中,設置 NODE_FUNCTION_ALLOW_EXTERNAL 就能 require 的函數庫。

但要是不在裡面的函數庫呢?

你需要在 n8n 的安裝目錄下 npm install {your_library} 來安裝。
你可以在 /usr/local/lib/node_modules/n8n 找到 n8n 安裝目錄。

安裝完畢後在 NODE_FUNCTION_ALLOW_EXTERNAL 後面增加你要的函數庫名稱就可以了。

如何使用 Node.js 內建函數庫?

要使用內建函數庫,與 NODE_FUNCTION_ALLOW_EXTERNAL 不同,NODE_FUNCTION_ALLOW_EXTERNAL 是給外部函數庫使用的。

如果要使用 Node.js 內建的函數庫,像是 fs 讀寫檔案。要使用 NODE_FUNCTION_ALLOW_BUILTIN

export NODE_FUNCTION_ALLOW_BUILTIN="fs"

你也可以 * 乾脆內建函數庫全部都可以使用。

NODE_FUNCTION_ALLOW_BUILTIN="*"

工商時間

如果你有使用自動化的需要

歡迎透過 Facebook, IG, Threads 聯絡我:

Facebook: https://www.facebook.com/mason276752

IG, Threads: @mason276752

Read more

n8n怎麼做防抖debounce?

n8n怎麼做防抖debounce?

防抖 debounce, 是程式設計重要的概念之一。 用意是短時間有多個訊息進來,只處理一次。 處理哪一次呢?只處理最後一次。 就比如,有人點擊習慣什麼都按兩下, 你就要每次都處理兩次嗎? 又比如,你做 Line 機器人。講一句回一句。 那如果使用者一次傳好幾句呢? 像是打錯字,習慣的修正,再送一次。或是使用者分段講完。 你要跑一次一起處理,還是跑多次? 現在你知道使用情境了,那在 n8n 怎麼做呢? 就比如 Line 訊息好了,你其實可以把Webhook 來的訊息存到 db 裡。 另外做一個 短時間(ex:10s) 就跑一次的 schedule, 去檢查新訊息,並休息一下(ex:5s)。再檢查新訊息。 如果兩次新訊息,筆數都一樣,就表示沒有新訊息進來了。就可以開始處理。 最後再把新訊息標記成舊訊息。 讓

By Mason Tang
n8n 主從架構,解放n8n效能,進行更多任務

n8n 主從架構,解放n8n效能,進行更多任務

n8n 有提供主從架構,讓多個 n8n 程式一起為你工作。 他們會懂得調派任務。 比如你把任務給主管,主管收到任務,就會把任務分配給底下的員工。而你身為老闆的你,只要面對主管。 這主管就是 Master, 員工就是 Slave (奴隸,真貼切) 透過多個程式,讓效率大幅提高。同時間能進行的任務更多。 那實際怎麼做呢? 設定 N8N_ENCRYPTION_KEY 這是用來加密資料庫資料的密鑰,在原本單一 n8n ,不是那麼需要,啟動時就會幫你建立。 會存在 .n8n/config 中,長得就像這樣 { "encryptionKey": "cjw5GKuWL6eoqaC0MOnHdBNWOfxAzXsn" } 今天你要跑多個 n8n ,每個 n8n 都要讀資料庫,那些加密的資料就需要同樣的 encryptionKey 才能讀取。 所以需要直接在環境變數中直接設定

By Mason Tang
n8n 做個計數器,保存變數到下一次執行

n8n 做個計數器,保存變數到下一次執行

n8n 可能有人會好奇,怎麼做計數器,例如一天只能使用 200次。 但是 Node 裡,似乎沒看到這功能。 但其實這功能就藏在 Code 裡 獲取靜態資料 其實這功能就藏在 $getWorkflowStaticData 使用這個函數,拿到的物件,其實是能持久化的,即使 n8n 關掉再開,資料也還在。 整個 n8n 共用這變數 使用 $getWorkflowStaticData('global') 這邊可以看到,這個 count 已經被使用 9 次了,並且在其他 Code 也可以獲得這個 count 單一 Node 使用,不能跨 Node 使用 使用 $getWorkflowStaticData('node&

By Mason Tang
n8n 教學,匯出/匯入所有憑證,輕鬆搞定 n8n 搬家

n8n 教學,匯出/匯入所有憑證,輕鬆搞定 n8n 搬家

上次介紹了如何在 Zeabur, Docker, Node.js 部署自動化工具 n8n。 n8n教學-搭建自動化工具 n8n 的三個方案近幾年隨著 AI 發展,AI Agent 和自動化也成為企業轉型和提升效率的重要工具。這些技術不僅能夠處理大量的數據分析,還能自動完成重複性高、耗時的任務,讓員工能夠專注於更具創造性和戰略性的工作。 今天就教你,搭建自動化工具 n8n 的三個方案。 三種搭建n8n的方案 1. 使用 Zeabur 的 Saas 服務 2. 使用 Docker 部署在自家機器上 3. 使用 Node.js 直接啟動在自家機器上 使用 Zeabur 的 Saas 服務 這我也是看雷蒙才知道有 Zeabur 這平台,的確是新手很適合的入門。也推薦給大家使用 優點:

By Mason Tang