Snowflake 集成

Snowflake 集成功能說明

通過 Snowflake 集成功能，您可以將 Web Scraper 抓取任務的結果自動上傳至指定的系統中，便於資料備份、共享或後續處理分析。

集成配置：

1. 集成功能名稱 為該集成任務自訂一個名稱，方便您在後續管理和識別。建議根據用途或抓取對象命名，例如「產品評論結果上傳至 Snowflake」。

2. 事件類型設置 您可以根據需求選擇以下兩種方式之一來觸發資料發送：

• 指定任務 ID 適用於將已知的特定抓取任務結果發送到 S3。 適合處理一個抓取工具的多個任務 ID 結果。 多個任務 ID 請使用英文逗號分隔。 最多支援 10 個任務 ID。

• 跟隨任務 自動將該抓取工具後續產生的所有結果上傳至 S3。 一次配置，持續生效，除非手動關閉或刪除該集成任務。 更適合持續性抓取或週期性任務的自動化資料歸檔。

1. Amazon S3 參數配置 配置以下信息來完成資料上傳設定：

account_identifier，账户标识符（必填）

通常格式為 <account_name>.<region_id> 或 <org_name>-<account_name>，用於標識唯一的 Snowflake 實例。

database，数据库（必填）

目標資料庫的名稱，是資料存儲和查詢的邏輯容器。

role，角色（必填）

用戶在 Snowflake 中的訪問角色名稱，用於決定權限範圍。

user，用户（必填）

登入 Snowflake 的使用者名稱。

pwd，密码（必填）

用戶的密碼，用於身份驗證。

schema，架構（必填）

資料庫中的結構化命名空間，用於組織資料表、檢視等對象。

stage，階段（必填）

內部階段的名稱，是 Snowflake 用來暫存檔案的地方。

warehouse，倉庫（必填）

虛擬計算資源，用於執行 SQL 查詢和數據加載任務。

file_type，文件格式（必填）

Amazon 產品的結果可以選擇 JSON 格式或者 CSV 格式發送。YouTube 產品的結果只可使用文件格式進行發送。 參數值：JSON、CSV、下載鏈接

如果您需要更多幫助，請通過郵箱 [email protected] 聯絡我們。