Amazon S3 集成

Amazon S3 集成功能說明 透過 Amazon S3 集成功能，您可以將 Web Scraper 擷取任務的結果自動上傳至指定的 S3 儲存桶，便於資料備份、共享或後續處理分析。

集成配置：

1. 集成功能名稱 為該整合任務自訂一個名稱，方便您在後續管理和辨識。建議根據用途或擷取對象命名，例如「產品評論結果上傳至 S3」。

2. 事件類型設定 您可以根據需求選擇以下兩種方式之一來觸發數據傳送：

  指定任務 ID   適用於將已知的特定擷取任務結果傳送到 S3。   適合處理一個擷取工具的多個任務 ID 結果。   多個任務 ID 請使用英文逗號分隔。   最多支援 10 個任務 ID。

  跟隨任務   自動將該擷取工具後續產生的所有結果上傳至 S3。   一次設定，持續生效，除非手動關閉或刪除該整合任務。   更適合持續性擷取或週期性任務的自動化資料歸檔。

1. Amazon S3 參數設定 設定以下信息來完成資料上傳設定：

bucketName，目標儲存桶名稱（必填）

目標 Amazon S3 儲存桶的名稱。

targetPath，目標路徑（可選）

Amazon S3 的目標位置。

fileName，檔案名稱（可選）

對象在儲存桶中的名稱，預設為您的任務 ID。

訪問金鑰憑證

awsAccessKey，AWS 訪問金鑰（必填） 用於授權上傳的 AWS 訪問金鑰 ID。您可以從 AWS 控制台 -> IAM -> 使用者 -> 建立使用者/選擇現有使用者 -> 安全憑證 -> 訪問金鑰 取得。其作用類似使用者名稱。

awsSecretKey，AWS 密鑰（必填） 您的 AWS 秘密訪問密鑰用於授權上傳。您可以從 AWS 控制台 -> IAM -> 使用者 -> 建立使用者/選擇現有使用者 -> 安全憑證 -> 訪問金鑰 -> 建立訪問金鑰取得該密鑰。建立訪問金鑰後，該秘密訪問密鑰僅顯示一次。其作用類似密碼。

角色令牌憑證

roleArn，角色（必填） RoleArn 是 AWS 中用於角色（Role）授權和切換身份的重要參數。

externalId，外部 ID（必填） ExternalId 是 AWS 中用於提升跨帳戶訪問安全性的一個參數，主要用於第三方服務訪問您帳戶中資源的場景。它與 RoleArn 一起使用。

fileFormat，檔案格式（必填）

Amazon 產品的結果可以選擇 JSON 格式或者 CSV 格式傳送。YouTube 產品的結果只能使用檔案格式進行傳送。 參數值：JSON CSV 下載鏈接

查看傳輸的檔案： 如果您的的集成任務狀態顯示為「成功」，您就可以前往您的 Amazon S3 帳戶中查看。 或者您可以直接透過鏈接訪問： https://s3.us-east-2.amazonaws.com/downloaddirectory/您填寫的目標路徑/檔案名稱

例如：您目標路徑填寫的 path/to，文件名稱填寫的 123，傳輸的文件格式是 json。 您的訪問鏈接就是： https://s3.us-east-2.amazonaws.com/downloaddirectory/path/to/123.json

如果您需要更多協助，請透過電子郵件 [email protected] 聯繫我們。