Amazon S3 集成

Amazon S3 集成功能說明： 該功能是將指定 Web Scraper API 抓取任務結果發送至 Amazon S3 中。

集成功能名稱： 用於定義集成任務的名稱，為了方便您的管理，建議您自定義名稱。

事件類型： 您可以選擇指定任務 ID 進行發送，也可以直接選擇跟隨任務。 指定任務ID：根據任務ID進行發送抓取的結果，若有多個任務，請使用英式逗號“,”隔開，最多可輸入10個。可輸入相同產品的多個抓取 API 的抓取結果的任務ID。 跟隨任務：跟隨選擇的任務進行發送抓取的結果。集成創建成功後，該抓取工具後續的所有抓取結果均會發送，除非您將集成任務關閉或刪除。

發送 Amazon S3 參數：

1、存儲桶：

參數	名稱	說明
bucketName	目標存儲桶名稱	目標 Amazon S3 存儲桶名稱。
targetPath	目標路徑	Amazon S3 的目標位置
fileName	文件名稱	用於定義檔案名稱，預設以任務 ID 命名。若您命名後傳送多個檔案，系統將預設加上 -001、-002 等後綴。 例如：檔案名稱-001.json / 檔案名稱-002.json

2、身份驗證類型：

類型	參數	名稱	說明
訪問金鑰憑證	awsAccessKey	AWS 訪問金鑰	用於授權上傳的 AWS 訪問密鑰 ID。您可以從 AWS 控制台 -> IAM -> 用戶 -> 創建用戶/選擇現有用戶 -> 安全憑證 -> 訪問密鑰 獲取。作用類似用戶名。
訪問金鑰憑證	awsSecretKey	AWS金鑰	您的 AWS 秘密訪問密鑰用於授權上傳。您可以從 AWS 控制台 -> IAM -> 用戶 -> 創建用戶/選擇現有用戶 -> 安全憑證 -> 訪問密鑰 -> 創建訪問密鑰獲取該密鑰。創建訪問密鑰後，該秘密訪問密鑰僅顯示一次。作用類似密碼。

3、文件格式：

參數	名稱	說明
fileFormat	文件格式	Amazon 產品的結果可以選擇 JSON 格式或者 CSV 格式發送。YouTube 產品的結果只可使用壓縮包格式進行發送。

4、壓縮文件：

參數	名稱	說明
compressFiles	壓縮文件	選擇該選項時請確保您的終端節點支持壓縮數據。

5、批次大小：

參數	名稱	說明
batchSize	批次大小	批次大小用於決定一次發送多少條記錄。最小值為 1000。

查看傳輸的文件： 如果您集成任務的狀態顯示為「成功」，您就可以前往您的 Amazon S3 帳戶中查看。 或者您也可以直接透過下方鏈接進行訪問： https://s3.us-east-2.amazonaws.com/downloaddirectory/您填寫的目標路徑/檔案名稱

例如：您目標路徑填寫為 path/to，文件名稱為 123，傳輸的檔案格式是 json。 您的訪問鏈接就是： https://s3.us-east-2.amazonaws.com/downloaddirectory/path/to/123.json

如果您需要更多幫助，請通過郵箱 [e-mail] 聯繫我們。