Webhook 集成

Webhook 集成功能说明

通过 Webhook 集成功能，您可以在 Thordata Web Scraper 抓取任务发生特定事件时，自动向指定系统发送通知，实时掌握任务状态或将数据推送到其他服务中。Webhook 支持动态注入数据，便于后续自动化处理或业务联动。

集成配置：

1. 集成功能名称

用于识别和管理该 Webhook 配置。建议自定义一个清晰易懂的名称，方便后续查看和维护。

---

2. 事件类型

您可以为以下任务事件设置触发通知：

• 运行中：任务正在执行中

• 任务成功：抓取任务已成功完成，并返回结果

• 任务失败：抓取任务未返回任何数据或发生错误

---

3. 发送通知的方式

当选定事件发生时，系统将向您设置的 URL 发送一条 HTTP POST 请求，请求体为 JSON 格式，内容可以自定义，并通过变量动态注入事件数据。

① 有效负载（Payload）

格式说明：Payload 模板必须是合法的 JSON 字符串，并可使用双花括号 {{ }} 引用变量，例如：

{
  "userId": "{{userId}}",
  "eventType": "{{eventType}}",
  "createdAt": "{{createdAt}}",
  "eventData": "{{eventData}}",
  "resource": "{{resource}}"
}

② 可用变量列表：

变量名	类型	说明
userId	string	触发事件的 Thordata 用户 ID
createdAt	string	Webhook 触发时间（ISO 格式）
eventType	string	当前触发的事件类型
eventData	Object	与该事件相关的上下文数据
resource	Object	事件资源的详细数据（如文件链接等）
globals	Object	当前事件日期（ISO 8601 格式）

③ 示例：

{
  "userId": 3406,
  "userName": "Thor84******",
  "createdAt": "2025-06-07T06:33:14Z",
  "eventType": "ACTOR.RUN.SUCCEEDED",
  "eventData": {
    "prodect_id": "3",
    "apiRunId": "2e9ddee0582a********************"
  },
  "resource": {
    "taskId": "2e9ddee0582a********************",
    "url": "{\"spider_errors\":true,\"spider_id\":\"3\",\"spider_parameters\":[{\"url\":\"https://www.amazon.com/dp/B0DPMHRZ1W?th=1\\u0026psc=1\"}]}",
    "apiKey": "289f5c53e47d616********************",
    "apiUrl": "",
    "apiCode": 400,
    "apiResponseTime": 28000,
    "apiErrorMsg": "",
    "apiResult": "",
    "errorNumber": 1,
    "successRate": 0,
    "runseconds": 12340,
    "detail": "Completed! 26 requests in total: 26 successful, 0 failed",
    "flow": 1765,
    "fileSize": 1765,
    "type": 0,
    "csvUrl": "https://th-scrapers-1303252866.cos.na-siliconvalley.myqcloud.com/scrapers/thordata/2025/06/07/2e9ddee0582a40a9****************.csv",
    "jsonUrl": "https://th-scrapers-1303252866.cos.na-siliconvalley.myqcloud.com/scrapers/thordata/2025/06/07/2e9ddee0582a40a9****************.json",
    "audioUrl": "",
    "videoUrl": "",
    "subtitleUrl": "",
    "createdAt": "2025-06-07T14:33:14+08:00",
    "finishedAt": "2025-06-07T14:33:44+08:00"
  }
}

对应字段说明：

字段名	含义说明
userId	用户 ID
userName	用户账户名
createdAt	创建时间
eventType	状态：成功/失败
eventData	事件的相关数据
prodect_id	产品唯一编号
apiRunId	API 任务 ID
resource	资源
taskId	任务 ID
url	抓取参数
apiKey	抓取用的 Token
apiUrl	爬虫 API 请求 URL
apiCode	爬虫 API 返回状态
apiResponseTime	API 响应耗时
apiErrorMsg	API 错误信息
apiResult	API 返回结果
errorNumber	错误次数
successRate	成功率
runseconds	运行秒数
detail	运行细节
flow	消耗流量
fileSize	文件大小
type	抓取类型
csvUrl	CSV 下载链接
jsonUrl	JSON 下载链接
audioUrl	音频下载链接
videoUrl	视频下载链接
subtitleUrl	字幕下载链接
finishedAt	抓取结束时间

---

4. Headers 模板（可选）

headers 模板是一个类似 JSON 的字符串，您可以在其中向 webhook 请求的默认 header 添加附加信息。您可以像在有效负载模板中一样传递变量（包括使用字符串插值和可用变量）。生成的 headers 必须是有效的json对象，并且值只能是字符串。 请注意，以下键是硬编码的，并且将始终被重写：

可用变量：

Host：请求

URL Content-Type：application/json

Webhook： Tasks 值

Webhook-Dispatch-Id： Tasks id

Request-Origin

---

如果您需要更多帮助，请通过邮箱[email protected]联系我们。