配置

了解如何使用 Thordata 的 Universal Scraping API 获取您的第一段爬取内容。

导航至“ 通用抓取 配置”

1、抓取配置

您可以通过页面右侧的相关参数进行配置您想要抓取的内容，包括：URL、请求方式、输出格式、JS渲染、阻止网站资源加载、代理。

点击此处了解更多关于 通用抓取 参数的说明。

2、将示例集成到您的代码库中

当所有参数项均配置完成后，您就可以将右侧生成的代码示例集成到您的代码库中进行使用了。

以 https://www.google.com/ 的數據抓取為例。請不要忘記將"token"替換為您的「API Token」。

curl --request POST --url 
https://universalapi.thordata.com/request --header 
"Authorization: Bearer xxxxxxxxxxxxxxxxxxxxxx"   --header 
"content-type: application/json" --data "
{"url":"https://www.google.com", 
"type":"html","js_render":"True"}"

如果您需要更多帮助，请通过邮箱[email protected]联系我们。