参数说明

了解 Thordata 的 Universal Scraping API - 抓取参数。

Token：

该参数定义了爬取时使用的 API 令牌。对于您的成功爬取起到决定性作用。

参数	名称	作用
token	Token	爬取时验证的 API 令牌

URL：

该参数定义了爬取的目的网站链接，默认值为 google.com。您也可以更改为其他搜索引擎链接。

参数	名称	作用
url	URL	爬取的目的网站的链接

输出格式：

该参数定义了抓取结果的输出格式。可选择HTML和PNG格式，默认为HTML。

参数	名称	作用	参数值
format	输出格式	定义爬取结果的输出格式	format=HTML format=PNG

JS渲染：

JS渲染能够处理动态加载的内容和单页应用(SPA)，支持更交互复杂的页面和渲染需求，建议您开启。

参数	名称	作用	参数值
js_render	JS渲染	定义是否获取JS渲染的网页内容	js_render=True js_render=False

阻止网站资源加载：

该参数可限止不必要的资源抓取，从而加快抓取速度。

参数	名称	作用	参数值
block_resources	阻止网站资源加载	定义是否获取一些不必要资源，可多选	block_resources=图片 block_resources=Javascript脚本

国家：

该参数定义了爬取时的代理使用哪个国家/地区，默认值无代理国家/地区。

参数	名称	作用	参数值
country	国家/地区	指定爬取时使用的代理国家/地区	country=随机 country=任意国家代码