参数说明
瞭解 Thordata 的 Universal Scraping API - 抓取參數。
Token: 該參數定義了爬取時使用的 API 令牌。對於您的成功爬取起到決定性作用。
參數
名稱
作用
token
Token
爬取時驗證的 API 令牌
URL: 該參數定義了爬取的目的網站連結,預設值為 google.com。您也可以更改為其他搜尋引擎連結。
參數
名稱
作用
url
URL
爬取的目的網站的連結
輸出格式: 該參數定義了抓取結果的輸出格式。可選擇HTML和PNG格式,預設為HTML。
參數
名稱
作用
參數值
format
輸出格式
定義爬取結果的輸出格式
format=HTML format=PNG
JS渲染: JS渲染能夠處理動態載入的內容和單頁應用(SPA),支援更互動複雜的頁面和渲染需求,建議您開啟。
參數
名稱
作用
參數值
js_render
JS渲染
定義是否獲取JS渲染的網頁內容
js_render=True js_render=False
阻止網站資源載入: 該參數可限制不必要的資源抓取,從而加快抓取速度。
參數
名稱
作用
參數值
block_resources
阻止網站資源載入
定義是否獲取一些不必要資源,可多選
block_resources=圖片 block_resources=Javascript腳本
國家: 該參數定義了爬取時的代理使用哪個國家/地區,預設值無代理國家。
參數
名稱
作用
參數值
country
國家/地區
指定爬取時使用的代理國家/地區
country=隨機 country=任意國家代碼
Last updated
Was this helpful?