Google 抓取参数

Web Scraper API Google 抓取参数

使用 Thordata 的 Web Scraper API 配置 Google 抓取参数,包括URL、天数限制、关键词、CID、经度、纬度、商家ID、国家等参数。

唯一标识:

chevron-righttoken访问令牌(必填)hashtag

此参数用作 API 访问令牌,以确保抓取请求的合法性。

请求示例:

Authorization: Bearer ********************

curl -X POST "https://scraperapi.thordata.com/builder" ^
  -H "Authorization: Bearer ********************" ^
  -H "Content-Type: application/x-www-form-urlencoded" ^
  -d "spider_name=google.com" ^
  -d "spider_id=google_comment_by-url" ^
  -d "spider_parameters=[{\"url\": \"https://www.google.com/maps/place/Waterfront+Botanical+Gardens/@38.2630366,-85.7288454,15z/data=!4m8!3m7!1s0x8869731e16a7bdbd:0x2f5d238fefed7ca1!8m2!3d38.2632837!4d-85.7239738!9m1!1b1!16s%2Fg%2F11c709xzzx?hl=en%26entry=ttu\",\"days_limit\": \"10\"}]" ^
  -d "spider_errors=true" ^
  -d "file_name={{TasksID}}"

一、产品-抓取 Google 地图评论信息:

1. Google - 通过 URL 抓取地图评论信息

chevron-rightspider_id所属抓取工具(必填)hashtag

它定义了要使用的抓取工具。

请求示例:

spider_id=google_comment_by-url

curl -X POST "https://scraperapi.thordata.com/builder" ^
  -H "Authorization: Bearer Token-ID" ^
  -H "Content-Type: application/x-www-form-urlencoded" ^
  -d "spider_name=google.com" ^
  -d "spider_id=google_comment_by-url" ^
  -d "spider_parameters=[{\"url\": \"https://www.google.com/maps/place/Waterfront+Botanical+Gardens/@38.2630366,-85.7288454,15z/data=!4m8!3m7!1s0x8869731e16a7bdbd:0x2f5d238fefed7ca1!8m2!3d38.2632837!4d-85.7239738!9m1!1b1!16s%2Fg%2F11c709xzzx?hl=en%26entry=ttu\",\"days_limit\": \"10\"}]" ^
  -d "spider_errors=true" ^
  -d "file_name={{TasksID}}"
chevron-righturlURL(必填)hashtag

该参数用于指定待抓取的 Google 地图评论访问链接信息。

请求示例:

"url":"https://www.google.com/maps/place/Waterfront+Botanical+Gardens/@38.2630366,-85.7288454,15z/data=!4m8!3m7!1s0x8869731e16a7bdbd:0x2f5d238fefed7ca1!8m2!3d38.2632837!4d-85.7239738!9m1!1b1!16s%2Fg%2F11c709xzzx?hl=en%26entry=ttu"

curl -X POST "https://scraperapi.thordata.com/builder" ^
  -H "Authorization: Bearer Token-ID" ^
  -H "Content-Type: application/x-www-form-urlencoded" ^
  -d "spider_name=google.com" ^
  -d "spider_id=google_comment_by-url" ^
  -d "spider_parameters=[{\"url\": \"https://www.google.com/maps/place/Waterfront+Botanical+Gardens/@38.2630366,-85.7288454,15z/data=!4m8!3m7!1s0x8869731e16a7bdbd:0x2f5d238fefed7ca1!8m2!3d38.2632837!4d-85.7239738!9m1!1b1!16s%2Fg%2F11c709xzzx?hl=en%26entry=ttu\",\"days_limit\": \"10\"}]" ^
  -d "spider_errors=true" ^
  -d "file_name={{TasksID}}"
chevron-rightdays_limit 天数限制(可选)hashtag

该参数用于指定待抓取的 Google 地图评论发布天数限制。即从当前日期开始向前检索评论的天数。

请求示例:

"days_limit": "10"

curl -X POST "https://scraperapi.thordata.com/builder" ^
  -H "Authorization: Bearer Token-ID" ^
  -H "Content-Type: application/x-www-form-urlencoded" ^
  -d "spider_name=google.com" ^
  -d "spider_id=google_comment_by-url" ^
  -d "spider_parameters=[{\"url\": \"https://www.google.com/maps/place/Waterfront+Botanical+Gardens/@38.2630366,-85.7288454,15z/data=!4m8!3m7!1s0x8869731e16a7bdbd:0x2f5d238fefed7ca1!8m2!3d38.2632837!4d-85.7239738!9m1!1b1!16s%2Fg%2F11c709xzzx?hl=en%26entry=ttu\",\"days_limit\": \"10\"}]" ^
  -d "spider_errors=true" ^
  -d "file_name={{TasksID}}"

二、产品-抓取 Google 地图详细信息:

1. Google - 通过 URL 抓取地图详细信息

chevron-rightspider_id所属抓取工具(必填)hashtag

它定义了要使用的抓取工具。

请求示例:

spider_id=google_map-details_by-url

chevron-righturlURL(必填)hashtag

该参数用于指定待抓取的 Google 地图访问链接。

请求示例:

"url":"https://www.google.com/maps/place/Pizza+Inn+Magdeburg/@52.1263086,11.6094743,761m/data=!3m2!1e3!4b1!4m6!3m5!1s0x47a5f50c083530a3:0xfdba8746b538141!8m2!3d52.1263086!4d11.6094743!16s%2Fg%2F11kqmtk3dt?authuser=0%26hl=en%26entry=ttu%26g_ep=EgoyMDI1MDMxMi4wIKXMDSoASAFQAw%3D%3D"

2. Google - 通过 CID 抓取地图详细信息

chevron-rightspider_id所属抓取工具(必填)hashtag

它定义了要使用的抓取工具。

请求示例:

spider_id=google_map-details_by-cid

chevron-rightCIDCID(必填)hashtag

该参数用于指定待抓取的 CID信息。CID(Customer ID)是Google Maps和Google My Business(GMB)中的一个唯一标识符,用于表示和识别一个特定的商业位置或地点。

请求示例:

"CID": "2476046430038551731"

3. Google - 通过位置抓取地图详细信息

chevron-rightspider_id所属抓取工具(必填)hashtag

它定义了要使用的抓取工具。

请求示例:

spider_id=google_map-details_by-location

chevron-rightkeyword关键词(必填)hashtag

该参数用于指定通过特定关键词搜索地图信息,可以是位置、邮政编码或类别

请求示例:

"keyword": "Jio Store, 1449/137, Main 100 Ft Road"

chevron-rightcountry国家(必填)hashtag

该参数用于指定要搜索的国家。

参数值:

gb,af,al,dz,ax,as,ad,ao,ai,aq,ag,ar,am,aw,au,at,az,bs,bh,je,bd,bb,by,be,bz,bj,bm,bt,bo,bq,ba,bw,br,bn,bg,bf,bi,kh,cm,ca,cv,ky,cf,td,cl,cn,cx,cc,co,km,cg,ck,cr,ci,hr,cu,cw,cy,cz,cd,dk,dj,dm,do,ec,eg,sv,gq,er,eu,ee,et,fk,fo,fj,fi,fr,gf,pf,tf,ga,gm,ge,de,gh,gi,gb,gr,gl,gd,gu,gp,gt,gg,gn,gw,gy,ht,hn,hk,hu,is,in,id,io,ir,iq,ie,im,il,jm,jp,jo,kz,ke,ki,xk,kw,kg,la,lv,lb,ls,lr,ly,li,lt,lu,mo,mk,mg,mw,my,mv,ml,mt,mh,mq,mr,mu,yt,mx,fm,md,mc,mn,me,ms,ma,mz,mm,na,nr,np,nl,an,nc,nz,ni,ne,ng,nu,nf,kp,mp,no,om,pk,pw,ps,pa,pg,py,pe,ph,pn,pl,pm,pt,pr,qa,re,ro,ru,rw,bl,sh,kn,lc,mf,vc,sm,st,sa,sn,rs,sc,sl,sg,sx,sk,si,sb,so,za,gs,kr,ss,es,lk,sd,sr,se,ch,sy,tw,tj,tz,th,tl,tg,tk,to,tt,tn,tr,tm,tc,tv,ug,ua,ae,uk,us,uz,vu,va,ve,vn,vg,vi,wf,eh,ws,ye,zm,zw,bv,hm,dz

请求示例:

"country": "GB"

chevron-rightlat纬度(可选)hashtag

该参数用于指定要搜索的位置的纬度。

请求示例:

"lat": "28.6444225"

chevron-rightlong经度(可选)hashtag

该参数用于指定要搜索的位置的经度。

请求示例:

"long": "77.2416932"

chevron-rightzoom_level缩放级别(可选)hashtag

该参数用于指示要搜索的缩放级别。

请求示例:

"zoom_level": "1"

4. Google - 通过 place_id 抓取地图详细信息

chevron-rightspider_id所属抓取工具(必填)hashtag

它定义了要使用的抓取工具。

请求示例:

spider_id=google_map-details_by-placeid

chevron-rightplace_id商家 ID(必填)hashtag

该参数用于指定 Google 地图的商家 ID。

请求示例:

"place_id": "ChIJS5WVcqWh9YgRHU08rJqLNsQ"

三、产品-抓取 Google 购物信息

1. Google - 通过 URL 抓取购物信息

chevron-rightspider_id所属抓取工具(必填)hashtag

它定义了要使用的抓取工具。

请求示例:

spider_id=google_shopping_by-url

chevron-righturlURL(必填)hashtag

该参数用于指定待抓取的 Google 产品访问链接。

请求示例:

"url": "https://www.google.com/shopping/product/r/IL/16127099509847096080?prds=oid:7606538425324351917,eto:7606538425324351917_0,epd:7606538425324351917,prmr:1,rsk:PC_9055274590772580661%26rss=ChZQQ185MDU1Mjc0NTkwNzcyNTgwNjYx%26hl=en%26sa=X%26ved=2ahUKEwjOjry57OuEAxXqhloFHTg7CCwQkLoIegQIAhAM"

chevron-rightcountry 国家(可选)hashtag

该参数用于指定要搜索的国家。

参数值:United States,us 、United Kingdom,gb 、Canada,ca 、Australia,au 、Japan,jp 、Germany,de 、France,fr 、Italy,it 、Spain,es 、Netherlands,nl 、Sweden,se 、Switzerland,ch 、New Zealand,nz 、India,in 、South Korea,kr 、Singapore,sg 、Malaysia,my 、Mexico,mx 、Brazil,br 、Argentina,ar 、South Africa,za 、Colombia,co 、Turkey,tr 、United Arab Emirates,ae 、Poland,pl 、Portugal,pt 、Romania,ro 、Russia,ru 、Thailand,th 、Vietnam,vn 、Taiwan,tw 、Israel,il 、Indonesia,id 、Philippines,ph 、Finland,fi 、Denmark,dk 、Belgium,be 、Austria,at 、UK,gb 、Switzerland,ch

请求示例:

"country": "DZ"

2. Google - 通过关键词抓取购物信息

chevron-rightspider_id所属抓取工具(必填)hashtag

它定义了要使用的抓取工具。

请求示例:

spider_id=google_shopping_by-keywords

chevron-rightkeyword关键词(必填)hashtag

该参数用于指定关键字来收集产品数据。

请求示例:

"keyword": "iphone"

chevron-rightcountry,国家(必填)hashtag

该参数用于指定要搜索的国家。

参数值:United States,us 、United Kingdom,gb 、Canada,ca 、Australia,au 、Japan,jp 、Germany,de 、France,fr 、Italy,it 、Spain,es 、Netherlands,nl 、Sweden,se 、Switzerland,ch 、New Zealand,nz 、India,in 、South Korea,kr 、Singapore,sg 、Malaysia,my 、Mexico,mx 、Brazil,br 、Argentina,ar 、South Africa,za 、Colombia,co 、Turkey,tr 、United Arab Emirates,ae 、Poland,pl 、Portugal,pt 、Romania,ro 、Russia,ru 、Thailand,th 、Vietnam,vn 、Taiwan,tw 、Israel,il 、Indonesia,id 、Philippines,ph 、Finland,fi 、Denmark,dk 、Belgium,be 、Austria,at 、UK,gb 、Switzerland,ch

请求示例:

"country": "DZ"

如果您需要进一步的帮助,请通过电子邮件联系 [email protected]

Last updated