Pages - Menu

2018年10月17日 星期三

[Python] ScrapingHub 的API使用方式

上一篇 Scrapy 部署至ScrapingHub 上以及錯誤解法 講到部屬的方式,
這次要直接從外部自動取用。不然只是單純變成excel或json就沒什麼意義了。
參考 開發和運行爬蟲進程在scrapyhub的雲平台上
以下開始



串一段網址,丟去網頁上就有資料了。
我的範例:

https://storage.scrapinghub.com/items/342769/3/17?apikey=579b8b8f14ce4a83bd876d25e253a1e3&format=json

先看到 342769/3/17 ,這個數字是怎麼來的?
image
image
image
再來是apikey
SNAGHTML62e1e59

所以實際上 網址是
https://storage.scrapinghub.com/items/XXXXXX?apikey=YYYYY&format=json
只要更改XXXXXX 以及  YYYYY  ,貼去瀏覽器上面就會顯示出來了。
image

沒有留言:

張貼留言