顯示具有 Scrapy 標籤的文章。顯示所有文章

2023年7月28日星期五

[Scrapy]gerapy+scrapyd+mongo爬蟲整套流程

劉老克上午11:55 Scrapy No comments

睡睡念

有一天突然發現，我的爬蟲不會動了，原因是網站改版，所以規則要改。
於是，既然都要改了，那就把很久以前沒有概念的docker都改一改吧，
順便改成docker compose一次解決。

[Docker]Docker image Scrapyd & Scrapydweb 搬家紀錄

劉老克晚上10:08 Docker, Scrapy No comments

前言

之前的Scrapy要搬家了，搬到外面的主機上。

如果看過前面幾篇的應該知道，我已經把那個scrapy改的跟本來的樣子差很多了。

而且我也沒有用k8s管理，感覺這個匯入匯出用k8s應該會比較好做？

畢竟是管理docker用的工具。先來試試傳統的方式吧。

前言

短時間內就發生兩次，真不知道該說些什麼…
但找到原因後發現跟自己有很大的關係。

前言

時間回到早上九點四十五分，此時的我突然想到，

怪了我的爬蟲怎麼沒跑，難道是網站的網址改掉了嗎？

經過一連串的查證，發現，我的爬蟲又掛拉阿阿阿阿阿

前言

最近才發現某個販賣二手書的查詢，跟實際上的入庫的書有出入。
最新更新有，但查詢沒有。
所以只好開始抓全部所有的新書，再做篩選了。
下面是碰到問題的解決方式

[Docker]Scrapyd Container無法啟動，搶救筆記

劉老克下午3:00 Docker, Scrapy, Ubuntu No comments

前言

因為停電，所以機器整個關機。
今天要開的時候才發現爬蟲scrapyd起不來，開始搶救過程。
連抓AWS金額的容器也掛了（這個是自建一個container執行爬蟲）。
最後想一想，反正都背爬蟲了，那就全部都掛在scrapyd上面吧。

前言

其實json的網頁，用python的request做應該是最快。
但誰叫我已經架好了scrapyd的伺服器…
只好繼續用scrapy了。

[Scrapyd]在Scrpayd container內安裝postgreSQL

劉老克下午4:20 Postgresql, Scrapy No comments

前言

一開始在猶豫要裝monogoDB還是postgreSQL，
最後因為懶得再去動scrapyd裡面的函示，就灌mongoDB好了。
以前的環境都在區網內，這次搬到外網，才發現 mongoDB預設是大家都可以連結。
因為他是NoSQL的資料庫。最後只好乖乖在換去postgreSQL，至少能不能連線，
在一開始就擋掉了。

[Docker]Container無法啟動，Another twistd server is running

劉老克上午10:59 Docker, Scrapy No comments

前言

某一個禮拜六的早上，發現我的Line Notify沒有收到爬蟲爬出來的訊息，
就知道事情不妙了。後來一查才知道整個Container掛了。
搞了好幾天，本來想乾脆直接重裝一個Container算了（反正scrapyd沒啥要設定的），
最後還是有解決。

前言

昨天架好scrapydweb，能夠自動排程去爬蟲了。
今天就把之前一直要寫的下週油價的程式寫一寫了，
很簡單，主要是用line notify發送通知。

[Docker]用Docker 架設Scrapyd及UI畫面(Gerapy or Scrapydweb)

劉老克下午3:59 Docker, Scrapy No comments

前言

前陣子寫完讀冊生活的搜尋工具，就沒再繼續研究自動執行了。
當然可以包成Docker，再用linux工具啟動，這個我也幹過，
請看上一篇文章 [Docker]自製docker image 執行scrapy
但如果我一次有很多隻蟲要爬，難道要一個一個包成docker？
所以，scrapyd 出現了。有點像 ScrapingHub，我也曾經在上面部屬過程式，
右上方的每日一句，就是撈博客來的資料產生的，
可參考 [Python] Scrapy 部署至ScrapingHub 上以及錯誤解法
簡單講，這次就是架設一個平台，所有的爬蟲通通在上面跑。

[Python]Scrapy傳遞參數

劉老克下午2:28 Python, Scrapy No comments

某個特殊需求，
我想要再願望清單上做記號，
當有抓到這本書有二手書的時候，立即丟line通知我。

在傳送參數時，加上 meta={"name":value}





    def start_requests(self):



        source_url = "...."

        for keyword in self.db.wishList.find ({},{ "name" :1 , "_id" : 0 ,"quote":1 } ):

            self.log(keyword['name'])

            #self.log("urlencode::: " + urlparse.quote(keyword['name']))

            start_url = source_url + urlparse.quote(keyword['name'])

            yield scrapy.Request(start_url,self.parse,meta={"favorite":keyword['quote']})

使用方式，response.meta.get('name')



    def parse(self, response):

        #le = LinkExtractor(restrict_css='div.panel-default>a.list-group-item')

        #指到二手書列表

        #self.log("source_url_link is ===" + response.url)

        self.log("favorite: "+ response.meta.get('favorite'))

ref.Passing a argument to a callback function

加菲貓

台中一景

Who am I

2023年7月28日 星期五

睡睡念

2020年8月4日 星期二

前言

2020年6月12日 星期五

前言

2020年6月5日 星期五

前言

2020年4月23日 星期四

前言

2019年12月11日 星期三

前言

2019年12月5日 星期四

前言

2019年12月4日 星期三

前言

2019年11月20日 星期三

前言

2019年11月13日 星期三

前言

2019年11月12日 星期二

前言

2019年7月29日 星期一

2019年7月17日 星期三

2019年7月15日 星期一

2019年7月3日 星期三

2018年11月9日 星期五

2018年11月1日 星期四

2018年10月17日 星期三

2018年10月14日 星期日

總網頁瀏覽量

About

每次一句

Popular Posts

Blog Archive

Categories

2023年7月28日星期五

2020年8月4日星期二

2020年6月12日星期五

2020年6月5日星期五

2020年4月23日星期四

2019年12月11日星期三

2019年12月5日星期四

2019年12月4日星期三

2019年11月20日星期三

2019年11月13日星期三

2019年11月12日星期二

2019年7月29日星期一

2019年7月17日星期三

2019年7月15日星期一

2019年7月3日星期三

2018年11月9日星期五

2018年11月1日星期四

2018年10月17日星期三

2018年10月14日星期日