11月 2019 ~ 度估記事本

2019年11月28日星期四

前言

弄MsChart的時候，搞了太多的參數，
不寫一下又怕到時忘記

前言

在拉MSchart的時候，發現的問題。
因為角度需要換算才能變成座標，
但一般使用IsValueShownAsLabel 是直接將值顯示出來，
那我要怎麼讓他顯示座標的角度而不是真實的值

前言

最近接了個案子，元件有點多，但又不想一個一個設，
依稀記得有寫過共用的方式，但突然找不到放在哪，
就乾脆再寫一次了。

前言

經歷上次的container無法啟動事件，
開始學習看docker的設定值，越挖才知道越深奧。
Docker是用Go 開發的，所以可以直接針對結果做格式化輸出，
有支援--format的指令皆可使用

[Docker]Container無法啟動，Another twistd server is running

劉老克上午10:59 Docker, Scrapy No comments

前言

某一個禮拜六的早上，發現我的Line Notify沒有收到爬蟲爬出來的訊息，
就知道事情不妙了。後來一查才知道整個Container掛了。
搞了好幾天，本來想乾脆直接重裝一個Container算了（反正scrapyd沒啥要設定的），
最後還是有解決。

[Docker]Container無法啟動，debug時的命令列表

劉老克下午2:10 Docker, Linux, Ubuntu No comments

前言

莫名的scrapyd無法啟動，
只好開始翻log紀錄，看到底是什麼原因。

前言

最開始是在查docker 開不起來的問題，
查阿查，查到後來docker被玩掛了…這似乎又是另一個故事。
於是要重新安裝container，才發現空間不足…
本文內容包含了一堆查檔案空間用到的linux語法。

前言

太久沒寫pivot，實在都快忘記怎麼寫了。

正文

前言

昨天架好scrapydweb，能夠自動排程去爬蟲了。
今天就把之前一直要寫的下週油價的程式寫一寫了，
很簡單，主要是用line notify發送通知。

[Docker]用Docker 架設Scrapyd及UI畫面(Gerapy or Scrapydweb)

劉老克下午3:59 Docker, Scrapy No comments

前言

前陣子寫完讀冊生活的搜尋工具，就沒再繼續研究自動執行了。
當然可以包成Docker，再用linux工具啟動，這個我也幹過，
請看上一篇文章 [Docker]自製docker image 執行scrapy
但如果我一次有很多隻蟲要爬，難道要一個一個包成docker？
所以，scrapyd 出現了。有點像 ScrapingHub，我也曾經在上面部屬過程式，
右上方的每日一句，就是撈博客來的資料產生的，
可參考 [Python] Scrapy 部署至ScrapingHub 上以及錯誤解法
簡單講，這次就是架設一個平台，所有的爬蟲通通在上面跑。