度估記事本

前言 最近在搞自動購買的東西， 然後就扯到json了， 後來發現我沒有對json做一個懶人程式碼包。

前言 最近看了一個影片，寫到 超速學習 。 先定好目標，從終點看向起點，鎖定所需要的知識，直接學習。 省略過程中非必要的技能，為了使用而非只是初步認識。 再來使用連貫法，當發現某個地方卡住，去修復問題時，發現更基本的問題，再去解決。 其實python的GUI還蠻多套...

前言 最近才發現某個販賣二手書的查詢，跟實際上的入庫的書有出入。 最新更新有，但查詢沒有。 所以只好開始抓全部所有的新書，再做篩選了。 下面是碰到問題的解決方式

前言 其實json的網頁，用python的request做應該是最快。 但誰叫我已經架好了scrapyd的伺服器… 只好繼續用scrapy了。

某個特殊需求， 我想要再願望清單上做記號， 當有抓到這本書有二手書的時候，立即丟line通知我。 在傳送參數時，加上 meta={"name":value}     def start_requests(self):         sou...

真的用指令對於一個寫習慣SQL的人來講，非常非常的不習慣。 所幸，翻到了一篇 10個頂級Mongodb GUI工具，以圖形方式管理數據庫 看到了  NoSQLBooster ，他裡面寫了一句含有 SQL查詢，那就先測看看了。 似乎也很多人用Robo 3T ，有分付費版跟免費...

跟常用的SQL不太一樣，建議直接看第一個url，上面有SQL跟mongo的語法比對

MangoDB的建置方法，請看前面 MongoDB 與 Mongo-express 連動 因為Scrapy本身就有資料庫的寫入機制，所以在原本的程式上不用改。 需要改的地方只有 pipeline.py 、items.py以及settings.py

1.單元測試 單元測試方式 contract

重新又看了另一本的Scrapy的書， 才發現又多了一些東西。 寫個筆記記錄一下.. 以下繼續

本次實做的環境 ubuntu 18.04 的伺服器版本 docker 18.06 python 3.6 pip 19.11 以下繼續

要用pip3 安裝軟體時出現錯誤， 使用 sudo vim /usr/bin/pip3 將本來的 from pip import main if __name__ == '__main__': sys.exit(main()) 改成 f...

先來個Linux的指令速查表 Linux Cheat sheet 安裝anaconda，請看 Here 安裝時，注意檔案的大小寫名稱 安裝完後請重開機(reboot)，conda的指令才有用 建立環境 conda create -n envName conda c...

pip3 search <package> 搜尋套件 pip3 install <package> 安裝套件 pip3 uninstall <package> 移除套件 pip3 list  套件列表 pip3 list –outdated...

續上篇的 Raspberry樹莓派安裝ubuntu初步環境設定及安裝anaconda 後來發現 anaconde miniconda X裡面沒有scrapy  from arm的安裝套件。 只好又回歸原頭了。 以下繼續

這次的範例是要撈AWS的雲端主機價格費用， 前面有介紹幾篇使用Scrapy的簡單方法， 這次要搞的是Login的方式。 以下繼續

上一篇 Scrapy 部署至ScrapingHub 上以及錯誤解法 講到部屬的方式， 這次要直接從外部自動取用。不然只是單純變成excel或json就沒什麼意義了。 參考 開發和運行爬蟲進程在scrapyhub的雲平台上 以下開始

延續第一篇 Windows 7 玩 Python 爬蟲 use Scrapy ScrapingHub 其實就是 Scrapy 背後的公司所推出來的線上爬蟲服務。 有興趣的可以去找一下由來。 要使用之前，要先去申請一下 GitHub 的帳號 ， 不會用沒關係，基本上也不會用...

1.(命令提示字元)安裝 scrapy conda install scrapy conda是什麼？是安裝anaconda的產物，可參考 YENLUNG'S BLOG 2.(命令提示字元)建立scrapy項目 scrapy startporject books...

由於一般安裝Anaconda的人都是Linux系統， 所以指令有些不一樣， 害我找了老半天 建立環境 conda create -n envName 進入環境(windows專用，沒有source）所以如果你碰到 source 內容不存在就是你不要打source ...