[PYTHON]Json解析

前言

最近在搞自動購買的東西，
然後就扯到json了，
後來發現我沒有對json做一個懶人程式碼包。

Read More

[PYTHON]PYTHON 初學體驗 GUI :wxPython

前言

最近看了一個影片，寫到超速學習。
先定好目標，從終點看向起點，鎖定所需要的知識，直接學習。
省略過程中非必要的技能，為了使用而非只是初步認識。
再來使用連貫法，當發現某個地方卡住，去修復問題時，發現更基本的問題，再去解決。

其實python的GUI還蠻多套的，
從TKinter、PyQT、wxPython…
這次打算套用剛剛講的超速學習，直接設定目標，開始做，過程中的問題在一一尋找修復。

Read More

[Scrapy]爬蟲除錯記錄

前言

最近才發現某個販賣二手書的查詢，跟實際上的入庫的書有出入。
最新更新有，但查詢沒有。
所以只好開始抓全部所有的新書，再做篩選了。
下面是碰到問題的解決方式

Read More

[Scrapy]擷取json的網頁

前言

其實json的網頁，用python的request做應該是最快。
但誰叫我已經架好了scrapyd的伺服器…
只好繼續用scrapy了。

Read More

[Python]Scrapy傳遞參數

某個特殊需求，
我想要再願望清單上做記號，
當有抓到這本書有二手書的時候，立即丟line通知我。


在傳送參數時，加上 meta={"name":value}


    def start_requests(self):

        source_url = "...."
        for keyword in self.db.wishList.find ({},{ "name" :1 , "_id" : 0 ,"quote":1 } ):
            self.log(keyword['name'])
            #self.log("urlencode::: " + urlparse.quote(keyword['name']))
            start_url = source_url + urlparse.quote(keyword['name'])
            yield scrapy.Request(start_url,self.parse,meta={"favorite":keyword['quote']})

使用方式，response.meta.get('name')


    def parse(self, response):
        #le = LinkExtractor(restrict_css='div.panel-default>a.list-group-item')
        #指到二手書列表
        #self.log("source_url_link is ===" + response.url)
        self.log("favorite: "+ response.meta.get('favorite'))


ref.Passing a argument to a callback function

Read More

[Python]MongoDB專用的資料庫工具

真的用指令對於一個寫習慣SQL的人來講，非常非常的不習慣。
所幸，翻到了一篇 10個頂級Mongodb GUI工具，以圖形方式管理數據庫
看到了  NoSQLBooster ，他裡面寫了一句含有 SQL查詢，那就先測看看了。
似乎也很多人用Robo 3T ，有分付費版跟免費版。
但沒看到有特別註明可使用SQL，就沒安裝了。

Read More

[Python]Python使用Mongo的語法

跟常用的SQL不太一樣，建議直接看第一個url，上面有SQL跟mongo的語法比對

Read More

[Python]Scrapy存MangoDB

MangoDB的建置方法，請看前面 MongoDB 與 Mongo-express 連動
因為Scrapy本身就有資料庫的寫入機制，所以在原本的程式上不用改。
需要改的地方只有 pipeline.py 、items.py以及settings.py

Read More

[Scrapy]實戰番外篇 Part II

1.單元測試
單元測試方式 contract

Read More

[Scrapy]實戰番外篇 Part I

重新又看了另一本的Scrapy的書，
才發現又多了一些東西。
寫個筆記記錄一下..

以下繼續

Read More

[Docker]自製docker image 執行scrapy

本次實做的環境
ubuntu 18.04 的伺服器版本
docker 18.06
python 3.6
pip 19.11

以下繼續

Read More

[Python]cannot import name main解決方式

要用pip3 安裝軟體時出現錯誤，
使用

sudo vim /usr/bin/pip3

將本來的

from pip import main
if __name__ == '__main__':
sys.exit(main())


改成

from pip import __main__
if __name__ == '__main__':
sys.exit(__main__._main())

修改方式，先按i 將文字編輯器改成insert模式，才能改資料
改完後，按ESC離開insert模式，再輸入:wq 存檔後關閉。


ref.
pip Import Error:cannot import name main解決方案
vim 程式編輯器

Read More

Pyton Anaconda for Ubuntu

先來個Linux的指令速查表
Linux Cheat sheet
安裝anaconda，請看 Here
安裝時，注意檔案的大小寫名稱
安裝完後請重開機(reboot)，conda的指令才有用

建立環境
conda create -n envName
conda create -n envName python=3
進入環境
source activate envName #在base底下要切換的話用這組

conda activate envName #通常用這組可以通吃
安裝套件
conda install packageName
套件列表
conda list
離開環境
conda deactivate


補充


#ubuntu只顯示資料夾
ls -d */


Read More

[Python]pip3常用指令列表

pip3 search <package> 搜尋套件

pip3 install <package> 安裝套件

pip3 uninstall <package> 移除套件

pip3 list  套件列表

pip3 list –outdated   檢查有無升級

pip3 install –U|—upgrade <package>   軟體更新包

pip3 –version pip3      版本資訊

sudo pip3 install –upgrade pip 升級pip自己

將目前的套件存成文字檔後匯入

pip3 freeze > aa.txt

pip3 install –r aa.txt

Read More

[Raspberry]Raspberry安裝Scrapy

續上篇的 Raspberry樹莓派安裝ubuntu初步環境設定及安裝anaconda
後來發現anaconde miniconda X裡面沒有scrapy  from arm的安裝套件。
只好又回歸原頭了。
以下繼續

Read More

[Python]Scrapy 模擬登入及流程

這次的範例是要撈AWS的雲端主機價格費用，
前面有介紹幾篇使用Scrapy的簡單方法，
這次要搞的是Login的方式。
以下繼續

Read More

[Python] ScrapingHub 的API使用方式

上一篇 Scrapy 部署至ScrapingHub 上以及錯誤解法 講到部屬的方式，
這次要直接從外部自動取用。不然只是單純變成excel或json就沒什麼意義了。
參考 開發和運行爬蟲進程在scrapyhub的雲平台上
以下開始

Read More

[Python] Scrapy 部署至ScrapingHub 上以及錯誤解法

延續第一篇 Windows 7 玩 Python 爬蟲 use Scrapy
ScrapingHub其實就是 Scrapy 背後的公司所推出來的線上爬蟲服務。
有興趣的可以去找一下由來。
要使用之前，要先去申請一下GitHub的帳號 ，
不會用沒關係，基本上也不會用到Git的指令，
只要有帳號就好。

此文章參考 scrapy爬蟲學習系列三：scrapy部署到scrapyhub上
然後做了些修改。

以下正文開始

Read More

Windows 7 玩 Python 爬蟲 use Scrapy

1.(命令提示字元)安裝 scrapy
conda install scrapy
conda是什麼？是安裝anaconda的產物，可參考 YENLUNG'S BLOG

2.(命令提示字元)建立scrapy項目
scrapy startporject booksDemo
建立完成後，會在下面出現你建立的資料夾位置

3.切換到項目的資料夾 運行crawl
我的電腦是裝    Anaconda ，所以先用
conda list
看一下目前已安裝的套件，有沒有把scrapy安裝成功
再來確認 目前的環境是哪個
conda env list

後來又建了一個環境  scrapyTest，建環境的方法，請看  Pyton Anaconda for Windows

建立spider

scrapy startproject scrapy_spider


import scrapy
class booksSpider(scrapy.Spider):
     name = "books"
     allowed_domains = ["books.com.tw"]
     start_urls = [
         "http://www.books.com.tw/products/0010789024"
     ]
    def parse(self, response):
         filename = response.url.split("/")[-2]
         with open(filename, 'wb') as f:
             f.write(response.body)

最後都確認完成後，將程式碼複製到 module內的專案名稱，路徑在
C:\user\Anaconda3\envs\scrapyTest\Lib\site-packages\scrapy\booksDemo\booksDemo\spiders
底下建一個檔案，名稱是什麼都沒關係。在建立的專案底下後再去找到spiders這個資料夾，
把程式放進去

完成後，在該路徑(C:\user\Anaconda3\envs\scrapyTest\Lib\site-packages\scrapy\booksDemo)底下 執行

scrapy crawl books

如果出現 no active project，Unknown command: crawl，Use "scrapy" to see available commands
表示你的路徑錯了。
再如果 出現 no module named ${project_name} ，也表示你執行的路徑錯了。
（當初就是這個錯誤，導致我整個重做）
目前只有印在畫面上，但印了什麼東西，我也看不懂。
先測試能跑才是重點。
.
2018/10/11 補充： 轉存成csv

scrapy crawl books -o aa.csv


Read More

Pyton Anaconda for Windows

由於一般安裝Anaconda的人都是Linux系統，
所以指令有些不一樣，
害我找了老半天
建立環境

conda create -n envName

進入環境(windows專用，沒有source）所以如果你碰到 source 內容不存在就是你不要打source

activate envName
刪除環境

conda env remove –n envName
看環境列表

conda env list
安裝套件

conda install packageName

套件列表

conda list

移除套件

conda remove packageName

離開環境

deactivate

日後還有用到的再補上....

Read More