Pages - Menu

2018年11月9日 星期五

[Raspberry]Raspberry安裝Scrapy

續上篇的 Raspberry樹莓派安裝ubuntu初步環境設定及安裝anaconda
後來發現anaconde miniconda X裡面沒有scrapy  from arm的安裝套件。
只好又回歸原頭了。
以下繼續



這次安裝的作業系統是   NOOBS (這是樹莓派自己出的系統)
基本上設定差不多,這次主要記錄如何安裝Scrapy,
我也不知道我的步驟對不對,只能Try了
參考:BBZONE簡書
step 1.


apt-get update
apt-get upgrade

sudo apt-get install libffi-dev
sudo apt-get install libxml2-dev
sudo apt-get install libxslt1-dev
sudo apt-get install python-dev
sudo apt-get install libssl-dev
sudo apt-get install python3-pip

step 2.
安裝虛擬環境


sudo pip3 install virtualenv

step 3.
建立虛擬環境的專案(awsenv 是 專案名稱)


virtualenv awsenv

image
這個位置很重要,要記住/截圖


step 4.
啟動虛擬環境,有啟動成功會看到前面多了剛剛建立的專案名稱


source awsenv/bin/activate

SNAGHTML5724e681
離開虛擬環境


deactivate

step 5.
安裝scrapy


pip3 install scrapy

image
如果下指令時,出現 不當的直譯器:太多層級的符號連結檔,
image
可參考 stactoverflow
我是直接砍掉舊的虛擬環境後重新建立新的就好了,
試試吧。
step 6.
建立scrapy專案


scrapy startproject aws

image
建立完成後,會出現檔案位置,要記住/截圖
我是直接用第1個的位置,用ftp軟體將爬蟲的程式丟進去aws底下的aws/spiders裡面
image
step 7
執行


scrapy crawl AWS

image
結束。
下面是我環境所安裝的套件列表
image

沒有留言:

張貼留言