[Docker]Scrapyd Container無法啟動，搶救筆記

前言

因為停電，所以機器整個關機。
今天要開的時候才發現爬蟲scrapyd起不來，開始搶救過程。
連抓AWS金額的容器也掛了（這個是自建一個container執行爬蟲）。
最後想一想，反正都背爬蟲了，那就全部都掛在scrapyd上面吧。

Read More

[Docker]容器內軟體安裝方式

前言

為了在scrapyd的container上面，安裝postgresQL
費了一番功夫，從apt-get ,yum,apt ..都試了一輪，
雖然我也知道有些指令是不同作業系統的，但死馬當活馬醫。
最後用了 uname –a 確認，container內作業系統還是ubuntu，但安裝指令就是不認識阿阿阿..
最後還是有安裝成功..

Read More

[Docker]Container無法啟動，debug時的命令列表

前言

莫名的scrapyd無法啟動，
只好開始翻log紀錄，看到底是什麼原因。

Read More

[Linux]Ubuntu硬碟空間不足，解決方式

前言

最開始是在查docker 開不起來的問題，
查阿查，查到後來docker被玩掛了…這似乎又是另一個故事。
於是要重新安裝container，才發現空間不足…
本文內容包含了一堆查檔案空間用到的linux語法。

Read More

[Docker]自製docker image 執行scrapy

本次實做的環境
ubuntu 18.04 的伺服器版本
docker 18.06
python 3.6
pip 19.11

以下繼續

Read More

[Linux]Ubuntu 伺服器版本日期設定，顯示時間

sudo dpkg-reconfigure tzdata

把地區選擇Tapier
顯示目前的日期

date



ref.Ubuntu 用指令設定和變更時區
How to View the Current Date and Time via Command Line

Read More

Pyton Anaconda for Ubuntu

先來個Linux的指令速查表
Linux Cheat sheet
安裝anaconda，請看 Here
安裝時，注意檔案的大小寫名稱
安裝完後請重開機(reboot)，conda的指令才有用

建立環境
conda create -n envName
conda create -n envName python=3
進入環境
source activate envName #在base底下要切換的話用這組

conda activate envName #通常用這組可以通吃
安裝套件
conda install packageName
套件列表
conda list
離開環境
conda deactivate


補充


#ubuntu只顯示資料夾
ls -d */


Read More

[Linux]HyperV安裝Ubuntu 18.04 及軟體紀錄

2019/08/12 更新root登入

要開始玩Docker了，但用Windows似乎撞牆期會很長。
先弄個Ubuntu來玩了。

本次安裝的版本是 18.04 TLS版（預計支援到2023 年 04 月）

1.要安裝的時候，
如果使用HyperV的二代虛擬機，請一定要把安全性開機關掉，
不然沒辦法安裝

Read More

[Raspberry]Raspberry樹莓派安裝ubuntu初步環境設定及安裝anaconda

為了要讓樹莓派跑Scrapy，所以想要先裝anaconda，之後再安裝其他的套件比較省事。
但樹莓派的作業系統，裝anaconda似乎有一堆問題，
所以裝ubuntu。
以下文章開始

Read More