Pages - Menu

2022年11月22日 星期二

[Net].net core 打包dockerfile

碎碎念

今天才知道vistual studio 的神奇地方,
直接滑鼠按一按,dockerfile就自動產生了,
也不用寫,不過不是vs code的版本。

[LInux]alpine linux 宣告變數,error bad variable name

碎碎念

頭一次碰到這種坑,
我linux有待加強 (哭

[Office]微軟官方網站的office 大量授權

碎碎念

YT亂看的時候,看到有一個影片,再講如何獲取免費的office,
這其實不是新聞,但有問題的通常都是再破解上面,
可能被人惡意亂塞間諜程式或木馬。
但現在驗證救直接從官方來了

[Docker]docker build pyenchant & opencc error fix

碎碎念

新公司的第一個dockerfile就撞牆,
莫名的錯誤,裝了還是過不了,
寫這個程式的說也沒用過,他們都是用本機跑AI。
只好自己亂搞了…

[ECK]filebeat error

碎碎念

禮拜一上班就聽同事再說,filebeat stage環境有問題,
我還在禮拜一症候群阿~~
哎~SRE的宿命,先修吧

[Github]github action pipeline筆記

前言

因為之前用的巴哈自動簽到,那個github被封了,
說違反服務條款,還好我主程式有下載下來過。
未來把他打包成image後在本機跑了吧,
不過要先解析github的workflow看是怎麼打包成image的

[GCP]GCS臨時下載權限

碎碎念

今天維護,後端同仁要cloudSQL的備份檔,
然後,因為他們都沒權限,只好丟去網路空間,給他們抓。
我就在想,沒道理阿,應該有個方法能夠開特定的檔案臨時給人用。

[VS code]vscode 忽略設定同步

碎碎念

公司一臺電腦,我自己帶了一臺mac過去,
因為我已經linux用習慣了(X)
不得不說mac用習慣真的好順…

[網路]zyxel 點對點 fortigate VPN通道建立

前言

換公司後,DevOps還要兼網管,
然後,在辦公室還要連vpn才能連到dev的開發環境(?
我很懶,為什麼要這樣對我,
科技始終來自於人類的惰性,開工吧。

[K8s] linux系統時間與k8s

前言

最近弄之前的人自建的k8s,
才碰到一堆問題,
我的linux果然需要加強orz

2022年9月22日 星期四

[GCP] GCP費用計算方式

前言

換工作後,突然有人問GCP費用怎麼算,隱約記得有三項,但網路費用是算進還出就忘了。
只好重看一下,順便記錄。
所以為了$$,我現在還要管自建的k8s 啊啊啊😨

[k8s]rabbitmq on k8s

前言

接到同事說要裝rabbitmq,
說之前在dev有裝過,但在k8s上面沒看到,
用之前前任留下的yaml,裝不起來,只好從頭開始。

2022年8月17日 星期三

[網路]OSI七層

前言

因為一直背不起來 OSI七層,上網查了下發現還真的有人發明了口訣
OSI由最上層往下
All People Seem To Need Domino’s Pizza
(所有的人看來都需要達美樂比薩)

[GKE]shellscript批次修改hpa

前言

這又是因為懶惰而衍生出來的一篇,
懶得一個一個點進去改HPA的數量,
就寫sh搞定吧。

[GCP] shellScript取得GCE機器列表內的CPU個數

前言

要算一下各服務所佔的比例,
大方向用VM的機器 cpu來算

一個一個點進去VM機器裡面算CPU的數量是可行,

但我好懶!!!太沒效率了,寫指令撈吧,然後把資料丟去excel做加總。

[Nginx]nginx的除錯筆記

前言

我一直對nginx不太熟,
目前也只到了會用,大部分的指令看得懂。
但湊在一起,還是要查一下。

這次的錯誤就發生在我以為的問題上

[k8s] k8s中的command與dockerfile的 CMD

前言

忘記是什麼原因,
讓我跑去查這兩個的差異😂

[GCP]Anthos 使用前的注意事項

前言

GKE要安裝Anthos前,要先知道幾件事。
其實這個跟istio差不多,當初要用Anthos也是要讓google代管istio的升級,
但後來實測,升級好像也沒很難,只是服務要停調而已。

[GCP]為什麼不用cloud build

前言

之前面試時,常有人問為什麼不用cloudBuild,
這個記得以前有人討論過,
但都沒記,後來把這個討論找出來。
這是目前有碰到的問題,未來會不會修掉就不清楚了。

[GKE] k8s 細節補充

前言

最近幫其他組的同事看問題時,
發現有些東西是我沒看過的,
就整合再一起,寫起來當備忘拉。

[shellScript]shellscript簡單命令拆解

前言

在幫人設定goproxy代理伺服器時,本來在VM上跑。
但未來應該還是要再GKE上面執行的,所以先解析一下他這套是怎麼安裝的,
之後才有辦法在GKE上執行。

[網路]proxy 代理簡單說明

前言

代理伺服器,以前最常用過的應該是Hinet的proxy,
在以前網路不快的時候,有時會掛prxoy,來讓瀏覽速度變快。
proxy的用途主要也是如此,將user的請求透過prxoy去跟網站取得資料,再回給user。

但proxy分成很多種…下面簡單說明

p.s 在交接的時候,我才發現原來http代理不是每個人都知道!? 

2022年8月16日 星期二

[ECK]elasticsearch ingest pipeline

前言

用filebeat 蒐集 nginx的資料,取得的Nginx資料沒再經過分解,
導致沒辦法運用在efk上面。

這邊說的運用,指的是直接在Dscover上面直接用fileter的方式查詢到需要的資料。

因為資料都是一個欄位[Message],所以必須分解後指定他們資料對應的欄位。

[istio]istio 常見狀態碼

前言

最近用istio偵測,常碰到某個服務狀態會掉到80%以下,
那時都有看到APM的程式報錯,但沒人反應,最近有次發生在上班時間,
馬上聯絡同事看他的服務有沒有正常,
最後一路追,
發現狀態碼是回 503 DC ,對這個關鍵字有印象,但常會忘記他的全名。

[GCP] sh批次修改GCP的label

前言

發現有一整批的資源沒有加過 label ,
GCE的硬碟、負載平衡的前端轉導規則…
有些條件不一樣,一個一個加會瘋掉。
工程師就是懶…寫sh吧

[k8s] kustomize 共用label(optional)

前言

要把別人寫的yaml拆開,然後整併到自己的image,
才發現service的 base 怎麼沒寫selector ,
但佈署時卻有mapping到。

[ECK] kibana apm圖表

前言

在正式環境,直接上了APM監控,
然後各個圖表代表的意思…,
我查一下。

所以這篇就這樣生出來了。

[GKE]Cronjob筆記

前言

之前同事是直接自己土炮用golang寫timer,
不過如果碰到執行時間過長,重複執行的話,
就要判斷一堆狀態,決定要不要做,
那就改用k8s的cronJob了吧。

[SRE]Terraform vs Ansible

前言

本來想直接用表格闡述兩邊不同的地方,
但發現我不知道從何下手。
只好先用條列代替了,
這兩套我都沒用過,因為…我直接從GKE開始XD。

[ECK]Beat vs elastic agent

前言

換了個新版本,
就發現 APM不能用,
後來查了一查,才知道ECK多了一個新東西,
Elastic Agent。
目前還有些沒支援,但這應該是未來ECK會走的方向了。

2022年4月11日 星期一

[ECK] ECK 8.1 ,APM intergration安裝方式

前言

一兩個月沒看,沒想到版本就衝到8.1了,
照以前的做法,發現一堆錯誤,
precondition ‘apm integration installed’ failed: error querying Elasticsearch for integration index templates: unexpected HTTP status: 404 Not Found…

[GCP]gcloud compute instance format 筆記

前言

因為公司政策,
要把label全部統一,之前有些已經命名過一次的但名稱不對,
一個一個改又好麻煩,
來寫command吧

[drone] k8s-runner 進階設定

前言

再上篇 [[drone on GKE 建立]],有談到k8s runner,
那時候都在default 的 namespace上面運作,
所以沒什麼問題,
但一到了正式環境,要切專門的namespace,
就陣亡拉)))))

[drone] build Open Source Edition,打包drone社群版

前言

在某一天,drone就跳出來了 『Your license limit is exceeded。』
當下真是嚇死我了,當天又是維護日,
一堆程式要上版,自動佈署掛掉就完了,要通通手動上。
還好,沒事,只是跳個通知在那邊,查了一些文件,
都沒說到期了會怎樣,就這樣過了兩個月,
也都沒事發生,本來想繼續撐下去的,
但有其他東西要用,就順便一起動了。

[k8s] error,The node was low on resource..

前言

之前發生過的,
prometheus會這樣、gitlab最近在弄新版的CI/CD也跑這個出來。
本來想要之後有空再解決,但最近被DDOS攻擊時,
發現監控的grafana會卡住,因為他的prometheus ram爆了~~

[istio] virtual service 常用參數

前言

有些東西偶爾會用,但碰到時就忘了怎麼寫,
還要回去翻一下,
此篇包含

  1. set/remove header
  2. match header host 正規表示
  3. fault 回傳特定狀態
  4. allow cors
  5. rewrite
  6. match uri 正規表示


[k8s]kubernetes 批次檢查yaml特定字元

前言

因為dockershim的問題,
這次要搬cluster的node了。
但我根本忘記有哪個yaml有寫到 nodeSelector了,
一個一個看又好懶…怎麼辦?

此時,我們要知道『科技,始終來自於人類的惰性』,

來寫程式吧。

[istio] sidecar 注入規則

前言

因為drone 的 kubernetes Runner的關係,
導致我有一個ns要預設取消istio inject,
但某些特定的pod要注入就失敗了。

[GKE] CICD drone on GKE 建立

前言

drone這套知道的人應該不多,
不過他至少也是在CNCF裡面有掛名的一個工具。

[GKE] gitlab on GKE 災害還原筆記

前言

之前一直沒寫的gitlab yaml,再文章的最下方。
本片文章都是使用這個yaml做建立及佈署。

2022年3月28日 星期一

[GKE] pvc還原

前言

之前的Gitlab建在GKE的公開叢集上,
雖然有限定IP訪問,一直要改到私有叢集上,
但一直沒時間動,現在終於有空弄了,首先要解決的是資料還原的問題。

[ECK] kibana查詢語法

前言

前陣子只把kibana價起來就收工去弄其他東西了,
最近被人CC攻擊,要分析到底是誰,
才能阻擋,所以就有這篇跑出來了。

2022年3月21日 星期一

[Win10]非分頁記憶體暴增,進階版( poolmon & WPA)

前言

我也沒想到會寫到第二篇,第一篇是 [WIN10]非分頁集區記憶體暴增
改了regedit後還是沒用 ,
這下只能去追看是哪個地方出問題了。
這邊會用到的工具有 poolmon跟 Windows Performance Analyzer(WPA)

2022年3月1日 星期二

[ECK] kibana錯誤解法 , parent Data too large...

前言

最近用kibana做查詢或任何的API取資料時,
有機率會發生下列的錯誤

[parent] Data too large, data for [<http_request>] would be [1054296800/1005.4mb],
which is larger than the limit of [1020054732/972.7mb] ........

雖然說很偶發,但最近有越來越嚴重的趨勢。

所以,鼻子摸一摸,來解決吧。


[ECK] Dev Tools, api筆記

前言

單純記錄一下,
弄ECK的時候應該比較常碰到..

2022年2月28日 星期一

[ECK]filebeat LOG蒐集遺失

前言

最近同事回報說,pod 有些log沒有進到ECK裡面去,
一查還真的是這樣,
但QA環境沒問題,
偏偏正是環境就炸了。

[Linux] Linux command - grep

前言

忘了是在什麼時候寫的,
好像是在計算GKE的 機器數量時,看到他們用grep做加總,
就順便查了一下,
以前都只是拿來篩選用。

[mac] mac用的fiddler,Whistle

前言

在mac上本來還想說用fiddler來做,
但有人推薦了一套 whistle,
就來試試看了。

[Linux] alpine linux apk ERROR unable to select packages

前言

這好像是在查問題的時候碰到的,
因為某些奇怪的網路問題,
導致必須抓封包查詢,然後又因為在GKE的內網,
不能在本機撈..😂

[isito] 鏡像流量 mirror

前言

測試新版本的好用法,
可以不用怕影響線上服務,
前提是,你要有istio 😆

2022年2月17日 星期四

[ECK] Elastic Search基本概念篇

前言

看EFK相關文章時,常被許多名詞搞混。
之前還把shard當成類似是 RDBMD裡面的DB,
之後才發現搞錯了,根本不是那麼一回事

[ECK]kibana 查詢語法

前言

簡單總結一下KQL的語法,
因為還要跟同事講這套軟體該怎麼查詢。

[ECK] kibana 警告, server.publicBaseUrl is missing

前言

ECK真的是很深阿...
錯誤很簡單,但我真的熊熊找不到哪裡可以寫,
有人一起研究果然省事很多阿...
但我這組一直只有我一個😭

[Git] git refs,branch 跟 tag是一樣的。

前言

這好像是為了查 drone的自動部署,
為什麼tag跟 branch不能同時符合條件才做發佈的原理。

[ECK]filebeat 補充說明

前言

ECK真的很深阿...
但真的弄起來後,還挺好分析的。
前提是,你有那些資料可供分析。
這次是為了要取得GKE上面 的pod Name跟其他資料,
這樣在搜尋欄位時,才能夠找到log

[Nginx] GKE記錄 nginx log

前言

因前陣子被人用DDOS攻擊,
然後公司有一個單位就跑出來了,說他們要nginx的log,
發生當下才能作為分析用途。

[istio]istio 掛載ECK kibana

前言

istio的kibana設定,
因為kibana的設定,沒看到有可以更改自身host位置的地方。
搞了一陣子,留給之後會用到的人吧。

2022年2月16日 星期三

[ECK]ECK ILM 設定

前言

使用預設的filebeat.yaml設定,
導致現在elasticsearch的log爆炸了。
連開都開不起來。
所以這次要解決兩個問題,

  1. 自動刪除舊的log
  2. 將log根據日期分配

經過一早上的研究,發現我想得跟我要解決的問題不一樣XDDD

所以本文會在探討ILM的設定

[JavaScript]npm與yarn指令比較

前言

前些日子,在幫前端寫自動部署,
然後他們是用npm..
記得用yarn打包起來會比較小,
所以就當筆記吧~~

[Win10]非分頁集區記憶體暴增

 前言

最近發現的,電腦開機過一段時間後,記憶體常被咬滿。
但看真實的記憶體使用量,又沒有特定的程式在使用。
最後才看到,『非分頁集區的記憶體』高的很誇張。

2022年2月15日 星期二

[css]文字電影效果

前言

效果在首頁的右方,About 那塊。因為都沒再看Plurk跟 Twitter了。
就乾脆撤掉吧,查了一下有哪些文字特效就拿來用了。

2022年2月14日 星期一

[網路]網站效能指標一覽

前言

這是一篇還沒寫完的筆記,
裡面只有TPS而已,
未來再繼續補了。

[ECK] ECK安裝

前言

ECK 其實就是EFK,
全名是 Elastic Cloud on Kubernetes ,官方說法是更容易也更簡單的使用及安裝。