[Linux] Curl 筆記

前言

這個應該是很基本的網路通訊架構，

但是我一點都不知道XDDDDDDD

K完書，又查了點資料才有點概念。

但如果跑去查封包....

應該還是有點懸

[GKE] GKE workload Identity 實地演練

前言

某位大神說，GKE使用 IAM的角色認證安全性不太夠，

所以希望未來都改用這種，workload Ideneity，

就開始了採坑之旅，是說這個坑沒想像中的深。

[SSH] SSH無法連線，REMOTE HOST IDENTIFICATION HAS CHANGED

前言

SSH無法連線，REMOTE HOST IDENTIFICATION HAS CHANGED

[GOlang] GO get 參數

前言

大部分會用到go get的情況非常少，

這邊是拿來包Docker在用的，

但gcsfuse又突然不能掛載資料夾，才有這個延伸問題出來。

[GCP]列出GCE的所有VM

前言

這個題目好像是之前在算機器時候用的，

GKE的node其實也算在GCE裡面。

所以如果要算cloudNAT的機器數量去判斷可用的port多少，這個就非常重要了。

[SRS]srs 影音串流 on GKE

前言

首先介紹一下srs，這個就是一個影音串流，
本來是乖乖再用EFK on GKE，然後說網路有問題，
就又被抓去協助了

[k8s] PDB（pod中斷預算）

前言

K8S真是 TXD博大精深......，

沒想到再追GKE節點無法自動縮小的時候，會到這邊來。

[GKE]GKE節點無法自動縮小

前言

果然東西穩定之後，上面的都會想要costDown，

不過這也算是當初建立的人沒設定好，

會發生這個情況，後續也查明了，當初在每個節點上只允許放64個pod，

所以就算放滿，也吃不到那麼多。

但沒有自動縮小，這其實也是個問題，但要自動縮小，

還要看這個服務是否合適...。

反正我之後反而沒在糾結這個狀況了。

[Golang] Golang重新讀取設定檔的方法

前言

因為碰到一個奇怪的問題，需要一直去改golang的config檔，

所以就再想了，能不能像以前的php或html，單純改config，重新整理就能抓到資料。

結果.......

紀念隨筆

前言

紀錄換工作一年後的感想。

[Solr]solrCloud的初體驗

前言

第一次用Solr，就來筆記一下吧。下次再碰應該不知道過多久了。

[正規表示法]正則取代，留下特定字串

前言

要把資料匯入到solr裡面，本來是想用json匯入，

所以想把xml轉成json，但一轉發現，這不是標準的xml，

所以變成要先做一下資料清洗

[Solr]SolrCloud on GKE

前言

這又是另一個坑，本來都是使用單機上的solr，但是有人稍微壓測了一下，發現下group的時候，效能好像不太優，所以就叫我把solr裝在GKE上面，看能不能在查詢的時候，

自動做負載平衡。所以，又來了查文件之旅。

本來是在想只要安裝solr就好，但是滿滿的未知。

然後突然找到了SolrCloud 專門為雲端所弄出來的Solr，就是你了。

但安裝過程還真的沒那麼容易...😂

[Zookeeper]分佈式系統-Zookeeper

前言

最近在搞solrCloud，然後就莫名奇妙看到這個東西了。說solrCloud依賴這個服務，但這個服務在幹嘛的，我還真不知道。只好先研究一下了。怎麼感覺我換工作後一直在K文件，然後都是中文資料很少的那種😭。

[istio]istio virtualService delegate使用

前言

這次起因應該是自己亂搞吧，會用到delegate的原因，是為了要解決在維護時上的痛點。

因目前使用flagger canary，
導致每個服務就一個virtualService (下面會用VS代替)，
而多個服務會共用一個host ，導致在維護上的困難。
而且在kiali上面會出現警告(fig.1)，看了實在礙眼。

(fig.1)

[istio]istio operator 安裝新的 ingress deploy及service

前言

主管挑戰DC失敗，變成又要變回舊的系統架構。暈…
用了istio是為了一個ip打所有服務，現在又變回去。
服務跟 ip 是一對一的存在。所以，如果用istio的預設安裝，只會安裝一個。

現在要變成多個。

[Redis]centos 7安裝redis 改port

前言

我也是第一次碰redis，以前做MIS、MES、RD，都沒有碰過有大量請求需要快取的情況，

一般都是直接衝去SQL撈資料處理。

同事以前就接觸過這種big query的資料庫了，但也只是會用，不會安裝，

所以就有了這篇採坑記了。

[nuxtJS]nuxtJS 的 Dockerfile

前言

又多了一個新的套件要做，這次用的是nuxt.js ，只知道是vue.js延伸出來的東西…
然後，上吧。

[istio]istio service mesh 掃雷記

前言

狀況很奇特，奇特到我不知道該從哪裡找。簡單說就是gateway裡面有mesh的話，
就會有這個狀況出現，也只能說這是因為要轉呼叫其他部門的API，才會有這個狀況。

[istio] istio的virtualservice match比對

前言

最近因為新的需求，再度跟istio的virtualservice槓上了。
這次要做的是針對domain去解析網址，host不再自定。

這個需求是因為，一個服務會綁定許多的垃圾網址，

但用了istio就必須要由我這邊設定每個domain，才能進去到正確的服務。

所以要使用正則，如果有符合規則的domain就自動進到服務，而不用我這邊做設定。

[Docker]Dockerfile 除錯記，列印訊息

前言

在幫人寫自動佈署的時候，發現以往的Docker會顯示畫面上的指令，
這次都沒有出來。導致不知道我哪邊寫錯了，

只好先找出列印訊息的方式。

[Prometheus]Prometheus的專用語言promQL

前言

在寫監控告警的時候，看別人寫好的dashboard裡面有一堆函數，
但卻偏偏不知道該怎麼使用，後來才知道這是 Prometheus的語言 PromQL，
這邊會將寫監控時用到的東西記下，基本上都是針對metrics做的處理。

[GKE]Kubernetes的節點選擇與污染

前言

最近碰到的問題，起因是單台的對外連線數過大，導致程式發生問題，無法再連線到外部網路。

[grafana]grafana alert message parameters傳入

前言

在設計grafana alert message的時候，
一直想傳參數進去，看官方文章顯示是可行的，
但是不知道是我理解能力太爛還是文章寫的太簡單…弄了半天才生出來。

[Grafana]GKE上的grafana上寄送告警圖片

前言

在寫grafana的時候，才發現告警的圖片無法寄出，
必須要額外安裝plugin : grafana-image-renderer ，
然後，我又卡住了…

[grafana]grafana設計篇-第二個Y軸

前言

應該是個很常見的功能，但是我卻找了很久，一直找不到。

[istio] istio的 prometheus截取GKE metrics

前言

主要架構弄得差不多的，使用 istio 加上 drone 的 自動佈署，
再配合 flagger的藍綠佈署，藍綠佈署時使用telegram通知目前佈署進度。
，現在剩下監控這一塊。
然後，阿伯，出事拉…

[Blogger]寫部落格會用到的工具

正文

換工作到現在也半年多了，一堆新學的東西要記錄。

現在很習慣使用Markdown了，但要把markdown轉成blogger的文章還真的有點麻煩。

後來有找到一個網站，

能夠把markdown的語法轉成html，雖然有時怪怪的，但改一下就好。

Markdown to HTML

另外，ATOM在改大量的檔案名稱時，

可以使用

 alt + \  

再按 ↓ 就能夠回到資料夾的第一個。

我將已經發到網站上的文章，會將我的備忘改名字。

[軟體]telegram api使用

前言

上一篇寫到用flagger，建立webhook發送通知。
公司有在用的就skype跟 telegram，所以就…開始吧。

如果要玩telegram 的機器人的話，剛開始的申請方式也一樣。

但差別只在於，當使用者在telegram上面輸入訊息時，

必須要讓telegram轉送他的訊息到你的程式內然後去解析，再回覆。 

下面的作法跟 line notfiy差不多，都只是單純通知而已。

[istio]flagger 自動金絲雀佈署 for istio 1.8.2

前言

本來自動佈署配上istio都好了，
但在實際上測試的時候發現，如果不導入自動藍綠佈署或金絲雀佈署的話，
到時開發人員發佈程式時，需要更改istio 的 VirtualService 以及 DestinationRule。
除非發佈的人懂這些東西，不然…改壞就…，所以只好先研究flagger了。減少開發人員佈署的know how，
只要git tag ，然後『等』 就好了。

[istio]訪問istio 內部負載平衡ip

前言

前陣子在討論架構的時候，有講到以前會有兩個ip，一個內部一個外部，

預設都是當外面的流量走專線進來到內部，當內部的線路掛了時候，

會使用外部ip，但istio預設安裝都是外部負載平衡的ip。

所以...這篇出現了。😑

[GCP]GCE硬碟增加容量大小

前言

之前有加大過GCE的CPU跟ram，但怎麼加硬碟空間還真的不知道。

[istio]istio Virtual Service 跨namespace讀取 DestinationRule

前言

因為在寫 vs的match uri，有發生一些坑，使用了prefix導致其他的VS都去抓到另一個VS的路徑，
於是想要讓所有的VS都用同一個VS，避免未來發生同樣的錯誤，不好找原因。

[MAC]Gcloud AttributeError module importlib has no attribute util 錯誤

前言

上一篇，有講到httpie這個套件，簡單使用，我就直接在mac上裝了。
然後，gcloud,kubectl就掛了…

[Linux] dustise sleep 測試工具簡介

前言

之前就有用過 dustise/sleep ，用for 迴圈來打 網址做測試，
今天想說那裡面的http到底是哪一套工具，才發現原來裡面有那麼多的工具能用。

裡面的工具mac基本上都可以用，使用brew安裝即可。

2021.03.18更新：又找到了幾款不錯用的工具，同步增加。

[istio] istio 服務無法訪問

前言

今天上班就發現這個情況，istio的服務無法訪問，但同一個叢集的另一個istio pod卻正常。

雖然每次將istio 整個砍掉後再重裝就能正常，

但不可能每次都砍阿。😱

[istio]安裝istio時固定ip

前言

如果刪除GKE的節點，重建新的話，必須要把istio移除，才能夠使用 遷移工作負載到不同node。

但如果已經將istio的ip ，綁上固定的domain，一旦移除就必須要重新綁定。

所以才有這篇文章的產生，一切都是懶！！！

[雲端]騰訊雲使用VPN連接GCP

前言

又在搞新的東西了，這次要把騰訊雲（TKE）跟Google雲（GCP），做VPN對連，

這次一樣又弄了幾天…最後還是找了GOOGLE工程師協助。

主要卡在IKEAv1的設定以及路由的追蹤上面，

有東西，google上找到的，跟工程師跟我說的不一樣。

像是 IKE配置的協商模式

[k8s] kubernets yaml筆記篇

前言

最近寫yaml，有時常會忘記這個的功能是什麼，就記一下吧。

看來我真的快變成yaml工程師了。

[istio] istio監控軟體kiali 錯誤解法

前言

從istio扯到kiali，是說kiali是真的好用，看流量、錯誤都很快，

不虧是專門弄出來給istio用的阿。

但有些警告，要解就要照他的規範走

[雲端]drone部署至騰訊雲及修改drone plugin映象檔

前言

科技始終來自於人性，現在要讓自動佈署可以支援到騰訊雲，

所以要做到 把映象檔丟去騰訊雲，然後部署的時候可以去抓到映象檔。

(因為他不接受Google Container Respority)

[GCP]GKE訪問外網時的IP來源

前言

有時候我們會針對機器做白名單，通常IP給別人訪問，跟你去訪問別人的都是同一個。

但GCP『不是』，別人訪問，跟你去訪問別人是兩個不同的IP，

想想這樣也對，不然IP哪可能那麼多。

但我看之前別人設定的ip，常常搞不懂，為什麼對外ip是這個，最後才終於瞭解...

[GCP]Google Cloud Storage 掛載至GKE 及 GCE

前言

某個案子，要整個翻掉重做，這次要讓VM的機器跟GKE的pod能夠同時存取一個儲存空間，
預計使用Google Cloud Storage，踩了一個早上的坑。

[Istio] istio 安裝及使用

前言

k8s還沒摸很熟，新的東西就過來了。
這次是server mesh架構，另外，本篇使用的是istioctl 的方式安裝，如果要用helm的方式安裝，

請參考其他文件。

[FFmpeg]編譯FFmpeg 硬體加速的問題

前言 

最近的案子..要幫同仁搞ffmpeg的機器，如果沒有使用顯卡加速是個很愉快的事情 但扯到顯卡就滿滿的坑了。

[GCP]Google Cloud Function限制

前言

這次要生一個ffmpeg的環境出來，然後找阿找阿， 找到一篇文章，上面寫

  Google將Cloud Functions作業系統升級到了Ubuntu 18.04 LTS，擴大了可用函式庫的範圍，除了Imagemagick一直都有外，還多了Ffmpeg和Libcairo2系統函式庫，連無頭Chrome也有，使用者不只可以在Cloud Functions中處理影片，甚至還能進行網頁截圖。

ref Google事件驅動無伺服器平臺Cloud Functions正式上線了! 然後不用架機器，就來看看這條路行不行的通吧

[GCP]GKE上掛載GPU

前言

接了一個工作，要幫人在GKE上面生一個能夠使用GPU的叢集，並且佈署。

[Mongo]搬家採mongo坑記

 前言

    買了Ivacy ，所以自己在外面租的機房空間就打算撤掉了，也要順便把爬蟲搬回自己的電腦上。

然後就是一路的踩坑、坑、坑。這次最主要的應該是mongoDB的不熟悉，踩超久的。

[VMWare] 快速複製檔案

前言

    要把租的機器撤掉了，上面的爬蟲，也只能拉回來自己電腦架設。

所幸當初是用docker一套弄好，所以現在想的應該是把container拉回來自己電腦上跑。

看了一下 Windows10裝docker，也是用虛擬機模擬，那我乾脆用VMWare自己安裝linux吧。

[JS]網頁上簡易使用的JS (2021.02.02)

前言

偶爾會寫一些懶人常用的js，例如網頁自己往下捲（要拿來做什麼請自己思考），

或是 免空的圖片，能夠不用手動按下按鈕之類的，當然也可以變成網頁載入就自動運行，

記得油猴可以做到這點，但我覺得實在沒必要，

畢竟不是很常用，也可能因為網頁改版就失效了。

[Drone] drone實戰篇-yaml採坑篇

前言

  換工作後，開始接觸k8s、GCP、GKE，再來是Drone。

k8s中又延伸了kustomize ，ymal的寫法、佈署方式。

GCP中的cloud armor、GCE ，然後GKE的架構

真的是....滿滿的坑阿。以上講到的，還處於懞懂中，

筆記不知道何年何月何日可寫

[GKE] k8s yaml撰寫 volume 踩坑篇

前言

昨天接到一個任務，要把一個純html，放到nginx上面。

然後就開始踩坑之旅了

[軟體]blob影片格式m3u8下載

前言

其實就是看到某個東西，想要抓。然後突然不知道怎麼抓…就拿這篇當備忘錄了。