Pages - Menu

2022年2月28日 星期一

[ECK]filebeat LOG蒐集遺失

前言

最近同事回報說,pod 有些log沒有進到ECK裡面去,
一查還真的是這樣,
但QA環境沒問題,
偏偏正是環境就炸了。

正文


本來也有想說是不是真的沒有log,
到filebeat的pod去查,那些沒進去的pod log也都是存在。

log路徑

/var/log/containers/
  1. 故先排除,服務沒有寫入log的可能性。

  2. 會不會是filebeat在讀取log時的暫存空間不足。

但如果是此情況的話,應該是全部的filebeat都會有log遺失,這次的情況是在某些node上的服務 log都有進到ES,
其他的node都沒有。但也是有此可能性。

調整filebeat內部資源

ref.

  1. filebeat一直重啟

之後跑去看filebeat的pod狀態,
發現有很多個pod常常不斷的重新啟動,
再到裡面去看詳細內容,
發現cpu跟 記憶體的使用量很高,
推測可能是由於資源不足導致。

查詢filebeat官方建議的使用資源是多少。

filebeat建議使用
cpu : 500Mi
memory: 500Mi

改完後,觀察了約一個禮拜,lod都有持續進去,應該是沒問題,但容量也因此爆增了。

ref. Manage compute resources

沒有留言:

張貼留言