[ECK]elasticsearch ingest processor補充

前言

補充ingest 的 processor

正文

上篇提到，正常要等ILM跑完後，所設定的default_pipeline才會寫入。
但今天是可以提早讓他跑ILM，這樣就會把預設的default_pipeline寫進去了。

而只要在default_pipeline 設定好，後續再改pipeline的設定時，都會直接影響噹下的設定。

1. 在index template設定pipeline
   ![[BLOG.90-fig.10.jpg]]
2. 到 Devtools 執行下面指令
   強制datastream執行ILM

POST /filebeat-8.1.0/_rollover

ref.
- DataStream
- Elasticsearch 7.X data stream 深入詳解

ingest 補充

processor分成好幾個類型

上一篇是使用grok(這個是使用正則去篩選字串)，
有人建議使用Dissect，速度比grok快，但只適用於有固定分隔字串的message。

下面簡單敘述用途，詳細就點連結過去看了。

• Append
  在現有的字串內增加值
• Bytes
  把空間計算方式(kb,mb,gb…)轉成byte
• Circle
  把圓形轉為近似他們的規則多邊形（我也不知道這能做啥）
• Community ID
  計算網路資料流的id，能透過此id關聯相關的網路事件
• Convert
  將欄位內容轉為integer、long、float、double、string、boolean、ip
• CSV
  將欄位中的的資料當作csv去辨別
• Date
  將欄位內容轉為日期格式
• Date index name
  將日期取出作為index的名稱
• Dissect
  與grok相似，但不使用正則作為結構化欄位
• Dot expander
  會將 . 視為一個物件的名稱，

  foo.bar :value
  foo : { 
    bar: value
  }

• Drop
  根據條件刪除document
• Enrich
  根據欄位規則，自動新增資料
• Fail
  當錯誤時，傳送訊息
• Fingerprint
  計算document的hash值
• Foreach
  當元素數量不確定時使用
• GeoIP
  根據地理位置提供更多資訊
• Grok
  從document中截取結構化的字串出來(正則)
• Gsub
  使用正則或取代來轉換字串
• HTML strip
  從欄位中移除html的tag
• Inference
  Uses a pre-trained data frame analytics model to infer against the data that is being ingested in the pipeline.
• Join
  將欄位中的array值用分隔符串起來
• JSON
  將json字串轉成json格式
• KV
  指定欄位自動解析訊息
• Lowercase
  將字串轉成小寫
• Network direction
  根據來源IP及目的IP計算是 inbound或 outbonud
• Pipeline
  在pipeline內執行其他的pipeline
• Registered domain
  解析domain，區分出 sub-doamin、top-level domain
• Remove
  移除欄位
• Rename
  更改欄位名稱
• Script
  執行script
• Set
  指令欄位寫值
• Set security user
  通過預處理程序，從目前驗證的使用者截取資料
• Sort
  對欄位內的array做排序
• Split
  使用分隔符號，將字串切成array
• Trim
  移除欄位空白
• Uppercase
  將字串轉成大寫
• URL decode
  將URL網址解碼
• URI parts
  將URL請求拆開成URI object
• User agent
  解析user_agent