更改filebast配置

filebast/us-prod-01/filebeat.yml

@@ -18,7 +18,7 @@ processors:
       when:
         equals:
           log_type: admin.log 
-      tokenizer: '%{timestamp} %{level} %{pid} --- \\[%{thread}\\] %{class} : %{message}'
+      tokenizer: '%{timestamp}  %{level}  %{pid}  ---  [%{thread}]  %{class}  :  [%{app_name->}]  %{message}'
       field: "message"
       target_prefix: "mylog"
       ignore_missing: true

filebast/us-prod-01/flymoon-admin.yml

@@ -9,7 +9,7 @@
     environment: us-pord    # 自定义字段，标识机器环境名称
     instance: us-prod-01  # 自定义字段，标识机器名称
   fields_under_root: true
-  multiline.pattern: '^\d{4}-\d{2}-\d{2}\ \d{2}:\d{2}:\d{2}\.\d{3}'
+  multiline.pattern: '^\d{4}-\d{2}-\d{2}-\d{2}:\d{2}:\d{2}\.\d{3}'
   multiline.negate: true
   multiline.match: after
   ignore_older: 24h   # 忽略旧日志文件（避免处理已归档的日志）

filebast/us-prod-02/filebeat.yml

@@ -37,7 +37,7 @@ processors:
       when:
         equals:
           log_type: agent.log
-      tokenizer: '%{date} %{time} %{level}  %{pid} --- [%{thread}] %{class->} : [%{app}] %{message}'
+      tokenizer: '%{timestamp}  %{level}  %{pid}  ---  [%{thread}]  %{class}  :  [%{app_name->}]  %{message}'
       field: "message"
       target_prefix: "mylog"
       ignore_missing: true

filebast/us-prod-02/flymoon-agent.yml

@@ -9,7 +9,7 @@
     environment: us-pord    # 自定义字段，标识机器环境名称
     instance: us-prod-02  # 自定义字段，标识机器名称
   fields_under_root: true
-  multiline.pattern: '^\d{4}-\d{2}-\d{2}\ \d{2}:\d{2}:\d{2}\.\d{3}'
+  multiline.pattern: '^\d{4}-\d{2}-\d{2}-\d{2}:\d{2}:\d{2}\.\d{3}'
   multiline.negate: true
   multiline.match: after
   ignore_older: 24h   # 忽略旧日志文件（避免处理已归档的日志）

filebast/us-prod-03/filebeat.yml

@@ -26,7 +26,7 @@ processors:
       when:
         equals:
           log_type: agent.log
-      tokenizer: '%{date} %{time} %{level}  %{pid} --- [%{thread}] %{class->} : [%{app}] %{message}'
+      tokenizer: '%{timestamp}  %{level}  %{pid}  ---  [%{thread}]  %{class}  :  [%{app_name->}]  %{message}'
       field: "message"
       target_prefix: "mylog"
       ignore_missing: true
@@ -38,7 +38,7 @@ processors:
       when:
         equals:
           log_type: payment.log
-      tokenizer: '%{date} %{time} %{level}  %{pid} --- [%{thread}] %{class->} : [%{app}] %{message}'
+      tokenizer: '%{timestamp}  %{level}  %{pid}  ---  [%{thread}]  %{class}  :  [%{app_name->}]  %{message}'
       field: "message"
       target_prefix: "mylog"
       ignore_missing: true

filebast/us-prod-03/flymoon-agent.yml

@@ -9,7 +9,7 @@
     environment: us-pord    # 自定义字段，标识机器环境名称
     instance: us-prod-03  # 自定义字段，标识机器名称
   fields_under_root: true
-  multiline.pattern: '^\d{4}-\d{2}-\d{2}\ \d{2}:\d{2}:\d{2}\.\d{3}'
+  multiline.pattern: '^\d{4}-\d{2}-\d{2}-\d{2}:\d{2}:\d{2}\.\d{3}'
   multiline.negate: true
   multiline.match: after
   ignore_older: 24h   # 忽略旧日志文件（避免处理已归档的日志）

filebast/us-prod-03/flymoon-payment.yml

@@ -9,7 +9,7 @@
     environment: us-pord
     instance: us-prod-03
   fields_under_root: true
-  multiline.pattern: '^\d{4}-\d{2}-\d{2}\ \d{2}:\d{2}:\d{2}\.\d{3}'
+  multiline.pattern: '^\d{4}-\d{2}-\d{2}-\d{2}:\d{2}:\d{2}\.\d{3}'
   multiline.negate: true
   multiline.match: after
   ignore_older: 24h   # 忽略旧日志文件（避免处理已归档的日志）

问IA.md

@@ -341,3 +341,30 @@ Swap:          8.0Gi       3.9Gi       4.1Gi   从工作进程上分析，从内
 3、相比上次查询，哪个子进程没了，哪个子进程出现了
 ====2025-10-01 10:01:00 ====
 
+
+
+k8s 日志采集
+背景：一个项目，有完整的前后端pod，但是有部署多套测试环境。
+比如s1环境、s2环境、s3环境、s4环境、s5环境、s6环境...
+以s1环境为例：总共有如下pod，使用deployment部署。
+s1-flymoon-admin-7cf5fcf447-t7p7n
+s1-flymoon-admin-web-756b79567d-whllw
+s1-flymoon-agent-66485d7b4-mrnqq
+s1-flymoon-email-868c885b79-dvsjc
+s1-flymoon-payment-84f7fdbfcb-94bhl
+s1-lessie-agents-59797c5464-4vwfr
+s1-lessie-ai-web-5c86b8d944-vmv72
+s1-lessie-go-api-774ddc644c-m4cqc
+
+然后s2环境，其中其他flymoon基础付服务使用s1环境的pod，通过svc访问过去
+s2-lessie-agents-69798c5414-1hvfr
+s2-lessie-ai-web-9c8988d914-mrv72
+s2-lessie-go-api-47498c641c-4cpqc
+
+s3~s6环境与s2环境类似，只有各自的：lessie-agents、lessie-ai-web、lessie-go-api
+
+现在我需要采集日志到es中，这个es是k8s外部部署的，怎么采集日志呢？
+daemonSet方式每个node运行一个采集器采集该节点的pod的日志？使用什么采集器？怎么配置？能自动发现pod日志？能处理日志，比如分词？json分词？
+那每个节点上的采集器的pod怎么准确采集呢？比如s1环境的s1-lessie-agents pod，它有多个副本，被调度在不同node上，那么采集器怎么采集到A node的s1-lessie-agents 和 B node的s1-lessie-agents pod的日志到同一个es索引中的呢？
+另外es的索引名称应该如何命名呢？设置生命周期、索引模板、按天or周or月分割索引？
+