更改filebast配置

This commit is contained in:
dxin
2025-12-11 15:17:03 +08:00
parent 7ad9956c5d
commit 6f7b24926d
8 changed files with 35 additions and 8 deletions

View File

@@ -341,3 +341,30 @@ Swap: 8.0Gi 3.9Gi 4.1Gi 从工作进程上分析,从内
3、相比上次查询哪个子进程没了哪个子进程出现了
====2025-10-01 10:01:00 ====
k8s 日志采集
背景一个项目有完整的前后端pod但是有部署多套测试环境。
比如s1环境、s2环境、s3环境、s4环境、s5环境、s6环境...
以s1环境为例总共有如下pod使用deployment部署。
s1-flymoon-admin-7cf5fcf447-t7p7n
s1-flymoon-admin-web-756b79567d-whllw
s1-flymoon-agent-66485d7b4-mrnqq
s1-flymoon-email-868c885b79-dvsjc
s1-flymoon-payment-84f7fdbfcb-94bhl
s1-lessie-agents-59797c5464-4vwfr
s1-lessie-ai-web-5c86b8d944-vmv72
s1-lessie-go-api-774ddc644c-m4cqc
然后s2环境其中其他flymoon基础付服务使用s1环境的pod通过svc访问过去
s2-lessie-agents-69798c5414-1hvfr
s2-lessie-ai-web-9c8988d914-mrv72
s2-lessie-go-api-47498c641c-4cpqc
s3~s6环境与s2环境类似只有各自的lessie-agents、lessie-ai-web、lessie-go-api
现在我需要采集日志到es中这个es是k8s外部部署的怎么采集日志呢
daemonSet方式每个node运行一个采集器采集该节点的pod的日志使用什么采集器怎么配置能自动发现pod日志能处理日志比如分词json分词
那每个节点上的采集器的pod怎么准确采集呢比如s1环境的s1-lessie-agents pod它有多个副本被调度在不同node上那么采集器怎么采集到A node的s1-lessie-agents 和 B node的s1-lessie-agents pod的日志到同一个es索引中的呢
另外es的索引名称应该如何命名呢设置生命周期、索引模板、按天or周or月分割索引