初始化提交

filebast/主配置文件.yaml

@@ -0,0 +1,83 @@
+setup.template.enabled: true
+setup.ilm.enabled: true
+setup.template.name: "fly-moon-email_v2_logs"
+setup.template.pattern: "fly-moon-email_v2_logs*"
+
+
+
+filebeat.inputs:
+  - type: filestream
+    id: fly-moon-email_v2_logs
+    enabled: true
+    paths:
+      - /data/webapps/fly_moon_email_v2/nohup.out
+    # 从文件末尾开始读取
+    tail_files: true
+    start_position: end  # 从文件末尾开始读取
+    # 扫描新日志文件的频率
+    scan_frequency: 10s
+    # 防止 Filebeat 过早关闭文件句柄
+    close_inactive: 15m
+    # 忽略超过指定时间未更新的日志文件
+    ignore_older: 24h
+    # 清理超过指定时间未使用的状态
+    clean_inactive: 48h
+    parsers:
+      - multiline:
+          type: pattern
+          pattern: '^\d{4}-\d{2}-\d{2} \d{2}:\d{2}:\d{2}'
+          negate: true
+          match: after
+
+
+
+# 输出到 Elasticsearch
+output.elasticsearch:
+   hosts: ["http://192.168.60.21:9200"]
+   username: "elastic"
+   password: "Elastic_123456"
+   index: "fly-moon-email_v2_logs-%{+yyyy.MM.dd}"
+   bulk_max_size: 1024       # 单批次传输最大文档数
+   worker: 1                # 并行工作线程数
+
+
+
+# 处理器（数据增强）
+processors:
+  - add_host_metadata: ~     # 添加主机元数据
+  - add_cloud_metadata: ~    # 添加云环境元数据（如果在云上）
+  - add_docker_metadata: ~   # 添加 Docker 元数据（如果在 Docker 中）
+  - add_fields:
+      target: ""
+      fields:
+        environment: "production"
+        application: "fly-moon-email_v2"
+  - drop_fields:
+      fields: ["agent", "ecs"]  # 删除不必要的字段，减少存储开销
+
+
+
+
+
+
+
+
+# 日志记录
+logging.level: info
+logging.to_files: true
+logging.files:
+  path: /var/log/filebeat
+  name: filebeat.log
+  keepfiles: 7
+  permissions: 0644
+
+
+
+# 设置队列和内存使用
+queue.mem:
+  events: 1024
+  flush.min_events: 512
+  flush.timeout: 5s
+
+
+