初始化提交

filebast/海外148/148_app.lessie.ai_influencer_search.yml

@@ -0,0 +1,19 @@
+- type: log
+  id: app_lessie_ai_influencer_5002-nohup
+  enabled: true
+  paths:
+    - /data/webapps/influencer_search_agent/log/influencer_5002*.log
+  fields:
+    application: influencer_search_app.lessie.ai  # 自定义字段，标识应用名称
+    log_type: influencer_5002.log  # 自定义字段，标识日志类型
+    environment: app_lessie_ai    # 自定义字段，标识机器环境名称
+  fields_under_root: true
+  multiline.pattern: '^\d{4}-\d{2}-\d{2} \d{2}:\d{2}:\d{2}'
+  multiline.negate: true
+  multiline.match: after
+  ignore_older: 24h   # 忽略旧日志文件（避免处理已归档的日志）
+  scan_frequency: 10s   # 定期扫描新文件的频率
+  clean_inactive: 25h   # 清除超过一天未更新的文件
+  close_inactive: 5m    # 文件超过5分钟无更新则关闭
+  close_renamed: true   # 处理被重命名的文件
+  start_position: beginning   # 从文件的开头读取

filebast/海外148/148_influencer_search.yml

@@ -0,0 +1,19 @@
+- type: log
+  id: test_influencer_search-nohup
+  enabled: true
+  paths:
+    - /data/webapps/test_influencer_search_agent/log/influencer_search_*.log
+  fields:
+    application: influencer_search  # 自定义字段，标识应用名称
+    log_type: influencer_search.log  # 自定义字段，标识日志类型
+    environment: test    # 自定义字段，标识机器环境名称
+  fields_under_root: true
+  multiline.pattern: '^\d{4}-\d{2}-\d{2} \d{2}:\d{2}:\d{2}'
+  multiline.negate: true
+  multiline.match: after
+  ignore_older: 24h   # 忽略旧日志文件（避免处理已归档的日志）
+  scan_frequency: 10s   # 定期扫描新文件的频率
+  clean_inactive: 25h   # 清除超过一天未更新的文件
+  close_inactive: 5m    # 文件超过5分钟无更新则关闭
+  close_renamed: true   # 处理被重命名的文件
+  start_position: beginning   # 从文件的开头读取

filebast/海外148/filebeat.yml

@@ -0,0 +1,125 @@
+setup.template.enabled: true
+setup.ilm.enabled: true
+setup.template.name: "out-148-flymoonlog"
+setup.template.pattern: "out-148-flymoonlog*"
+
+
+
+#主配置文件加载子配置文件
+filebeat.config.inputs:
+  enabled: true
+  path: /etc/filebeat/inputs.d/*.yml
+  reload.enabled: true
+  reload.period: 10s
+
+
+
+# 处理器
+processors:
+  ## 针对 influencer_im.log 的 dissect（基础字段分解）
+  - dissect:
+      when:
+        equals:
+          log_type: influencer_search.log
+      tokenizer: '%{timestamp} - %{module} - %{level} - %{raw_tail}'
+      field: "message"
+      target_prefix: "mylog"
+      ignore_missing: true
+      overwrite_keys: true
+
+  # 从 message 中提取 user_email
+  - dissect:
+      when:
+        equals:
+          log_type: influencer_search.log
+      tokenizer: '[user_email: %{user_email}] %{tail}'
+      field: "mylog.raw_tail"
+      target_prefix: "mylog"
+      ignore_missing: true
+      overwrite_keys: true
+
+  # 提取 conversation_id
+  - dissect:
+      when:
+        equals:
+          log_type: influencer_search.log
+      tokenizer: '[conversation_id: %{conversation_id}] %{tail}'
+      field: "mylog.tail"
+      target_prefix: "mylog"
+      ignore_missing: true
+      overwrite_keys: true
+
+
+
+
+
+
+  ## 针对 influencer_5002.log 的 dissect（基础字段分解）
+  - dissect:
+      when:
+        equals:
+          log_type: influencer_5002.log
+      tokenizer: '%{timestamp} - %{module} - %{level} - %{raw_tail}'
+      field: "message"
+      target_prefix: "mylog"
+      ignore_missing: true
+      overwrite_keys: true
+
+  # 从 message 中提取 user_email
+  - dissect:
+      when:
+        equals:
+          log_type: influencer_5002.log
+      tokenizer: '[user_email: %{user_email}] %{tail}'
+      field: "mylog.raw_tail"
+      target_prefix: "mylog"
+      ignore_missing: true
+      overwrite_keys: true
+
+  # 提取 conversation_id
+  - dissect:
+      when:
+        equals:
+          log_type: influencer_5002.log
+      tokenizer: '[conversation_id: %{conversation_id}] %{tail}'
+      field: "mylog.tail"
+      target_prefix: "mylog"
+      ignore_missing: true
+      overwrite_keys: true
+
+
+
+
+
+
+
+
+
+#输出
+output.elasticsearch:
+  hosts: ["http://106.53.194.199:9200"]
+  username: "admin"
+  password: "123456"
+  index: "out-148-flymoonlog-%{[environment]}-%{[application]}-%{+yyyy.MM}"  # 按月分割索引
+  bulk_max_size: 50       # 单批次传输最大文档数
+  worker: 1                # 并行工作线程数
+  timeout: 15s
+
+
+
+# 日志记录
+logging.level: info
+logging.to_files: true
+logging.files:
+  path: /var/log/filebeat
+  name: filebeat.log
+  keepfiles: 7
+  permissions: 0644
+
+
+
+# 设置队列和内存使用
+queue.mem:
+  events: 1024
+  flush.min_events: 512
+  flush.timeout: 10s

filebast/海外148/test_check_tiktok_account.yml

@@ -0,0 +1,19 @@
+- type: log
+  id: test_check_tiktok_account-output
+  enabled: true
+  paths:
+    - /data/webapps/test_check_tiktok_account/output.log
+  fields:
+    application: check_tiktok_account  # 自定义字段，标识应用名称
+    log_type: check_tiktok_accountl_output.log  # 自定义字段，标识日志类型
+    environment: test    # 自定义字段，标识机器环境名称
+  fields_under_root: true
+  multiline.pattern: '^\d{4}-\d{2}-\d{2} \d{2}:\d{2}:\d{2},\d{3}'
+  multiline.negate: true
+  multiline.match: after
+  ignore_older: 24h   # 忽略旧日志文件（避免处理已归档的日志）
+  scan_frequency: 10s   # 定期扫描新文件的频率
+  clean_inactive: 25h   # 清除超过一天未更新的文件
+  close_inactive: 5m    # 文件超过5分钟无更新则关闭
+  close_renamed: true   # 处理被重命名的文件
+  start_position: beginning   # 从文件的开头读取

filebast/海外148/test_cron_update_yt.yml

@@ -0,0 +1,22 @@
+- type: log
+  id: test_cron_update_yt_log
+  enabled: true
+  paths:
+    - /data/webapps/test_yt_data_update/logs/cron_update_yt.log
+  fields:
+    application: cron_yt_data_update  # 自定义字段，标识应用名称
+    log_type: cron_update_yt.log  # 自定义字段，标识日志类型
+    environment: test    # 自定义字段，标识机器环境名称
+  fields_under_root: true
+  multiline.pattern: '^\['
+  multiline.negate: true
+  multiline.match: after
+  ignore_older: 24h   # 忽略旧日志文件（避免处理已归档的日志）
+  scan_frequency: 10s   # 定期扫描新文件的频率
+  clean_inactive: 25h   # 清除超过一天未更新的文件
+  close_inactive: 5m    # 文件超过5分钟无更新则关闭
+  close_renamed: true   # 处理被重命名的文件
+  start_position: beginning   # 从文件的开头读取
+
+
+

filebast/海外148/test_ins_search_crawler.yml

@@ -0,0 +1,22 @@
+- type: log
+  id: test_ins_search_crawler-output
+  enabled: true
+  paths:
+    - /data/webapps/test_ins_search_crawler/output.log
+  fields:
+    application: ins_search_crawle  # 自定义字段，标识应用名称
+    log_type: ins_search_crawler_output.log  # 自定义字段，标识日志类型
+    environment: test    # 自定义字段，标识机器环境名称
+  fields_under_root: true
+  multiline.pattern: '^\d{4}-\d{2}-\d{2} \d{2}:\d{2}:\d{2},\d{3}'
+  multiline.negate: true
+  multiline.match: after
+  ignore_older: 24h   # 忽略旧日志文件（避免处理已归档的日志）
+  scan_frequency: 10s   # 定期扫描新文件的频率
+  clean_inactive: 25h   # 清除超过一天未更新的文件
+  close_inactive: 5m    # 文件超过5分钟无更新则关闭
+  close_renamed: true   # 处理被重命名的文件
+  start_position: beginning   # 从文件的开头读取
+
+
+

filebast/海外148/test_tk_shop_crawler.yml

@@ -0,0 +1,21 @@
+- type: log
+  id: test_tk_shop_crawler_log
+  enabled: true
+  paths:
+    - /data/webapps/test_tk_shop_crawler/output.log
+  fields:
+    application: tk_shop_crawler  # 自定义字段，标识应用名称
+    log_type: tk_shop_crawler.log  # 自定义字段，标识日志类型
+    environment: test    # 自定义字段，标识机器环境名称
+  fields_under_root: true
+  multiline.pattern: '^\d{4}-\d{2}-\d{2} \d{2}:\d{2}:\d{2},\d{3}'
+  multiline.negate: true
+  multiline.match: after
+  ignore_older: 24h   # 忽略旧日志文件（避免处理已归档的日志）
+  scan_frequency: 10s   # 定期扫描新文件的频率
+  clean_inactive: 25h   # 清除超过一天未更新的文件
+  close_inactive: 5m    # 文件超过5分钟无更新则关闭
+  close_renamed: true   # 处理被重命名的文件
+  start_position: beginning
+
+

filebast/海外148/test_update_yt.yml

@@ -0,0 +1,22 @@
+- type: log
+  id: test_update_yt_log
+  enabled: true
+  paths:
+    - /data/webapps/test_yt_data_update/logs/update_yt.log
+  fields:
+    application: yt_data_update  # 自定义字段，标识应用名称
+    log_type: update_yt.log  # 自定义字段，标识日志类型
+    environment: test    # 自定义字段，标识机器环境名称
+  fields_under_root: true
+  multiline.pattern: '^\d{4}-\d{2}-\d{2} \d{2}:\d{2}:\d{2},\d{3}'
+  multiline.negate: true
+  multiline.match: after
+  ignore_older: 24h   # 忽略旧日志文件（避免处理已归档的日志）
+  scan_frequency: 10s   # 定期扫描新文件的频率
+  clean_inactive: 25h   # 清除超过一天未更新的文件
+  close_inactive: 5m    # 文件超过5分钟无更新则关闭
+  close_renamed: true   # 处理被重命名的文件
+  start_position: beginning   # 从文件的开头读取
+
+
+

filebast/海外148/test_yt_search_crawler.yml

@@ -0,0 +1,22 @@
+- type: log
+  id: test_yt_search_crawler-output
+  enabled: true
+  paths:
+    - /data/webapps/test_yt_search_crawler/output.log
+  fields:
+    application: yt_search_crawler  # 自定义字段，标识应用名称
+    log_type: yt_search_crawler_output.log  # 自定义字段，标识日志类型
+    environment: test    # 自定义字段，标识机器环境名称
+  fields_under_root: true
+  multiline.pattern: '^\d{4}-\d{2}-\d{2} \d{2}:\d{2}:\d{2},\d{3}'
+  multiline.negate: true
+  multiline.match: after
+  ignore_older: 24h   # 忽略旧日志文件（避免处理已归档的日志）
+  scan_frequency: 10s   # 定期扫描新文件的频率
+  clean_inactive: 25h   # 清除超过一天未更新的文件
+  close_inactive: 5m    # 文件超过5分钟无更新则关闭
+  close_renamed: true   # 处理被重命名的文件
+  start_position: beginning   # 从文件的开头读取
+
+
+