Add testing of Filebeat version 9.2

manual/chinese/Integration/Filebeat.md

@@ -4,23 +4,22 @@
 
 [Filebeat](https://www.elastic.co/beats/filebeat) 是一个轻量级的转发器，用于转发和集中日志数据。它作为代理安装后，会监控您指定的日志文件或位置，收集日志事件，并将其转发进行索引，通常是发送到 Elasticsearch 或 Logstash。
 
-现在，Manticore 也支持将 Filebeat 用作处理管道。这允许收集和转换后的数据像发送到 Elasticsearch 一样发送到 Manticore。目前，所有版本至 9.0 都得到全面支持。
+现在，Manticore 也支持将 Filebeat 用作处理流水线。这允许将收集和转换后的数据像发送到 Elasticsearch 一样发送到 Manticore。目前，所有版本直到 9.0 都得到了完全支持。
 
 ## Filebeat 配置
 
-配置会根据您使用的 Filebeat 版本略有不同。
+配置根据您使用的 Filebeat 版本而异。
 
 ### Filebeat 7.17 - 8.0 的配置
 
-请注意，8.10 版本以上的 Filebeat 默认启用了输出压缩功能。因此必须在配置文件中添加 `compression_level: 0` 选项以确保与 Manticore 的兼容性：
 
 ```
 filebeat.inputs:
 - type: log
   enabled: true
-  paths:
     - /var/log/dpkg.log
-  close_eof: true
+  paths:
+	- /var/log/dpkg.log
   scan_frequency: 1s
 
 output.elasticsearch:
@@ -34,22 +33,23 @@ setup.template.name: "dpkg_log"
 setup.template.pattern: "dpkg_log"
 ```
 
-### Filebeat 8.1 - 8.10 的配置
 
-对于 8.1 到 8.10 版本，您需要添加 allow_older_versions 选项：
+### Filebeat 8.1 - 8.10 的配置
+对于版本 8.1 到 8.10，您需要添加 `allow_older_versions` 选项：
+对于版本 8.1 到 8.10，添加 `allow_older_versions` 选项：
 
 ```
 filebeat.inputs:
 - type: log
   enabled: true
-  paths:
     - /var/log/dpkg.log
+	- /var/log/dpkg.log
   close_eof: true
   scan_frequency: 1s
 
 output.elasticsearch:
   hosts: ["http://localhost:9308"]
-  index: "dpkg_log"
+  compression_level: 0
   compression_level: 0
   allow_older_versions: true
 
@@ -59,16 +59,16 @@ setup.template.name: "dpkg_log"
 setup.template.pattern: "dpkg_log"
 ```
 
-### Filebeat 8.11 - 8.18 的配置
+### Filebeat 8.11 - 8.19 的配置
+从 8.11 版本开始，默认启用输出压缩，因此必须明确设置 `compression_level: 0` 以确保与 Manticore 的兼容性：
 
-从 8.11 版本开始，默认启用了输出压缩，因此必须明确设置 `compression_level: 0` 以确保与 Manticore 的兼容性：
 
 ```
 filebeat.inputs:
 - type: log
   enabled: true
-  paths:
     - /var/log/dpkg.log
+  paths:
   close_eof: true
   scan_frequency: 1s
 
@@ -83,21 +83,22 @@ setup.template.enabled: false
 setup.template.name: "dpkg_log"
 setup.template.pattern: "dpkg_log"
 ```
+### Filebeat 9.0 及更高版本的配置
+### Filebeat 9.0 - 9.1 的配置
+Filebeat 9.0 引入了重大架构变更，用 `filestream` 替代了 `log` 输入类型。从 9.0 版本开始，默认的文件识别方法也改为指纹识别，这要求文件大小至少为 1024 字节（[参见 issue #44780](https://github.com/elastic/beats/issues/44780)）。为了使 Manticore 兼容任何大小的文件，必须禁用指纹识别。
 
-### Filebeat 9.0 的配置
-
+以下是 Filebeat 9.0 及所有后续版本所需的配置：
 Filebeat 9.0 引入了重大架构变化，替换了日志输入类型为 filestream。以下是所需的配置：
 
 ```
 filebeat.inputs:
 - type: filestream
   id: dpkg-log-input
   enabled: true
-  paths:
     - /var/log/dpkg.log
+  paths:
   prospector.scanner.check_interval: 1s
   close.on_eof: true
-
 output.elasticsearch:
   hosts: ["http://localhost:9308"]
   index: "dpkg_log"
@@ -110,10 +111,45 @@ setup.template.name: "dpkg_log"
 setup.template.pattern: "dpkg_log"
 ```
 
+**Filebeat 9.0+ 重要说明：**
+- `type: filestream` 输入替代了旧的 `type: log`
+- `prospector.scanner.fingerprint.enabled: false` 设置是 **必需的**，用于禁用基于指纹的文件识别，确保可靠处理小于 1024 字节的文件
+- filestream 输入需要 `id` 字段且必须唯一
+### Filebeat 9.2+ 的配置
+从 Filebeat 9.0 开始，默认的文件识别方法更改为指纹识别，这可能会导致文件处理问题（[参见 issue #44780](https://github.com/elastic/beats/issues/44780)）。为了兼容 Manticore，添加以下行以禁用指纹识别：
+
+```
+prospector.scanner.fingerprint.enabled: false
+```
+
+
+
+filebeat.inputs:
+- type: filestream
+  id: dpkg-log-input
+  paths:
+    - /var/log/dpkg.log
+	- /var/log/dpkg.log
+  prospector.scanner.check_interval: 1s
+  prospector.scanner.fingerprint.enabled: false
+  close.on_state_change.inactive: 1s
+
+output.elasticsearch:
+  hosts: ["http://localhost:9308"]
+  index: "dpkg_log"
+  compression_level: 0
+  allow_older_versions: true
+
+setup.ilm.enabled: false
+setup.template.name: "dpkg_log"
+setup.template.pattern: "dpkg_log"
+```
+
+**注意：** 设置 `prospector.scanner.fingerprint.enabled: false` 允许 Filebeat 处理任意大小的文件。如果您正在处理较大的文件（>1024 字节），可以省略此选项或调整 `prospector.scanner.fingerprint.length` 和 `prospector.scanner.fingerprint.offset` 以满足您的需求。
+
 ## Filebeat 结果
 
 运行此配置的 Filebeat 后，日志数据将被发送到 Manticore 并正确建立索引。以下是 Manticore 创建的表的结果模式以及插入文档的示例：
-
 ```
 mysql> DESCRIBE dpkg_log;
 +------------------+--------+--------------------+

manual/english/Integration/Filebeat.md

@@ -8,12 +8,10 @@ Now, Manticore also supports the use of Filebeat as processing pipelines. This a
 
 ## Filebeat configuration
 
-Configuration varies slightly depending on which version of Filebeat you're using.
+Configuration varies depending on which version of Filebeat you're using.
 
 ### Configuration for Filebeat 7.17 - 8.0
 
-Note that Filebeat versions higher than 8.10 have the output compression feature enabled by default. That is why the `compression_level: 0` option must be added to the configuration file to provide compatibility with Manticore:
-
 ```
 filebeat.inputs:
 - type: log
@@ -34,9 +32,10 @@ setup.template.name: "dpkg_log"
 setup.template.pattern: "dpkg_log"
 ```
 
+
 ### Configuration for Filebeat 8.1 - 8.10
 
-For versions 8.1 through 8.10, you need to add the allow_older_versions option:
+For versions 8.1 through 8.10, you need to add the `allow_older_versions` option:
 
 ```
 filebeat.inputs:
@@ -59,7 +58,7 @@ setup.template.name: "dpkg_log"
 setup.template.pattern: "dpkg_log"
 ```
 
-### Configuration for Filebeat 8.11 - 8.18
+### Configuration for Filebeat 8.11 - 8.19
 
 From version 8.11, output compression is enabled by default, so you must explicitly set `compression_level: 0` for compatibility with Manticore:
 
@@ -84,9 +83,11 @@ setup.template.name: "dpkg_log"
 setup.template.pattern: "dpkg_log"
 ```
 
-### Configuration for Filebeat 9.0
+### Configuration for Filebeat 9.0+
+
+Filebeat 9.0 introduces a major architecture change, replacing the `log` input type with `filestream`. Starting from version 9.0, the default file identification method also changed to fingerprint, which requires files to be at least 1024 bytes ([see issue #44780](https://github.com/elastic/beats/issues/44780)). For Manticore compatibility with files of any size, you must disable fingerprinting.
 
-Filebeat 9.0 introduces a major architecture change, replacing the log input type with filestream. Here's the required configuration:
+Here's the required configuration for Filebeat 9.0 and all later versions:
 
 ```
 filebeat.inputs:
@@ -96,7 +97,7 @@ filebeat.inputs:
   paths:
     - /var/log/dpkg.log
   prospector.scanner.check_interval: 1s
-  close.on_eof: true
+  prospector.scanner.fingerprint.enabled: false
 
 output.elasticsearch:
   hosts: ["http://localhost:9308"]
@@ -110,6 +111,11 @@ setup.template.name: "dpkg_log"
 setup.template.pattern: "dpkg_log"
 ```
 
+**Important notes for Filebeat 9.0+:**
+- The `type: filestream` input replaces the older `type: log`
+- The `prospector.scanner.fingerprint.enabled: false` setting is **required** to disable fingerprint-based file identification, ensuring reliable processing of files smaller than 1024 bytes
+- The `id` field is required for filestream inputs and must be unique
+
 ## Filebeat results
 
 Once you run Filebeat with this configuration, log data will be sent to Manticore and properly indexed. Here is the resulting schema of the table created by Manticore and an example of the inserted document:
@@ -142,4 +148,3 @@ host: {"name":"logstash-db848f65f-lnlf9"}
 agent: {"ephemeral_id":"587c2ebc-e7e2-4e27-b772-19c611115996","id":"2e3d985b-3610-4b8b-aa3b-2e45804edd2c","name":"logstash-db848f65f-lnlf9","type":"filebeat","version":"7.10.0","hostname":"logstash-db848f65f-lnlf9"}
 log: {"offset":80,"file":{"path":"/var/log/dpkg.log"}}
 ```
-

manual/russian/Integration/Filebeat.md

@@ -4,23 +4,22 @@
 
 [Filebeat](https://www.elastic.co/beats/filebeat) — это легкий агент для пересылки и централизованного сбора данных журналов. После установки в виде агента он следит за указанными вами файлами журналов или местоположениями, собирает события из журналов и пересылает их для индексирования, обычно в Elasticsearch или Logstash.
 
-Теперь Manticore также поддерживает использование Filebeat в качестве обработчиков данных. Это позволяет отправлять собранные и преобразованные данные в Manticore так же, как в Elasticsearch. В настоящее время полностью поддерживаются все версии до 9.0.
+Теперь Manticore поддерживает использование Filebeat в качестве конвейеров обработки. Это позволяет отправлять собранные и преобразованные данные в Manticore так же, как и в Elasticsearch. В настоящее время полностью поддерживаются все версии до 9.0.
 
 ## Конфигурация Filebeat
 
-Конфигурация немного различается в зависимости от версии Filebeat, которую вы используете.
+Конфигурация варьируется в зависимости от используемой версии Filebeat.
 
 ### Конфигурация для Filebeat 7.17 - 8.0
 
-Обратите внимание, что в версиях Filebeat выше 8.10 по умолчанию включена функция сжатия вывода. Вот почему в конфигурационный файл необходимо добавить опцию `compression_level: 0` для обеспечения совместимости с Manticore:
 
 ```
 filebeat.inputs:
 - type: log
   enabled: true
-  paths:
     - /var/log/dpkg.log
-  close_eof: true
+  paths:
+	- /var/log/dpkg.log
   scan_frequency: 1s
 
 output.elasticsearch:
@@ -34,22 +33,23 @@ setup.template.name: "dpkg_log"
 setup.template.pattern: "dpkg_log"
 ```
 
-### Конфигурация для Filebeat 8.1 - 8.10
 
-Для версий с 8.1 по 8.10 необходимо добавить опцию allow_older_versions:
+### Конфигурация для Filebeat 8.1 - 8.10
+Для версий с 8.1 по 8.10 необходимо добавить опцию `allow_older_versions`:
+Для версий с 8.1 по 8.10 добавьте опцию `allow_older_versions`:
 
 ```
 filebeat.inputs:
 - type: log
   enabled: true
-  paths:
     - /var/log/dpkg.log
+	- /var/log/dpkg.log
   close_eof: true
   scan_frequency: 1s
 
 output.elasticsearch:
   hosts: ["http://localhost:9308"]
-  index: "dpkg_log"
+  compression_level: 0
   compression_level: 0
   allow_older_versions: true
 
@@ -59,16 +59,16 @@ setup.template.name: "dpkg_log"
 setup.template.pattern: "dpkg_log"
 ```
 
-### Конфигурация для Filebeat 8.11 - 8.18
+### Конфигурация для Filebeat 8.11 - 8.19
+Начиная с версии 8.11, сжатие вывода включено по умолчанию, поэтому для совместимости с Manticore необходимо явно указать `compression_level: 0`:
 
-Начиная с версии 8.11, сжатие вывода включено по умолчанию, поэтому для совместимости с Manticore нужно явно установить `compression_level: 0`:
 
 ```
 filebeat.inputs:
 - type: log
   enabled: true
-  paths:
     - /var/log/dpkg.log
+  paths:
   close_eof: true
   scan_frequency: 1s
 
@@ -83,21 +83,22 @@ setup.template.enabled: false
 setup.template.name: "dpkg_log"
 setup.template.pattern: "dpkg_log"
 ```
+### Конфигурация для Filebeat 9.0+
+### Конфигурация для Filebeat 9.0 - 9.1
+Filebeat 9.0 вводит важное изменение архитектуры, заменяя тип входных данных `log` на `filestream`. Начиная с версии 9.0, также изменился метод идентификации файлов по умолчанию на fingerprint, для которого файлы должны быть размером не менее 1024 байт ([см. issue #44780](https://github.com/elastic/beats/issues/44780)). Для совместимости Manticore с файлами любого размера необходимо отключить fingerprinting.
 
-### Конфигурация для Filebeat 9.0
-
+Вот необходимая конфигурация для Filebeat 9.0 и всех последующих версий:
 Filebeat 9.0 вводит значительные изменения в архитектуре, заменяя тип ввода log на filestream. Вот необходимая конфигурация:
 
 ```
 filebeat.inputs:
 - type: filestream
   id: dpkg-log-input
   enabled: true
-  paths:
     - /var/log/dpkg.log
+  paths:
   prospector.scanner.check_interval: 1s
   close.on_eof: true
-
 output.elasticsearch:
   hosts: ["http://localhost:9308"]
   index: "dpkg_log"
@@ -110,10 +111,45 @@ setup.template.name: "dpkg_log"
 setup.template.pattern: "dpkg_log"
 ```
 
+**Важные замечания для Filebeat 9.0+:**
+- Вход `type: filestream` заменяет бывший `type: log`
+- Настройка `prospector.scanner.fingerprint.enabled: false` **обязательна** для отключения идентификации файлов по отпечатку, что обеспечивает надежную обработку файлов размером менее 1024 байт
+- Поле `id` обязательно для входов filestream и должно быть уникальным
+### Конфигурация для Filebeat 9.2+
+Начиная с Filebeat 9.0, метод идентификации файлов по умолчанию изменился на отпечаток, что может вызывать проблемы с обработкой файлов ([см. issue #44780](https://github.com/elastic/beats/issues/44780)). Для совместимости с Manticore добавьте эту строку для отключения отпечатков:
+
+```
+prospector.scanner.fingerprint.enabled: false
+```
+
+
+
+filebeat.inputs:
+- type: filestream
+  id: dpkg-log-input
+  paths:
+    - /var/log/dpkg.log
+	- /var/log/dpkg.log
+  prospector.scanner.check_interval: 1s
+  prospector.scanner.fingerprint.enabled: false
+  close.on_state_change.inactive: 1s
+
+output.elasticsearch:
+  hosts: ["http://localhost:9308"]
+  index: "dpkg_log"
+  compression_level: 0
+  allow_older_versions: true
+
+setup.ilm.enabled: false
+setup.template.name: "dpkg_log"
+setup.template.pattern: "dpkg_log"
+```
+
+**Примечание:** Параметр `prospector.scanner.fingerprint.enabled: false` позволяет Filebeat обрабатывать файлы любого размера. Если вы работаете с файлами большего размера (>1024 байт), вы можете опустить эту опцию или настроить `prospector.scanner.fingerprint.length` и `prospector.scanner.fingerprint.offset` в соответствии с вашими требованиями.
+
 ## Результаты работы Filebeat
 
 После запуска Filebeat с этой конфигурацией данные журналов будут отправлены в Manticore и корректно индексированы. Ниже приведена итоговая схема таблицы, созданной Manticore, и пример вставленного документа:
-
 ```
 mysql> DESCRIBE dpkg_log;
 +------------------+--------+--------------------+