Skip to content

Commit 860eb2a

Browse files
authored
Merge branch 'master' into udf_mva
2 parents e507d2c + 0c1a3f8 commit 860eb2a

File tree

13 files changed

+189
-276
lines changed

13 files changed

+189
-276
lines changed

deps.txt

Lines changed: 1 addition & 1 deletion
Original file line numberDiff line numberDiff line change
@@ -1,7 +1,7 @@
11
backup 1.9.6+25070510-5247d066
22
buddy 3.36.0+25102120-cdfb9546-dev
33
mcl 8.1.0+25100220-e1522a23-dev
4-
executor 1.3.5+25071517-8398b079
4+
executor 1.3.6+25102902-defbddd7-dev
55
tzdata 1.0.1 250714 7eebffa
66
load 1.19.0+25063014-1ff59652
77
---

manual/chinese/Changelog.md

Lines changed: 5 additions & 33 deletions
Original file line numberDiff line numberDiff line change
@@ -9,11 +9,13 @@
99

1010
如果您遵循 [官方安装指南](https://manticoresearch.com/install/),则无需担心此问题。
1111

12+
### ⚠️ Important
1213

1314
由于配置文件已更新,**您可能会在 Linux 升级期间看到一个警告,询问是否保留您的版本或使用来自软件包的新版本**。如果您有自定义(非默认)配置,建议保留您的版本并将 `pid_file` 路径更新为 `/run/manticore/searchd.pid`。不过,即使您不更改路径,也应能正常工作。
1415

1516
### 新功能和改进
1617
* 🆕 [v13.13.0](https://github.com/manticoresoftware/manticoresearch/releases/tag/13.13.0) 添加了对带有 SI 块缓存的 MCL 8.1.0 的支持。
18+
* 🆕 [v13.12.0](https://github.com/manticoresoftware/manticoresearch/releases/tag/13.12.0) Implemented the [secondary_index_block_cache](../Server_settings/Searchd.md#secondary_index_block_cache) option, updated the secondary index API, and inlined sort accessors.
1719

1820
### Bug 修复
1921
* 🪲 [v13.11.8](https://github.com/manticoresoftware/manticoresearch/releases/tag/13.11.8) [问题 #3791](https://github.com/manticoresoftware/manticoresearch/issues/3791) 修复了检查和调用已触发计时器之间的竞态条件。
@@ -23,39 +25,10 @@
2325
* 🪲 [v13.11.4](https://github.com/manticoresoftware/manticoresearch/releases/tag/13.11.4) [PR #3765](https://github.com/manticoresoftware/manticoresearch/pull/3765) 修复了别名连接属性的处理。
2426
* 🪲 [v13.11.3](https://github.com/manticoresoftware/manticoresearch/releases/tag/13.11.3) [PR #3763](https://github.com/manticoresoftware/manticoresearch/pull/3763) 修复了字符串属性批量连接时可能发生的崩溃问题,并解决了过滤器有时无法与 LEFT JOIN 一起使用的问题。
2527
* 🪲 [v13.11.2](https://github.com/manticoresoftware/manticoresearch/releases/tag/13.11.2) [问题 #3065](https://github.com/manticoresoftware/manticoresearch/issues/3065) 修复了在启用 index_field_lengths 的列式表中插入数据时的崩溃。
26-
27-
## 版本 13.13.0
28-
**发布时间**:2025年10月7日
29-
30-
### 推荐库
31-
- 推荐 [MCL](https://github.com/manticoresoftware/columnar) 版本:8.1.0
32-
- 推荐 [Buddy](Installation/Manticore_Buddy.md#Manticore-Buddy) 版本:3.35.1
33-
34-
如果您遵循[官方安装指南](https://manticoresearch.com/install/),则无需担心此问题。
35-
36-
### ⚠️ 重要
37-
该版本的主要亮点是 [自动嵌入](Searching/KNN.md#Auto-Embeddings-%28Recommended%29) — 一项让语义搜索像 SQL 一样简单的新功能。
38-
39-
由于配置文件已更新,**升级过程中在 Linux 上可能会看到是否保留您当前版本或使用包中新版的警告**。如果您有自定义(非默认)配置,建议保留您现有版本,并将 `pid_file` 路径更新为 `/run/manticore/searchd.pid`。不过,即使不更改路径,也应能正常工作。
40-
41-
### 新功能和改进
42-
* 🆕 [v13.13.0](https://github.com/manticoresoftware/manticoresearch/releases/tag/13.13.0) 增加了对带有 SI 块缓存的 MCL 8.1.0 的支持。
43-
- **直接从文本自动生成嵌入**
44-
- **理解含义而非仅仅关键词的自然语言查询**
45-
- **支持多种模型**(OpenAI、Hugging Face、Voyage、Jina)
46-
- **与 SQL 及 JSON API 的无缝集成**
47-
* 🆕 [v13.12.0](https://github.com/manticoresoftware/manticoresearch/releases/tag/13.12.0) 实现了 [secondary_index_block_cache](../Server_settings/Searchd.md#secondary_index_block_cache) 选项,更新了二级索引 API,内联了排序访问器。
48-
49-
### Bug 修复
50-
* 🪲 [v13.11.8](https://github.com/manticoresoftware/manticoresearch/releases/tag/13.11.8) [问题 #3791](https://github.com/manticoresoftware/manticoresearch/issues/3791) 修复了检测和调用已触发计时器之间的竞态条件。
51-
* 🪲 [v13.11.7](https://github.com/manticoresoftware/manticoresearch/releases/tag/13.11.7) [问题 #1045](https://github.com/manticoresoftware/manticoresearch/issues/1045) 修复了 RHEL 8 在 systemd 更新期间 systemctl 警告问题,通过将配置中的过时路径 `/var/run/manticore` 替换为正确的 `/run/manticore`。由于配置文件已更新,升级时可能会看到保留当前版本或使用包中新版本的提示。若为自定义(非默认)配置,建议保留当前配置,并将 `pid_file` 路径更新为 `/run/manticore/searchd.pid`
52-
* 🪲 [v13.11.6](https://github.com/manticoresoftware/manticoresearch/releases/tag/13.11.6) [PR #3766](https://github.com/manticoresoftware/manticoresearch/pull/3766) 新增对 MCL 版本 8.0.6 的支持。
53-
如果您遵循 [官方安装指南](https://manticoresearch.com/install/),则无需担心此问题。
54-
* 🪲 [v13.11.5](https://github.com/manticoresoftware/manticoresearch/releases/tag/13.11.5) [PR #3767](https://github.com/manticoresoftware/manticoresearch/pull/3767) 改进了中文文档翻译并更新了子模块。
55-
* 🪲 [v13.11.3](https://github.com/manticoresoftware/manticoresearch/releases/tag/13.11.3) [PR #3763](https://github.com/manticoresoftware/manticoresearch/pull/3763) 修复了字符串属性批量连接时可能导致的崩溃,并解决了过滤器有时不生效于 LEFT JOIN 的问题。
5628
* 🪲 [v13.11.1](https://github.com/manticoresoftware/manticoresearch/releases/tag/13.11.1) [问题 #3751](https://github.com/manticoresoftware/manticoresearch/issues/3751) 修复了启用 embeddings 时删除文档导致的崩溃。
5729

5830
## 版本 13.11.1
31+
**发布时间**:2025年9月13日
5932

6033
### Bug 修复
6134
* 🪲 [v13.11.1](https://github.com/manticoresoftware/manticoresearch/releases/tag/13.11.1) [问题 #3751](https://github.com/manticoresoftware/manticoresearch/issues/3751) 修复了启用 embeddings 时删除文档导致的崩溃。
@@ -81,6 +54,7 @@
8154

8255
推荐的 [MCL](https://github.com/manticoresoftware/columnar) 版本:8.0.1
8356
推荐的 [Buddy](Installation/Manticore_Buddy.md#Manticore-Buddy) 版本:3.34.2
57+
8458
### 新功能和改进
8559
* 🆕 [v13.11.0](https://github.com/manticoresoftware/manticoresearch/releases/tag/13.11.0) [PR #3746](https://github.com/manticoresoftware/manticoresearch/pull/3746) 在 JSON 查询中新增了用于嵌入生成的 “query” 支持。
8660
如果您遵循 [官方安装指南](https://manticoresearch.com/install/),则无需担心此问题。
@@ -114,9 +88,6 @@ Recommended [MCL](https://github.com/manticoresoftware/columnar) version: 8.0.1
11488
Recommended [Buddy](Installation/Manticore_Buddy.md#Manticore-Buddy) version: 3.34.2
11589

11690
If you follow the [official installation guide](https://manticoresearch.com/install/), you don't need to worry about this.
117-
* ⚠️ [PR #3586](https://github.com/manticoresoftware/manticoresearch/pull/3586) 停止支持 Debian 10 (Buster)。Debian 10 已于 2024 年 6 月 30 日停止生命周期。建议用户升级到 Debian 11 (Bullseye) 或 Debian 12 (Bookworm)。
118-
* ⚠️ [v13.0.0](https://github.com/manticoresoftware/manticoresearch/releases/tag/13.0.0) 更新了 KNN 库 API,支持空的 [float_vector](https://manual.manticoresearch.com/Creating_a_table/Data_types#Float-vector) 值。此更新不更改数据格式,但提高了 Manticore Search / MCL API 版本。
119-
* ⚠️ [v12.0.0](https://github.com/manticoresoftware/manticoresearch/releases/tag/12.0.0) [PR #3516](https://github.com/manticoresoftware/manticoresearch/pull/3516) 修复了 KNN 索引训练和构建过程中源和目标行 ID 错误的 Bug。此更新不更改数据格式,但提高了 Manticore Search / MCL API 版本。
12091

12192
### New Features and Improvements
12293
* 🆕 [v13.6.0](https://github.com/manticoresoftware/manticoresearch/releases/tag/13.6.0) [ Issue #2226](https://github.com/manticoresoftware/manticoresearch/issues/2226) 支持在 PHRASE、PROXIMITY 和 QUORUM 操作符中显式使用“|”(或)。
@@ -147,6 +118,7 @@ If you follow the [official installation guide](https://manticoresearch.com/inst
147118
**Released**: 2025年7月8日
148119

149120
### 重大变更
121+
* ⚠️ [PR #3586](https://github.com/manticoresoftware/manticoresearch/pull/3586) Support for Debian 10 (Buster) has been discontinued. Debian 10 reached end of life on June 30, 2024. Users are encouraged to upgrade to Debian 11 (Bullseye) or Debian 12 (Bookworm).
150122
* ⚠️ [v13.0.0](https://github.com/manticoresoftware/manticoresearch/releases/tag/13.0.0) 更新了 KNN 库 API,支持空的 [float_vector](https://manual.manticoresearch.com/Creating_a_table/Data_types#Float-vector) 值。此更新不更改数据格式,但提高了 Manticore Search / MCL API 版本。
151123
* ⚠️ [v12.0.0](https://github.com/manticoresoftware/manticoresearch/releases/tag/12.0.0) [ PR #3516](https://github.com/manticoresoftware/manticoresearch/pull/3516) 修复了 KNN 索引训练和构建过程中源和目标行 ID 不正确的 bug。此更新不更改数据格式,但提高了 Manticore Search / MCL API 版本。
152124
* ⚠️ [v11.0.0](https://github.com/manticoresoftware/manticoresearch/releases/tag/11.0.0) 新增支持 KNN 向量搜索的新特性,如量化、重新评分和过采样。此版本更改了 KNN 数据格式和 [KNN_DIST() SQL 语法](https://manual.manticoresearch.com/Searching/KNN?client=SQL#KNN-vector-search)。新版本可读取旧数据,而旧版本无法读取新格式。

manual/chinese/Integration/Filebeat.md

Lines changed: 22 additions & 53 deletions
Original file line numberDiff line numberDiff line change
@@ -2,24 +2,23 @@
22

33
> 注意:与 Filebeat 的集成需要 [Manticore Buddy](../Installation/Manticore_Buddy.md)。如果无法正常工作,请确保已安装 Buddy。
44
5-
[Filebeat](https://www.elastic.co/beats/filebeat) 是一个轻量级的转发器,用于转发和集中日志数据。它作为代理安装后,会监控您指定的日志文件或位置,收集日志事件,并将其转发进行索引,通常是发送到 Elasticsearch 或 Logstash。
5+
[Filebeat](https://www.elastic.co/beats/filebeat) 是一个轻量级的日志数据转发和集中器。安装为代理后,它会监控您指定的日志文件或位置,收集日志事件,并将其转发以进行索引,通常是发送到 Elasticsearch 或 Logstash。
66

7-
现在,Manticore 也支持将 Filebeat 用作处理流水线。这允许将收集和转换后的数据像发送到 Elasticsearch 一样发送到 Manticore。目前,所有版本直到 9.0 都得到了完全支持
7+
现在,Manticore 也支持将 Filebeat 用作处理管道。这允许收集和转换后的数据像发送到 Elasticsearch 一样发送到 Manticore。目前,所有版本到 9.0 都完全支持
88

99
## Filebeat 配置
1010

11-
配置根据您使用的 Filebeat 版本而异。
11+
配置因您使用的 Filebeat 版本而异。
1212

1313
### Filebeat 7.17 - 8.0 的配置
1414

15-
1615
```
1716
filebeat.inputs:
1817
- type: log
1918
enabled: true
20-
- /var/log/dpkg.log
2119
paths:
22-
- /var/log/dpkg.log
20+
- /var/log/dpkg.log
21+
close_eof: true
2322
scan_frequency: 1s
2423
2524
output.elasticsearch:
@@ -35,21 +34,21 @@ setup.template.pattern: "dpkg_log"
3534

3635

3736
### Filebeat 8.1 - 8.10 的配置
38-
对于版本 8.1 到 8.10,您需要添加 `allow_older_versions` 选项:
39-
对于版本 8.1 到 8.10,添加 `allow_older_versions` 选项:
37+
38+
对于 8.1 到 8.10 版本,您需要添加 `allow_older_versions` 选项:
4039

4140
```
4241
filebeat.inputs:
4342
- type: log
4443
enabled: true
44+
paths:
4545
- /var/log/dpkg.log
46-
- /var/log/dpkg.log
4746
close_eof: true
4847
scan_frequency: 1s
4948
5049
output.elasticsearch:
5150
hosts: ["http://localhost:9308"]
52-
compression_level: 0
51+
index: "dpkg_log"
5352
compression_level: 0
5453
allow_older_versions: true
5554
@@ -60,15 +59,15 @@ setup.template.pattern: "dpkg_log"
6059
```
6160

6261
### Filebeat 8.11 - 8.19 的配置
63-
从 8.11 版本开始,默认启用输出压缩,因此必须明确设置 `compression_level: 0` 以确保与 Manticore 的兼容性:
6462

63+
从 8.11 版本开始,默认启用了输出压缩,因此必须显式设置 `compression_level: 0` 以兼容 Manticore:
6564

6665
```
6766
filebeat.inputs:
6867
- type: log
6968
enabled: true
70-
- /var/log/dpkg.log
7169
paths:
70+
- /var/log/dpkg.log
7271
close_eof: true
7372
scan_frequency: 1s
7473
@@ -83,56 +82,22 @@ setup.template.enabled: false
8382
setup.template.name: "dpkg_log"
8483
setup.template.pattern: "dpkg_log"
8584
```
86-
### Filebeat 9.0 及更高版本的配置
87-
### Filebeat 9.0 - 9.1 的配置
88-
Filebeat 9.0 引入了重大架构变更,用 `filestream` 替代了 `log` 输入类型。从 9.0 版本开始,默认的文件识别方法也改为指纹识别,这要求文件大小至少为 1024 字节([参见 issue #44780](https://github.com/elastic/beats/issues/44780))。为了使 Manticore 兼容任何大小的文件,必须禁用指纹识别。
8985

90-
以下是 Filebeat 9.0 及所有后续版本所需的配置:
91-
Filebeat 9.0 引入了重大架构变化,替换了日志输入类型为 filestream。以下是所需的配置:
86+
### Filebeat 9.0+ 的配置
9287

93-
```
94-
filebeat.inputs:
95-
- type: filestream
96-
id: dpkg-log-input
97-
enabled: true
98-
- /var/log/dpkg.log
99-
paths:
100-
prospector.scanner.check_interval: 1s
101-
close.on_eof: true
102-
output.elasticsearch:
103-
hosts: ["http://localhost:9308"]
104-
index: "dpkg_log"
105-
compression_level: 0
106-
allow_older_versions: true
107-
108-
setup.ilm.enabled: false
109-
setup.template.enabled: false
110-
setup.template.name: "dpkg_log"
111-
setup.template.pattern: "dpkg_log"
112-
```
88+
Filebeat 9.0 引入了重大架构变更,用 `filestream` 替代了 `log` 输入类型。从 9.0 版本开始,默认的文件识别方法也改为指纹识别,这要求文件至少为 1024 字节([参见 issue #44780](https://github.com/elastic/beats/issues/44780))。为了使 Manticore 兼容任意大小的文件,必须禁用指纹识别。
11389

114-
**Filebeat 9.0+ 重要说明:**
115-
- `type: filestream` 输入替代了旧的 `type: log`
116-
- `prospector.scanner.fingerprint.enabled: false` 设置是 **必需的**,用于禁用基于指纹的文件识别,确保可靠处理小于 1024 字节的文件
117-
- filestream 输入需要 `id` 字段且必须唯一
118-
### Filebeat 9.2+ 的配置
119-
从 Filebeat 9.0 开始,默认的文件识别方法更改为指纹识别,这可能会导致文件处理问题([参见 issue #44780](https://github.com/elastic/beats/issues/44780))。为了兼容 Manticore,添加以下行以禁用指纹识别:
90+
以下是 Filebeat 9.0 及以后版本所需的配置:
12091

12192
```
122-
prospector.scanner.fingerprint.enabled: false
123-
```
124-
125-
126-
12793
filebeat.inputs:
12894
- type: filestream
12995
id: dpkg-log-input
96+
enabled: true
13097
paths:
13198
- /var/log/dpkg.log
132-
- /var/log/dpkg.log
13399
prospector.scanner.check_interval: 1s
134100
prospector.scanner.fingerprint.enabled: false
135-
close.on_state_change.inactive: 1s
136101
137102
output.elasticsearch:
138103
hosts: ["http://localhost:9308"]
@@ -141,15 +106,20 @@ output.elasticsearch:
141106
allow_older_versions: true
142107
143108
setup.ilm.enabled: false
109+
setup.template.enabled: false
144110
setup.template.name: "dpkg_log"
145111
setup.template.pattern: "dpkg_log"
146112
```
147113

148-
**注意:** 设置 `prospector.scanner.fingerprint.enabled: false` 允许 Filebeat 处理任意大小的文件。如果您正在处理较大的文件(>1024 字节),可以省略此选项或调整 `prospector.scanner.fingerprint.length` 和 `prospector.scanner.fingerprint.offset` 以满足您的需求。
114+
**Filebeat 9.0+ 的重要注意事项:**
115+
- `type: filestream` 输入替代了旧的 `type: log`
116+
- 必须设置 `prospector.scanner.fingerprint.enabled: false` 来禁用基于指纹的文件识别,确保可靠处理小于 1024 字节的文件
117+
- filestream 输入需要 `id` 字段,且必须唯一
149118

150119
## Filebeat 结果
151120

152-
运行此配置的 Filebeat 后,日志数据将被发送到 Manticore 并正确建立索引。以下是 Manticore 创建的表的结果模式以及插入文档的示例:
121+
一旦使用此配置运行 Filebeat,日志数据将发送到 Manticore 并正确索引。以下是 Manticore 创建的表的结果模式和插入文档的示例:
122+
153123
```
154124
mysql> DESCRIBE dpkg_log;
155125
+------------------+--------+--------------------+
@@ -178,4 +148,3 @@ host: {"name":"logstash-db848f65f-lnlf9"}
178148
agent: {"ephemeral_id":"587c2ebc-e7e2-4e27-b772-19c611115996","id":"2e3d985b-3610-4b8b-aa3b-2e45804edd2c","name":"logstash-db848f65f-lnlf9","type":"filebeat","version":"7.10.0","hostname":"logstash-db848f65f-lnlf9"}
179149
log: {"offset":80,"file":{"path":"/var/log/dpkg.log"}}
180150
```
181-

0 commit comments

Comments
 (0)