Best Practices to Handle 50k partitions Per Cluster (Compaction/Indexing追不上的问题）

[xiaobingxia-at]

需要建立大量partition，每个partition小量数据。compaction index一直无法追上。近期把compaction、index code以及log完整读了一遍。梳理了一下大概流程：

• Seal Segment and Flush: 生成segment 1
• Sort Segment: 由segment 1生成segment 2
• Upsert Compaction: 由segment 2生成segment 3 (由于插入数据API用的是upsert，所以milvus默认deleted row和inserted row一样多）
• Sort Segment: 由segment 3生成segment 4.

继续插入数据：

• Seal Segment and Flush: 生成segment 5
• Sort Segment: 由segment 5生成segment 6. 但此项操作失败，由于segment 5已经被拿去做mix compaction了
• Mix Compaction: segment 4 and segment 5，合并成segment 7.但segment 7里的数据包含了seg 4 和5的全部，没有merge seg 4和5.
• Sort Segment: 由segment 7生成 segment 8
• Upsert compaction： segment 8 生成segment 9。merge了里面的id重复数据。
• Sort Segment: segment 9生成segment 10
  结束。

所以关于compaction和indexing node的实际工作量，如果是一小时内插入数据到了1000个partition中：

• 3000次 sort （由indexing node完成）
• 1000次 mix合并 compaction， 1000次upsert compaction （merge id重复数据）
• 2000次 创建index 操作（由indexing node完成）

请问以上分析是否准确。
我的问题是：

1. 如果1小时插入数据到了1000个partition，基于以上工作量，需要多少data node和index node？

我目前的理解是，如果单个data node和index node无法并行化，我需要开大量的小体积的data node/index node。而不是开少量大体积的data node/index node。不然就会被卡主。

2. 我经常看到如下log： [2025/01/02 23:04:56.837 +00:00] [WARN] [session/indexnode_manager.go:140] ["get IndexNode slots failed"] [nodeID=14] 请问拿不到index slot，会重试吗？会不会有些segment永远不会被index到或sort 到。

[xiaofan-luan]

stats任务，也就是sort，是在2.5刚刚加入Milvus的特性。
主要目的是为了保证Segment内部按照主键排序的。
在这个任务引入之前，所有的index任务基本都是cpu密集型，增加并发并不能提升cpu的使用率。非常小的segment也不是我们预期应该出现的情况。一个indexnode跑多个任务不仅不会提升性能，而且还会因为cpu争抢造成性能下降。
在你的case下，所有的任务都是小任务，而且都是io密集的，你可以尝试调整参数放开一定的并发限制。
拿不到index slot，是会重试的

[xiaobingxia-at]

好的。我们有监控index node pod的CPU使用率，都在2%以下。有充足的空间提高并发率。

[xiaofan-luan]

你要去看一下 get IndexNode slots failed 失败的原因是什么。
正常情况下你修改indexNode.scheduler.buildParallel 就可以让indexnode并发做多个任务。

[xiaocai2333]

对 get IndexNode slots failed 这个错误的解释：

1. taskScheudler 这里在分配一个任务之前会尝试去向所有 indexnode 获取 slot.
2. 如果有一个符合条件的 indexnode 提早返回了，会 cancel 掉对其他 indexnode 的获取 slot 请求。这个时候发往其他 indexnode 的请求就会报这个错误，并且伴随着 context deadline exceeded.
   所以这个错误可能不会影响到任务分配。