The different IN value numbers in query cause too much memory in TiDB

[elsa0520]

Enhancement

1. The query like

select order_id from order_var ov where order_id in ( ? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? ) 

2. Use the prepare stmt and query with different IN values number
3. The memory keeps rising and cannot be released

Tidb version: v6.5.2

[qw4990]

A potential solution from @wddevries is that we can extend lengths of these in-lists to round numbers in 100, like 100, 200, 300, by appending the last value in the list.

For example, where a in (1, 2, 3, 4, 95) could be converted to where a in (1, 2, 3, 4, 95, 95, 95, 95, 95, 95), whose length is 100.
Then most in-list should have the same length.

[terry1purcell]

Such a solution (of extending the lengths) should only apply if the IN-list entry exceeds a certain value - which could be configurable. Above that value - we need the query optimizer to account for the fact that the number of IN-list entries we "cost" should be less than the number in the query.