启用prefix_cache时，同分辨率图片会缓存命中情况下如何推理时区分

[zhuchen1109]

模型：InternVL8B
启用prefix_cache，先做第一次推理，tokens embedding组成为system+image1+prompt，这时候不会命中prefix_cache。接下来再做第二次推理，tokens embedding组成为system+image2+prompt，image2和image1分辨率一样及内容不一样，这时候prefix_cache的逻辑会命中缓存，因为image2部分的embedding都为0，system和prompt完全一样。
想请问的是，第二次推理image2的内容是不一样的，但prefix_cache还是会命中，这是如何做到正确的推理的？谢谢解惑！

[grimoire]

目前 prefix_cache 不支持 vlm 模型

[zhuchen1109]

没太明白，在使用InternVL8B推理时，启用prefix_cache，从日志看，确实match住了，推理结果也是正确的，推理加速效果也是有的。是哪里不对吗？

[grimoire]

第二次推理image2的内容是不一样的，但prefix_cache还是会命中

原因和你理解的差不多，prefix matching 是依据 token id 的，对应图片的话就是 padding token，不同图片可能匹配到一样的 prefix 上。所以没办法保证 vlm 情况下 prefix_cache 结果正确

[zhuchen1109]

根据你的提示再次做了实验发现，对应token形式是system+image+prompt，tokens长度是64*n+m，m>0，m足够大，大到包含了一部分image的padding token，此时vision_embedding不为none，会替换padding token，此时在推理时，结果是正确的。反之，如果matching的太多，vision_embedding会为none，此时推理会匹配到上一次图片blocks数据，推理结果是错的。谢谢解惑。