本地评估模型相关疑问

[Leke-G]

感谢贵司开源项目为我带来的极大便利。在使用过程中，我遇到了一些疑问，希望能在您方便时得到解答，烦请帮忙解惑。

1.对于多模态模型，是选用LLM还是VLM作为本地的评估模型呢？

2.对本地模型的环境变量如：OPENAI_API_KEY，OPENAI_API_BASE，LOCAL_LLM等配置之后，是否还需要使用lmdeploy serve api_server 启动所部署的模型才能评测我自己的模型呢？

@kennymckormick @FangXinyu-0913

[FangXinyu-0913]

Hi @Leke-G

1. 评估过程主要是将模型的推理所得与标准答案/参考答案进行比较从而给分，因此采用LLM来作为本地的评估模型
2. 对本地模型的环境变量配置后，会采用闭源模型的class进行测试是否api可行。如果您想要lmdeploy部署模型，可以参考这个文档 https://github.com/open-compass/VLMEvalKit/blob/main/docs/zh-CN/EvalByLMDeploy.md

[kennymckormick]

补充：

1. 评测阶段：对于部分评测集，我们必须 (如 MMVet，MathVista_MINI 等依赖 GPT 打分)，或可选 (如 MMBench 等基于 LLM 提取答案) 利用外部 LLM。对于前者，必须利用 OPENAI GPT 进行评测，须设置 OPENAI_API_KEY，OPENAI_API_BASE。对于后者，可基于 GPT 或其他 LLM 进行答案提取，其中亦可基于 LMDeploy 启动 local llm 用于答案提取。
2. 推理阶段：我们目前已支持基于 lmdeploy 推理多模态模型，请参照：https://github.com/open-compass/VLMEvalKit/blob/main/docs/en/EvalByLMDeploy.md。