关于运行run.py时无法将推理过程部署于GPU上的情况

[qizheyanger]

在使用baichuan-13b-chat模型在gsm8k模型上进行推理测试时，通过以下命令
CUDA_VISIBLE_DEVICES=5,6,7 python run.py --models hf_baichuan_13b_chat --datasets gsm8k_gen_17d0dc --debug，
推理可以正常进行，但是非常的缓慢，后面通过后台观测到gpu上并没有程序运行，反而是在cpu上运行，请问有什么解决方案

[Asker0Lee]

opencompass对于torch gpu上的一些错误不会报错，这种情况有很大概率是因为在GPU上部署错误，自动跳转到CPU运行，但是不会输出详细报错信息。你可以强制部署到cuda上，这样会输出报错信息。此外在其他框架下运行测试下，以排除可能的环境和代码错误。