OSError: Error no file named pytorch_model.bin, tf_model.h5, model.ckpt.index or flax_model.msgpack found in directory /home/ps/app/edison/TigerBot/tigerbot-70b-chat-4bit-exl2.

[Edisonwei54]

我完全按照教程进行操作，但是最后打算进行模型推理，不管在命令行还有webdemo都是报这个错误

[wangyu1997]

麻烦贴一下详细的运行环境、命令以及下载模型文件夹的文件情况

[Edisonwei54]

麻烦贴一下详细的运行环境、命令以及下载模型文件夹的文件情况

环境：
safetensors==0.3.1
datasets==2.10.1
accelerate>=0.20.3
protobuf==3.20.2
transformers>=4.34.0
scikit-learn==1.0.2
torch>=2.0.0
evaluate==0.4.0
texttable==1.6.7
toml==0.10.2
numpy>=1.22.0
sentencepiece==0.1.98
fire==0.5.0
flash-attn==2.1.1
deepspeed==0.9.5
streamlit==1.24.1

命令：
CUDA_VISIBLE_DEVICES=0 python infer.py --model_path /home/ps/app/edison/TigerBot/tigerbot-70b-chat-4bit-exl2 --max_input_length 1024 --max_generate_length 1024 --streaming True

文件：

[wangyu1997]

infer.py暂时不支持exllamav2量化模型 如果要使用量化模型请参考readme使用other_infer里的相关命令 或者使用base model进行推理