build一个轻量模型并进行lora微调，以验证环境配置无误

[EsonJohn]

您好，我的问题稍有点复杂。
我想在本地电脑的docker中配置一个对cogvlm-base-490进行lora fintune的环境，然后把docker打包上传到云服务器上使用。由于我的电脑只有一张24G的显卡，没法跑17B的开源模型。因此我想只build一个小规模的模型，随机初始化权重，然后lora finetune，以验证环境配置无误。

我做的改动如下：

1. 对finetune_cogvlm_demo.py中的FineTuneTrainCogVLMModel.from_pretrained函数调用添加参数 build_only=True；
2. 在${SAT_HOME}/cogvlm-base-490目录中修改model_config.json文件（后面有详情），删除预训练权重文件；
3. 使用shell指令启动微调任务，后面有详情。

model_config.json文件如下，相对于cogvlm-base-490开源模型的改动已经标出：

{
    "model_class": "CogVLMModel",
    "tokenizer_type": "vicuna-7b-v1.5",
    "num_layers": 2,    # 32 => 2
    "hidden_size": 128,    # 4096 => 128
    "num_attention_heads": 2,    # 32 => 2
    "vocab_size": 32000,
    "layernorm_order": "pre",
    "model_parallel_size": 1,
    "max_sequence_length": 4096,
    "use_bias": false,
    "inner_hidden_size": 11008,
    "image_length": 1225,
    "image_size": 490,
    "eva_args": {
        "model_class": "EVA2CLIPModel",
        "num_layers": 3,    # 63 => 3
        "hidden_size": 1792,
        "num_attention_heads": 16,
        "vocab_size": 1,
        "layernorm_order": "post",
        "model_parallel_size": 1,
        "max_sequence_length": 1226,
        "inner_hidden_size": 15360,
        "use_final_layernorm": false,
        "layernorm_epsilon": 1e-06,
        "row_parallel_linear_final_bias": false,
        "image_size": [
            490,
            490
        ],
        "pre_len": 1,
        "post_len": 0,
        "in_channels": 3,
        "patch_size": 14
    },
    "bos_token_id": 1,
    "eos_token_id": 2,
    "pad_token_id": 0
}

启动指令如下：

export WORKSPACE='/home/user/Document/CogVLM' && 
export OUTPUT_URL='/home/user/Document/CogVLM/tmp_0_0' && 
export JOB_NAME='test_docker' && 
export NUM_GPUS_PER_WORKER=1 && 
export MP_SIZE=1 && 
export MODEL_TYPE="cogvlm-base-490" && 
export NCCL_DEBUG=info && 
export NCCL_IB_DISABLE=0 && 
export NCCL_NET_GDR_LEVEL=2 && 
export LOCAL_WORLD_SIZE=${NUM_GPUS_PER_WORKER} && 
export SAT_HOME=${WORKSPACE}/models && 
export train_data="${WORKSPACE}/JSONL/train.jsonl" && 
export valid_data="${WORKSPACE}/JSONL/train.jsonl" && 
deepspeed --master_port 16666 --hostfile "hostfile" ${WORKSPACE}/finetune_demo.py --experiment-name
finetune-${MODEL_TYPE}-${JOB_NAME} --model-parallel-size ${MP_SIZE} --mode finetune --train-iters 25000 
--resume-dataloader --from_pretrained ${MODEL_TYPE} --max_length 1288 --lora_rank 10 --use_lora --local_tokenizer 
${WORKSPACE}/models/vicuna-7b-v1.5-weights --version "base" --train-data ${train_data} --valid-data ${valid_data}
 --distributed-backend nccl --lr-decay-style cosine --warmup .02 --checkpoint-activations --vit_checkpoint_activations
 --save-interval 2500 --eval-interval 500 --save ${OUTPUT_URL}/checkpoints --eval-iters 10 --eval-batch-size 1
 --split 1. --deepspeed_config ${WORKSPACE}/scripts/test_config_bf16_490.json --skip-init --seed 2023 --fp16

但是任务在进行了一个step就报错了，报错如下：

[ERROR] [launch.py:321:sigkill_handler] ['/home/user/miniconda3/envs/cogvlm/bin/python', '-u', 
'/home/user/Document/CogVLM/finetune_demo.py', '--local_rank=0', '--experiment-name', 'finetune-cogvlm-base-490-test_docker', 
'--model-parallel-size', '1', '--mode', 'finetune', '--train-iters', '25000', '--resume-dataloader', '--from_pretrained',
'cogvlm-base-490', 
'--max_length', '1288', '--lora_rank', '10', '--use_lora', '--local_tokenizer', 
'/home/user/Document/CogVLM/models/vicuna-7b-v1.5-weights', '--version', 'base', '--train-data',
'/home/user/Document/CogVLM/JSONL/train.jsonl', '--valid-data', '/home/user/Document/CogVLM/JSONL/test.jsonl',
 '--distributed-backend', 'nccl', '--lr-decay-style', 'cosine', '--warmup', '.02', '--checkpoint-activations', 
'--vit_checkpoint_activations', '--save-interval', '2500', '--eval-interval', '500', 
'--save', '/home/user/Document/CogVLM/tmp_0_0/checkpoints', '--eval-iters', '10', '--eval-batch-size', '1', '--split', '1.',
'--deepspeed_config', '/home/user/Document/CogVLM/scripts/test_config_bf16_490.json', '--skip-init', 
'--seed', '2023', '--fp16'] exits with return code = -8

请问是什么原因呢？还有其他地方需要修改的吗？
谢谢~

附上我的pip环境：

Package                      Version
---------------------------- --------------
aiohttp                      3.9.1
aiosignal                    1.3.1
annotated-types              0.6.0
async-timeout                4.0.3
attrs                        23.2.0
blis                         0.7.11
boto3                        1.34.21
botocore                     1.34.21
braceexpand                  0.1.7
catalogue                    2.0.10
certifi                      2023.11.17
charset-normalizer           3.3.2
click                        8.1.7
cloudpathlib                 0.16.0
cmake                        3.28.1
confection                   0.1.4
cpm-kernels                  1.0.11
cycler                       0.12.1
cymem                        2.0.8
datasets                     2.16.1
deepspeed                    0.12.6
dill                         0.3.7
dnspython                    2.4.2
ecdsa                        0.18.0
einops                       0.7.0
envyaml                      1.10.211231
filelock                     3.13.1
fonttools                    4.47.2
frozenlist                   1.4.1
fsspec                       2023.10.0
future                       0.18.3
hjson                        3.1.0
huggingface-hub              0.20.2
idna                         3.6
Jinja2                       3.1.3
jmespath                     1.0.1
joblib                       1.3.2
jsonlines                    4.0.0
kafka-python                 2.0.2
kiwisolver                   1.4.5
langcodes                    3.3.0
lazy-import                  0.2.2
lit                          17.0.6
loguru                       0.7.2
lxml                         5.1.0
MarkupSafe                   2.1.3
matplotlib                   3.5.3
mpmath                       1.3.0
multidict                    6.0.4
multiprocess                 0.70.15
murmurhash                   1.0.10
networkx                     3.1
ninja                        1.11.1.1
numpy                        1.26.3
nvidia-cublas-cu11           11.10.3.66
nvidia-cublas-cu12           12.1.3.1
nvidia-cuda-cupti-cu11       11.7.101
nvidia-cuda-cupti-cu12       12.1.105
nvidia-cuda-nvrtc-cu11       11.7.99
nvidia-cuda-nvrtc-cu12       12.1.105
nvidia-cuda-runtime-cu11     11.7.99
nvidia-cuda-runtime-cu12     12.1.105
nvidia-cudnn-cu11            8.5.0.96
nvidia-cudnn-cu12            8.9.2.26
nvidia-cufft-cu11            10.9.0.58
nvidia-cufft-cu12            11.0.2.54
nvidia-curand-cu11           10.2.10.91
nvidia-curand-cu12           10.3.2.106
nvidia-cusolver-cu11         11.4.0.1
nvidia-cusolver-cu12         11.4.5.107
nvidia-cusparse-cu11         11.7.4.91
nvidia-cusparse-cu12         12.1.0.106
nvidia-nccl-cu11             2.14.3
nvidia-nccl-cu12             2.18.1
nvidia-nvjitlink-cu12        12.3.101
nvidia-nvtx-cu11             11.7.91
nvidia-nvtx-cu12             12.1.105
opencv-python                4.8.1.78
packaging                    23.2
pandas                       2.1.4
pathlib2                     2.3.7.post1
pillow                       10.2.0
pip                          23.3.1
preshed                      3.0.9
protobuf                     3.20.3
psutil                       5.9.7
pure-sasl                    0.6.2
py-cpuinfo                   9.0.0
pyarrow                      14.0.2
pyarrow-hotfix               0.6
pydantic                     2.5.3
pydantic_core                2.14.6
PyHive                       0.7.0
pymongo                      4.6.1
pynvml                       11.5.0
pyparsing                    3.1.1
pyproj                       3.6.1
python-dateutil              2.8.2
python-dotenv                1.0.0
pytz                         2023.3.post1
PyYAML                       6.0.1
regex                        2023.12.25
requests                     2.31.0
s3transfer                   0.10.0
safetensors                  0.4.1
scipy                        1.11.4
seaborn                      0.13.1
sentencepiece                0.1.99
setuptools                   68.2.2
Shapely                      1.8.0
six                          1.16.0
smart-open                   6.4.0
spacy                        3.7.2
spacy-legacy                 3.0.12
spacy-loggers                1.0.5
srsly                        2.4.8
SwissArmyTransformer         0.4.8
sympy                        1.12
tensorboardX                 2.6.2.2
thinc                        8.2.2
thrift                       0.16.0
thrift-sasl                  0.4.3
tokenizers                   0.15.0
torch                        2.0.1
torchaudio                   2.0.2
torchvision                  0.15.2
tqdm                         4.66.1
transformers                 4.36.2
triton                       2.0.0
typer                        0.9.0
typing_extensions            4.9.0
tzdata                       2023.4
urllib3                      1.26.18
wasabi                       1.1.2
weasel                       0.3.4
webdataset                   0.2.86
wheel                        0.41.2
xformers                     0.0.22
xxhash                       3.4.1
yarl                         1.9.4

[EsonJohn]

@1049451037 @zRzRzRzRzRzRzR 麻烦帮忙解答一下哈，感谢~

[1049451037]

你给的报错信息啥也看不出来……

[1049451037]

内存不足，进程被kill了

[1049451037]

建议使用新版仓库代码

[EsonJohn]

请问是系统内存还是GPU显存呢？

我在旧版代码上训了一些版本，想暂且基于这个版本的代码来做，不然还需要花时间迁移。。。

[1049451037]

不需要迁移，新版本代码是一样的，模型结构也是一样的，只是换了一个目录。

[EsonJohn]

嗯嗯好的，谢谢。
您说的内存不足的问题，我又尝试运行了一下，我看htop显示的内存利用率一直挺低的呀？