关于 VisionLLama参数量的疑问

[HL4214]

您好，
看完paper中的2DRoPE后，觉得idea非常好，想尝试和验证下2DRoPE的效果。
但paper的Table.3汇报VisionLLama-base的参数量是86M，而我实际跑的时候发现VisionLLama-base的参数量是255M左右。

同时，我查看了huggingface公开的log日志：https://huggingface.co/mtgv/VisionLLaMA-Base-MAE/blob/main/visionllama-base-p16_8xb2048-linear-coslr-1600-90e_in1k.log ，里面每一层ffn.w12.weight的shape为[16384, 768]，那么12层的参数量就为1216384768=150,994,944。

请问是什么原因呢？这是否可能会导致结果对比不太公平？

[cxxgtxy]

按照大家的共识，VisionLLama base的参数量指的是encoder的参数量，不包括decoder。
VisionLLama跟VIT的参数量基本一样。
抱歉，回复晚了。

[HL4214]

你好，我使用以下mmpretrain文件夹里提供的visionLLama模型及默认配置，重新统计了参数量，并没有包好decoder部分，visionLlama-base的参数量依然是255M左右，同时我也单独统计了FFN层的参数量，发现FFN层的参数量已经达到226左右，参数量统计代码如下：
` vision_llama_base = VisionLLaMA(arch="b", with_cls_token=True)
total_params = sum(p.numel() for p in vision_llama_base.parameters())
print("total_params:", total_params)

ffn_params = 0
for n, p in vision_llama_base.named_parameters():
    if "ffn" in n:
        ffn_params += p.numel()

print("ffn_params:", ffn_params)`

上述代码输出结果为：
total_params: 255827712 ffn_params: 226698240
您能否帮我检查下哪里出现了问题吗？

[Charles-Xie]

请问这个问题有答案了吗？VisionLlama-base的参数量是255M还是86M呢？

[cxxgtxy]

请问这个问题有答案了吗？VisionLlama-base的参数量是255M还是86M呢？
86M。因为大家最终用的是encoder作为backbone，跟VIT Base差不多的量级。

[Charles-Xie]

感谢作者大佬的迅速回复！

[cxxgtxy]

感谢作者大佬的迅速回复！

客气了，我不在MT了，所以回复的有点慢。