Multimodal-LLM-Lightweight

项目简介 本项目是针对多模态大模型 Qwen2-VL-7B 的轻量化研究与实现，目前是通过 AWQ（Activation-aware Weight Quantization）量化 和 VTW（Variable Token Width）方法，降低模型的计算和存储成本，同时保留模型的性能。 本项目的主要目标包括： 探索 AWQ 量化 在多模态大模型上的应用。 使用 VTW Token 缩减 技术进一步优化推理效率。 评估轻量化后的模型在多模态任务（如图文理解、问答等）上的性能表现