Qwen3模型训练，训练数据混合了CoT和非CoT数据，应该怎么设置 #8833
Unanswered
GaryZhu1996
asked this question in
Q&A
Replies: 1 comment 2 replies
-
|
enable_thinking=None 可以自动适配混合数据 |
Beta Was this translation helpful? Give feedback.
2 replies
-
|
麻烦问一下，自动适配混合数据包括对于user和assistant输入模版的适配吗 |
Beta Was this translation helpful? Give feedback.
-
哥你这个这么样效果 |
Beta Was this translation helpful? Give feedback.
Sign up for free
to join this conversation on GitHub.
Already have an account?
Sign in to comment
Uh oh!
There was an error while loading. Please reload this page.
-
我现在使用最新版本的llama factory开源框架训练，使用的基模型是qwen3，训练数据包括enable_thinking和disable_thinking两个部分的数据。
我的dataset参数使用了很多个不同的数据源，每个数据源是否enable_thinking的状况都是保持一致的。数据只有instruction和output两个部分，instruction是需要拼入完整的template的（按照qwen3的逻辑，template会受到是否enable_thinking影响而有所差异）；output部分只有enable_thinking的数据才有部分，其他数据只有回答部分，没有开头空对的占位符。
我应该怎么配置参数，才能完成两种数据的混合训练，确保对两种数据不同的处理
Beta Was this translation helpful? Give feedback.
All reactions