文本摘要

[Jerrica123]

你好，我想请问一下，微调时我的数据实验结果不太理想，如果我想给模型喂一些先验知识，让他能够学习到这些，用先验知识辅助完成摘要的话，是需要在预训练原模型上进行更改重新训练，还是在微调层面对输入结构进行更改就可以呢？

[SunnyGJing]

你好，建议在我分享的预训练模型基础上做先验知识的微调(可以看作二次预训练)，再在此基础上做摘要生成的微调。 806416908 ***@***.***

…

---- 回复的原邮件 ***@***.***>发送日期2023年05月11日 09:09 ***@***.***> ***@***.***>主题[SunnyGJing/t5-pegasus-chinese] 文本摘要 (Issue #25) 你好，我想请问一下，微调时我的数据实验结果不太理想，如果我想给模型喂一些先验知识，让他能够学习到这些，用先验知识辅助完成摘要的话，是需要在预训练原模型上进行更改重新训练，还是在微调层面对输入结构进行更改就可以呢？ —Reply to this email directly, view it on GitHub, or unsubscribe.You are receiving this because you are subscribed to this thread.Message ID: ***@***.***> [ { ***@***.***": "http://schema.org", ***@***.***": "EmailMessage", "potentialAction": { ***@***.***": "ViewAction", "target": "#25", "url": "#25", "name": "View Issue" }, "description": "View this Issue on GitHub", "publisher": { ***@***.***": "Organization", "name": "GitHub", "url": "https://github.com" } } ]