Skip to content

[问题/Issue] 章节3.3.1(2):CLM中C是Causal不是Casual / Chapter3.3.1(2): The C in CLM stands for Causal, not Casual. #129

@rebeleder

Description

@rebeleder

1. 遇到问题的章节 / Affected Chapter

Chapter3.3.1(2)

2. 具体问题描述 / Problem Description

[3.3.1 GPT](2)预训练任务——CLM
Decoder-Only 的模型结构往往更适合于文本生成任务,因此,Decoder-Only 模型往往选择了最传统也最直接的预训练任务——因果语言模型,Casual Language Model,下简称 CLM。

Casual是休闲的,Causal是因果的。

3. 问题重现材料 / Reproduction Materials

Decoder-Only 的模型结构往往更适合于文本生成任务,因此,Decoder-Only 模型往往选择了最传统也最直接的预训练任务——因果语言模型,Causal Language Model,下简称 CLM。

确认事项 / Verification

  • 此问题未在过往Issue中被报告过 / This issue hasn't been reported before

Metadata

Metadata

Assignees

No one assigned

    Labels

    documentationImprovements or additions to documentation

    Type

    No type

    Projects

    No projects

    Milestone

    No milestone

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions