Skip to content

04f BERT

Jump to bottom
ccckmit edited this page May 22, 2023 · 1 revision

ccc:

我以為 GPT 是用 MLM + NSP 當 loss，結果搞錯了 BERT 才是 MLM + NSP

GPT1 除語言模型外，有4 種 Task (Refined Task)

  1. Classification
  2. Entailment
  3. Similarity
  4. Multiple Choice

GPT 的語言模型是用 n-gram 的馬可夫模型， P(x[t] | x[t-1], ... x[t-n]) ...

陳鍾誠 於 金門大學 資訊工程系 -- 本書衍生自 維基百科 與 Karpathy 的 micrograd 與 minGPT ，採用 CC: BY-SA 授權

GPT 背後的數學與程式

  1. 簡介
  2. 梯度下降法
  3. 反傳遞算法
  4. GPT
  5. ChatGPT

補充

思想遊戲

Clone this wiki locally