Day1上午

 Transformer

 1、你需要的僅僅是“注意力”

 2、Transformer中的block

 3、自注意力機制

 4、多頭注意力

 5、位置編碼（拋棄RNN）

 6、Batch Norm與Layer Norm

 7、解碼器的構造

 初代GPT

 1、  “獨角獸”的威力

 2、 GPT的內(nèi)部架構

 3、 基于Transformer的改造

 4、 自注意力機制的改進

 Day1下午

 GPT的演進

 1、GPT2

 2、GPT3

 3、InstructGPT

 chatGPT的原理實踐

 1、指示學習（Instruct Learning）

 2、相關數(shù)據(jù)集

 3、有監(jiān)督微調（SFT）

 4、從人類反饋中RL的思路

 5、獎勵建模（RM）

 6、PPO

 7、chatGPT的應用領域

 8、chatGPT引發(fā)的討論

 chatGPT的國內(nèi)替代品

 1、問東風AI

 2、其他替代品