由前文我们知道GPT2使用自回归的方式来进行预训练，在预训练阶段，模型使用了大量的互联网语料。这些语料会先经过一些预处理，具体的，见下图蓝色框内，语料文本(input)会被分割成单独的单词或子词标记(tokenized text)，单词或者子词标记转换为标记嵌入(token … Continue reading 3 – LLM-嵌入层