# 「解碼器」模型

「解碼器」模型通常指僅使用解碼器的 Transformer 模型。在每個階段，對於給定的單詞，注意力層只能獲取到句子中位於將要預測單詞前面的單詞。這些模型通常被稱爲自迴歸模型。

「解碼器」模型的預訓練通常圍繞預測句子中的下一個單詞進行。

這些模型最適合於涉及文本生成的任務。

該系列模型的典型代表有：

- [CTRL](https://huggingface.co/transformers/model_doc/ctrl.html)
- [GPT](https://huggingface.co/docs/transformers/model_doc/openai-gpt)
- [GPT-2](https://huggingface.co/transformers/model_doc/gpt2.html)
- [Transformer XL](https://huggingface.co/transformers/model_doc/transformerxl.html)