Modele Decoder

Modelele Decoder utilizează doar decoder-ul unui model Transformer. În fiecare etapă, pentru un cuvânt dat, layerele de atenție pot accesa doar cuvintele poziționate înaintea acestuia în propoziție. Aceste modele sunt adesea numite modele autoregresive.

Preantrenarea modelelor de decodare se axează de obicei pe prezicerea următorului cuvânt din propoziție.

Aceste modele sunt cele mai potrivite pentru sarcinile care implică generarea de text.

Printre reprezentanții acestei familii de modele se numără:

• CTRL
• GPT
• GPT-2
• Transformer XL

Update on GitHub