LLM Course documentation
Tổng kết
0. Cài đặt
1. Mô hình Transformer
Giới thiệuXử lý Ngôn Ngữ Tự nhiênTransformers có thể làm những gì?Cơ chế hoạt động của Transformer?Các mô hình mã hóaCác mô hình giải mãCác mô hình mã hoá-giải mãThiên kiến và hạn chếTổng kếtĐố vui cuối chương
2. Sử dụng 🤗 Transformers
3. Tinh chỉnh một mô hình huấn luyện trước
4. Chia sẻ các mô hình và tokenizer
5. Thư viện 🤗 Datasets
6. Thư viện 🤗 Tokenizers
7. Các tác vụ NLP chính
8. Làm thế nào để yêu cầu giúp đỡ
9. Xây dựng và chia sẻ các demo
Sự kiện Khoá học
Tổng kết
Trong chương này, bạn đã biết cách tiếp cận các tác vụ NLP khác nhau bằng cách sử dụng hàm pipeline() cấp cao từ 🤗 Transformers. Bạn cũng đã biết cách tìm kiếm và sử dụng các mô hình trong Hub, cũng như cách sử dụng Inference API để kiểm tra các mô hình trực tiếp trong trình duyệt của mình.
Chúng ta đã thảo luận về cách các mô hình Transformer hoạt động ở cấp độ cao và nói về tầm quan trọng của việc học chuyển giao và tinh chỉnh. Một khía cạnh quan trọng, đó là bạn có thể sử dụng kiến trúc đầy đủ hoặc chỉ phần mã hóa hoặc giải mã, tùy thuộc vào loại tác vụ bạn muốn giải quyết. Bảng dưới đây tóm tắt khía cạnh này:
| Mô hình | Ví dụ | Tác vụ |
|---|---|---|
| Mã hoá | ALBERT, BERT, DistilBERT, ELECTRA, RoBERTa | Phân loại câu, Nhận dạng thực thể có tên, hỏi đáp chích xuất |
| Giải mã | CTRL, GPT, GPT-2, Transformer XL | Tạo văn bản |
| Mã hoá-giải mã | BART, T5, Marian, mBART | Tóm tắt, dịch máy, trả lời câu hỏi tổng hợp |