Hugging Face's logo

Transformers documentation

Dilated Neighborhood Attention Transformer

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v5.22.1).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Model ini dipublikasikan di HF papers pada 2022-09-29 dan disumbangkan ke Hugging Face Transformers pada 2022-11-18.

Dilated Neighborhood Attention Transformer

Ikhtisar

DiNAT diusulkan dalam Dilated Neighborhood Attention Transformer oleh Ali Hassani dan Humphrey Shi.

Ini memperluas NAT dengan menambahkan pola Dilated Neighborhood Attention untuk menangkap konteks global, dan menunjukkan peningkatan kinerja yang signifikan dibandingkan dengannya.

Abstrak dari makalah tersebut adalah sebagai berikut:

Transformers dengan cepat menjadi salah satu arsitektur deep learning yang paling banyak diterapkan di berbagai modalitas, domain, dan tugas. Dalam bidang visi, di samping upaya berkelanjutan pada plain transformers, hierarchical transformers juga mendapat perhatian signifikan berkat kinerjanya dan kemudahan integrasinya ke dalam framework yang ada. Model-model ini biasanya menggunakan mekanisme perhatian lokal, seperti Neighborhood Attention (NA) sliding-window atau Shifted Window Self Attention dari Swin Transformer. Meskipun efektif dalam mengurangi kompleksitas kuadratik dari self attention, perhatian lokal melemahkan dua sifat paling diinginkan dari self attention: pemodelan ketergantungan jarak jauh (long range inter-dependency) dan bidang reseptif global. Dalam makalah ini, kami memperkenalkan Dilated Neighborhood Attention (DiNA), sebuah ekstensi yang alami, fleksibel, dan efisien untuk NA yang dapat menangkap konteks global lebih banyak dan memperluas bidang reseptif secara eksponensial tanpa biaya tambahan. Perhatian lokal dari NA dan perhatian global sparse dari DiNA saling melengkapi, sehingga kami memperkenalkan Dilated Neighborhood Attention Transformer (DiNAT), sebuah vision transformer hierarkis baru yang dibangun di atas keduanya. Variasi DiNAT menikmati peningkatan signifikan dibandingkan baseline kuat seperti NAT, Swin, dan ConvNeXt. Model besar kami lebih cepat dan melampaui padanan Swin-nya sebesar 1,5% box AP dalam deteksi objek COCO, 1,3% mask AP dalam segmentasi instance COCO, dan 1,1% mIoU dalam segmentasi semantik ADE20K. Dipasangkan dengan framework baru, variasi besar kami adalah model segmentasi panoptik state of the art baru di COCO (58,2 PQ) dan ADE20K (48,5 PQ), serta model segmentasi instance di Cityscapes (44,5 AP) dan ADE20K (35,4 AP) (tanpa data tambahan). Model ini juga menyamai model segmentasi semantik khusus state of the art di ADE20K (58,2 mIoU), dan menempati peringkat kedua di Cityscapes (84,5 mIoU) (tanpa data tambahan).

drawing Neighborhood Attention with different dilation values. Taken from the original paper.

Model ini disumbangkan oleh Ali Hassani. Kode aslinya dapat ditemukan di sini.

Tips penggunaan

DiNAT dapat digunakan sebagai backbone. Ketika output_hidden_states = True, ia akan mengoutputkan hidden_states dan reshaped_hidden_states. Bentuk reshaped_hidden_states adalah (batch, num_channels, height, width) alih-alih (batch_size, height, width, num_channels).

Catatan:

  • DiNAT bergantung pada implementasi Neighborhood Attention dan Dilated Neighborhood Attention dari NATTEN. Anda dapat menginstalnya dengan wheel yang sudah dibangun untuk Linux dengan merujuk ke shi-labs.com/natten, atau membangunnya di sistem Anda dengan menjalankan pip install natten. Perhatikan bahwa metode kedua kemungkinan akan memakan waktu untuk dikompilasi. NATTEN belum mendukung perangkat Windows.
  • Patch size 4 saat ini hanya didukung.

Sumber daya

Daftar sumber resmi Hugging Face dan komunitas (ditandai dengan 🌎) untuk membantu Anda memulai dengan DiNAT.

Image Classification

Jika Anda tertarik untuk mengirimkan sumber daya agar disertakan di sini, silakan buka Pull Request dan kami akan meninjaunya! Sumber daya tersebut sebaiknya mendemonstrasikan sesuatu yang baru, bukan menduplikasi sumber daya yang sudah ada.

DinatConfig

kelas transformers.DinatConfig

< >

( transformers_version: str | None = Nonearchitectures: list[str] | None = Noneoutput_hidden_states: bool | None = Falsereturn_dict: bool | None = Truedtype: str | torch.dtype | None = Nonechunk_size_feed_forward: int = 0is_encoder_decoder: bool = Falseid2label: dict[int, str] | dict[str, str] | None = Nonelabel2id: dict[str, int] | dict[str, str] | None = Noneproblem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = Nonepatch_size: int | list[int] | tuple[int, int] = 4num_channels: int = 3embed_dim: int = 64depths: list[int] | tuple[int, ...] = (3, 4, 6, 5)num_heads: list[int] | tuple[int, ...] = (2, 4, 8, 16)kernel_size: int = 7dilations: list | tuple | None = Nonemlp_ratio: float = 3.0qkv_bias: bool = Truehidden_dropout_prob: float | int = 0.0attention_probs_dropout_prob: float | int = 0.0drop_path_rate: float | int = 0.1hidden_act: str = 'gelu'initializer_range: float = 0.02layer_norm_eps: float = 1e-05layer_scale_init_value: float = 0.0_out_features: list[str] | None = None_out_indices: list[int] | None = None )

Parameter

  • patch_size (Union[int, list[int], tuple[int, int]], opsional, defaultnya 4) — Ukuran (resolusi) dari setiap patch.
  • num_channels (int, opsional, defaultnya 3) — Jumlah saluran input.
  • embed_dim (int, opsional, default 64) — Dimensi dari embeddings dan hidden states.
  • depths (Union[list[int], tuple[int, ...]], opsional, default (3, 4, 6, 5)) — Kedalaman setiap layer dalam Transformer.
  • num_heads (Union[list[int], tuple[int, ...]], opsional, default (2, 4, 8, 16)) — Jumlah attention head untuk setiap lapisan attention dalam decoder Transformer.
  • kernel_size (int, opsional, defaultnya 7) — Ukuran kernel konvolusi.
  • dilations (list[list[int]], opsional, default [[1, 8, 1], [1, 4, 1, 4], [1, 2, 1, 2, 1, 2], [1, 1, 1, 1, 1]]) — Nilai dilasi untuk setiap lapisan NA di encoder Transformer.
  • mlp_ratio (float, opsional, default 3.0) — Rasio dimensi tersembunyi MLP terhadap dimensi embedding.
  • qkv_bias (bool, opsional, defaultnya True) — Apakah akan menambahkan bias ke queries, keys, dan values.
  • hidden_dropout_prob (Union[float, int], opsional, default 0.0) — Probabilitas dropout untuk semua lapisan fully connected di embeddings, encoder, dan pooler.
  • attention_probs_dropout_prob (Union[float, int], opsional, default 0.0) — Rasio dropout untuk probabilitas perhatian.
  • drop_path_rate (Union[float, int], opsional, defaultnya 0.1) — Tingkat drop path untuk fusi patch.
  • hidden_act (str, opsional, defaultnya gelu) — Fungsi aktivasi non-linear (fungsi atau string) di decoder. Misalnya, "gelu", "relu", "silu", dan sebagainya.
  • initializer_range (float, opsional, defaultnya 0.02) — Standar deviasi dari truncated_normal_initializer untuk menginisialisasi semua matriks bobot.
  • layer_norm_eps (float, opsional, defaultnya 1e-05) — Epsilon yang digunakan oleh lapisan normalisasi lapisan.
  • layer_scale_init_value (float, opsional, default 0.0) — Skala yang digunakan pada lapisan self-attention. 0.1 untuk base, 1e-6 untuk large. Setel 0 untuk menonaktifkan layer scale.

Ini adalah kelas konfigurasi untuk menyimpan konfigurasi dari DinatModel. Kelas ini digunakan untuk membuat instans model Dinat berdasarkan argumen yang ditentukan, yang mendefinisikan arsitektur model. Membuat instans konfigurasi dengan nilai bawaan akan menghasilkan konfigurasi yang serupa dengan konfigurasi dari shi-labs/dinat-mini-in1k-224

Objek konfigurasi mewarisi dari PreTrainedConfig dan dapat digunakan untuk mengontrol output model. Baca dokumentasi dari PreTrainedConfig untuk informasi lebih lanjut.

Contoh:

>>> from transformers import DinatConfig, DinatModel

>>> # Initializing a Dinat shi-labs/dinat-mini-in1k-224 style configuration
>>> configuration = DinatConfig()

>>> # Initializing a model (with random weights) from the shi-labs/dinat-mini-in1k-224 style configuration
>>> model = DinatModel(configuration)

>>> # Accessing the model configuration
>>> configuration = model.config

DinatModel

kelas transformers.DinatModel

< >

( config: DinatConfigadd_pooling_layer = True )

Parameter

  • config (DinatConfig) — Kelas konfigurasi model dengan semua parameter model. Inisialisasi dengan file konfigurasi tidak memuat bobot yang terkait dengan model, hanya konfigurasinya. Lihat metode from_pretrained() untuk memuat bobot model.
  • add_pooling_layer (bool, opsional, default True) — Apakah akan menambahkan lapisan pooling

Model Dinat polos yang menghasilkan hidden-states mentah tanpa head spesifik di atasnya.

Model ini mewarisi dari PreTrainedModel. Periksa dokumentasi kelas induk untuk metode generik yang diimplementasikan oleh pustaka untuk semua model (seperti mengunduh atau menyimpan, mengubah ukuran embedding input, memangkas kepala, dll.)

Model ini juga merupakan subclass dari torch.nn.Module PyTorch. Gunakan sebagai PyTorch Module biasa dan merujuk ke dokumentasi PyTorch untuk semua hal yang berkaitan dengan penggunaan dan perilaku umum.

forward

< >

( pixel_values: typing.Optional[torch.Tensor] = Noneoutput_attentions: bool | None = Noneoutput_hidden_states: bool | None = Nonereturn_dict: bool | None = None**kwargs ) → DinatModelOutput or tuple(torch.Tensor)

Parameter

  • pixel_values (torch.Tensor dengan bentuk (batch_size, num_channels, image_size, image_size), opsional) — Tensor yang sesuai dengan gambar input. Nilai piksel dapat diperoleh menggunakan ViTImageProcessor. Lihat ViTImageProcessor.call() untuk detailnya (processor_class menggunakan ViTImageProcessor untuk memproses gambar).
  • output_attentions (bool, opsional) — Apakah akan mengembalikan tensor attentions dari semua lapisan attention. Lihat attentions di bawah tensor yang dikembalikan untuk detail lebih lanjut.
  • output_hidden_states (bool, opsional) — Apakah akan mengembalikan hidden states dari semua lapisan. Lihat hidden_states di bawah tensor yang dikembalikan untuk detail lebih lanjut.
  • return_dict (bool, opsional) — Apakah akan mengembalikan ModelOutput alih-alih tuple biasa.

Mengembalikan

DinatModelOutput atau tuple(torch.Tensor)

DinatModelOutput atau tuple dari torch.Tensor (jika return_dict=False diteruskan atau ketika config.return_dict=False) yang terdiri dari berbagai elemen tergantung pada konfigurasi (DinatConfig) dan input.

Metode forward dari DinatModel menimpa metode khusus __call__.

Meskipun resep untuk forward pass perlu didefinisikan di dalam fungsi ini, sebaiknya panggil instance Module setelahnya alih-alih fungsi ini, karena yang pertama menangani langkah-langkah pra-pemrosesan dan pasca-pemrosesan, sedangkan yang kedua mengabaikannya secara diam-diam.

  • last_hidden_state (torch.Tensor dengan bentuk (batch_size, sequence_length, hidden_size), opsional) — Urutan hidden-states pada keluaran lapisan terakhir model.

  • pooler_output (torch.Tensor dengan bentuk (batch_size, hidden_size), opsional, dikembalikan ketika add_pooling_layer=True diberikan) — Average pooling dari hidden-state lapisan terakhir.

  • hidden_states (tuple[torch.Tensor, ...], opsional, dikembalikan ketika output_hidden_states=True dilewatkan atau ketika config.output_hidden_states=True) — Tuple dari torch.Tensor (satu untuk output dari embeddings, jika model memiliki lapisan embedding, + satu untuk output dari setiap lapisan) dengan bentuk (batch_size, sequence_length, hidden_size).

    Hidden-states model pada output setiap layer ditambah output embedding awal yang opsional.

  • attentions (tuple[torch.Tensor, ...], opsional, dikembalikan saat output_attentions=True dilewatkan atau saat config.output_attentions=True) — Tuple dari torch.Tensor (satu untuk setiap layer) dengan bentuk (batch_size, num_heads, sequence_length, sequence_length).

    Bobot perhatian setelah softmax perhatian, digunakan untuk menghitung rata-rata berbobot di kepala perhatian diri (self-attention).

  • reshaped_hidden_states (tuple(torch.Tensor), opsional, dikembalikan ketika output_hidden_states=True dilewatkan atau ketika config.output_hidden_states=True) — Tuple dari torch.Tensor (satu untuk output embeddings + satu untuk output setiap tahap) dengan bentuk (batch_size, hidden_size, height, width).

    Hidden-states model pada output setiap lapisan ditambah output embedding awal yang di-reshape untuk mencakup dimensi spasial.

Contoh:

DinatForImageClassification

kelas transformers.DinatForImageClassification

< >

( config: DinatConfig )

Parameter

  • config (DinatConfig) — Kelas konfigurasi model dengan semua parameter model. Inisialisasi dengan file konfigurasi tidak memuat bobot yang terkait dengan model, hanya konfigurasinya. Lihat metode from_pretrained() untuk memuat bobot model.

Dinat Model transformer dengan kepala klasifikasi gambar di atasnya (lapisan linear di atas keadaan tersembunyi akhir dari token [CLS]) misalnya untuk ImageNet.

Model ini mewarisi dari PreTrainedModel. Periksa dokumentasi kelas induk untuk metode generik yang diimplementasikan oleh pustaka untuk semua model (seperti mengunduh atau menyimpan, mengubah ukuran embedding input, memangkas kepala, dll.)

Model ini juga merupakan subclass dari torch.nn.Module PyTorch. Gunakan sebagai PyTorch Module biasa dan merujuk ke dokumentasi PyTorch untuk semua hal yang berkaitan dengan penggunaan dan perilaku umum.

forward

< >

( pixel_values: typing.Optional[torch.Tensor] = Nonelabels: typing.Optional[torch.LongTensor] = Noneoutput_attentions: bool | None = Noneoutput_hidden_states: bool | None = Nonereturn_dict: bool | None = None**kwargs ) → DinatImageClassifierOutput or tuple(torch.Tensor)

Parameter

  • pixel_values (torch.Tensor dengan bentuk (batch_size, num_channels, image_size, image_size), opsional) — Tensor yang sesuai dengan gambar input. Nilai piksel dapat diperoleh menggunakan ViTImageProcessor. Lihat ViTImageProcessor.call() untuk detailnya (processor_class menggunakan ViTImageProcessor untuk memproses gambar).
  • labels (torch.LongTensor dengan bentuk (batch_size,), opsional) — Label untuk menghitung loss klasifikasi/regresi gambar. Indeks harus berada dalam [0, ..., config.num_labels - 1]. Jika config.num_labels == 1, loss regresi dihitung (Mean-Square loss). Jika config.num_labels > 1, loss klasifikasi dihitung (Cross-Entropy).
  • output_attentions (bool, opsional) — Apakah akan mengembalikan tensor attentions dari semua lapisan attention. Lihat attentions di bawah tensor yang dikembalikan untuk detail lebih lanjut.
  • output_hidden_states (bool, opsional) — Apakah akan mengembalikan hidden states dari semua lapisan. Lihat hidden_states di bawah tensor yang dikembalikan untuk detail lebih lanjut.
  • return_dict (bool, opsional) — Apakah akan mengembalikan ModelOutput alih-alih tuple biasa.

Mengembalikan

DinatImageClassifierOutput atau tuple(torch.Tensor)

DinatImageClassifierOutput atau tuple dari torch.Tensor (jika return_dict=False diteruskan atau ketika config.return_dict=False) yang terdiri dari berbagai elemen tergantung pada konfigurasi (DinatConfig) dan input.

Metode forward dari DinatForImageClassification menimpa metode khusus __call__.

Meskipun resep untuk forward pass perlu didefinisikan di dalam fungsi ini, sebaiknya panggil instance Module setelahnya alih-alih fungsi ini, karena yang pertama menangani langkah-langkah pra-pemrosesan dan pasca-pemrosesan, sedangkan yang kedua mengabaikannya secara diam-diam.

  • loss (torch.Tensor dengan bentuk (1,), opsional, dikembalikan saat labels disediakan) — Loss klasifikasi (atau regresi jika config.num_labels==1).

  • logits (torch.Tensor dengan bentuk (batch_size, config.num_labels)) — Skor klasifikasi (atau regresi jika config.num_labels==1) (sebelum SoftMax).

  • hidden_states (tuple[torch.Tensor, ...], opsional, dikembalikan ketika output_hidden_states=True dilewatkan atau ketika config.output_hidden_states=True) — Tuple dari torch.Tensor (satu untuk output dari embeddings, jika model memiliki lapisan embedding, + satu untuk output dari setiap lapisan) dengan bentuk (batch_size, sequence_length, hidden_size).

    Hidden-states model pada output setiap layer ditambah output embedding awal yang opsional.

  • attentions (tuple[torch.Tensor, ...], opsional, dikembalikan saat output_attentions=True dilewatkan atau saat config.output_attentions=True) — Tuple dari torch.Tensor (satu untuk setiap layer) dengan bentuk (batch_size, num_heads, sequence_length, sequence_length).

    Bobot perhatian setelah softmax perhatian, digunakan untuk menghitung rata-rata berbobot di kepala perhatian diri (self-attention).

  • reshaped_hidden_states (tuple(torch.Tensor), opsional, dikembalikan ketika output_hidden_states=True dilewatkan atau ketika config.output_hidden_states=True) — Tuple dari torch.Tensor (satu untuk output embeddings + satu untuk output setiap tahap) dengan bentuk (batch_size, hidden_size, height, width).

    Hidden-states model pada output setiap lapisan ditambah output embedding awal yang di-reshape untuk mencakup dimensi spasial.

Contoh:

>>> from transformers import AutoImageProcessor, DinatForImageClassification
>>> import torch
>>> from datasets import load_dataset

>>> dataset = load_dataset("huggingface/cats-image")
>>> image = dataset["test"]["image"][0]

>>> image_processor = AutoImageProcessor.from_pretrained("shi-labs/dinat-mini-in1k-224")
>>> model = DinatForImageClassification.from_pretrained("shi-labs/dinat-mini-in1k-224")

>>> inputs = image_processor(image, return_tensors="pt")

>>> with torch.no_grad():
...     logits = model(**inputs).logits

>>> # model predicts one of the 1000 ImageNet classes
>>> predicted_label = logits.argmax(-1).item()
>>> print(model.config.id2label[predicted_label])
...
Update on GitHub

←DETR DINOV2→