Hugging Face's logo

Transformers documentation

SwiftFormer

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v5.22.2).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Este modelo foi publicado em HF papers em 2023-03-27 e contribuído para Hugging Face Transformers em 2023-05-12.

SwiftFormer

Visão geral

O modelo SwiftFormer foi proposto em SwiftFormer: Efficient Additive Attention for Transformer-based Real-time Mobile Vision Applications por Abdelrahman Shaker, Muhammad Maaz, Hanoona Rasheed, Salman Khan, Ming-Hsuan Yang, Fahad Shahbaz Khan.

O artigo SwiftFormer apresenta um novo mecanismo de atenção aditiva eficiente que substitui efetivamente as operações de multiplicação de matrizes quadráticas no cálculo da autoatenção por multiplicações elementares lineares. Com base nisso, é construída uma série de modelos chamada ‘SwiftFormer’, que atinge desempenho de estado da arte tanto em termos de precisão quanto de velocidade de inferência em dispositivos móveis. Mesmo sua variante pequena atinge 78,5% de precisão top-1 no ImageNet1K com apenas 0,8 ms de latência no iPhone 14, sendo mais precisa e 2× mais rápida em comparação com o MobileViT-v2.

O resumo do artigo é o seguinte:

A autoatenção tornou-se a escolha padrão para capturar o contexto global em diversas aplicações de visão computacional. No entanto, sua complexidade computacional quadrática em relação à resolução da imagem limita seu uso em aplicações em tempo real, especialmente para implantação em dispositivos móveis com recursos limitados. Embora abordagens híbridas tenham sido propostas para combinar as vantagens das convoluções e da autoatenção para um melhor compromisso entre velocidade e precisão, as operações de multiplicação de matrizes caras na autoatenção permanecem como um gargalo. Neste trabalho, introduzimos um novo mecanismo de atenção aditiva eficiente que substitui efetivamente as operações de multiplicação de matrizes quadráticas por multiplicações elementares lineares. Nosso design demonstra que a interação chave-valor pode ser substituída por uma camada linear sem sacrificar a precisão. Diferentemente dos métodos de estado da arte anteriores, nossa formulação eficiente da autoatenção permite seu uso em todos os estágios da rede. Usando a atenção aditiva eficiente proposta, construímos uma série de modelos chamados “SwiftFormer”, que alcançam desempenho de estado da arte em termos de precisão e velocidade de inferência móvel. Nossa variante pequena atinge 78,5% de precisão top-1 no ImageNet-1K com apenas 0,8 ms de latência no iPhone 14, sendo mais precisa e 2x mais rápida em comparação com o MobileViT-v2.

Este modelo foi contribuído por shehan97. O código original pode ser encontrado aqui.

SwiftFormerConfig

classe transformers.SwiftFormerConfig

< >

( transformers_version: str | None = Nonearchitectures: list[str] | None = Noneoutput_hidden_states: bool | None = Falsereturn_dict: bool | None = Truedtype: str | torch.dtype | None = Nonechunk_size_feed_forward: int = 0is_encoder_decoder: bool = Falseid2label: dict[int, str] | dict[str, str] | None = Nonelabel2id: dict[str, int] | dict[str, str] | None = Noneproblem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = Noneimage_size: int | list[int] | tuple[int, int] = 224num_channels: int = 3depths: list[int] | tuple[int, ...] = (3, 3, 6, 4)embed_dims: list[int] | tuple[int, ...] = (48, 56, 112, 220)mlp_ratio: int = 4downsamples: list[bool] | tuple[bool, ...] = (True, True, True, True)hidden_act: str = 'gelu'down_patch_size: int | list[int] | tuple[int, int] = 3down_stride: int = 2down_pad: int = 1drop_path_rate: float | int = 0.0drop_mlp_rate: float | int = 0.0drop_conv_encoder_rate: float | int = 0.0use_layer_scale: bool = Truelayer_scale_init_value: float = 1e-05batch_norm_eps: float = 1e-05 )

Parâmetros

  • image_size (Union[int, list[int], tuple[int, int]], opcional, padrão 224) — O tamanho (resolução) de cada imagem.
  • num_channels (int, opcional, padrão 3) — O número de canais de entrada.
  • depths (Union[list[int], tuple[int, ...]], opcional, padrão (3, 3, 6, 4)) — Profundidade de cada camada no Transformer.
  • embed_dims (list[int], opcional, padrão [48, 56, 112, 220]) — A dimensão de incorporação em cada etapa
  • mlp_ratio (int, opcional, padrão 4) — Proporção entre a dimensão oculta do MLP e a dimensão de incorporação.
  • downsamples (list[bool], opcional, padrão [True, True, True, True]) — Indica se as entradas devem ser reduzidas (downsampled) entre dois estágios.
  • hidden_act (str, opcional, padrão gelu) — A função de ativação não linear (função ou string) no decodificador. Por exemplo, "gelu", "relu", "silu", etc.
  • down_patch_size (int, opcional, padrão 3) — O tamanho dos patches nas camadas de downsampling.
  • down_stride (int, opcional, padrão 2) — O stride dos kernels de convolução nas camadas de downsampling.
  • down_pad (int, opcional, padrão 1) — Preenchimento nas camadas de redução de resolução.
  • drop_path_rate (Union[float, int], opcional, padrão 0.0) — Taxa de drop path para a fusão de patches.
  • drop_mlp_rate (float, opcional, padrão 0.0) — Taxa de dropout para o componente MLP do SwiftFormer.
  • drop_conv_encoder_rate (float, opcional, padrão 0.0) — Taxa de dropout para o componente ConvEncoder do SwiftFormer.
  • use_layer_scale (bool, opcional, padrão True) — Se deve escalar as saídas dos misturadores de tokens.
  • layer_scale_init_value (float, opcional, padrão 1e-05) — Escala a ser usada nas camadas de autoatenção. 0.1 para base, 1e-6 para grande. Defina 0 para desativar a escala da camada.
  • batch_norm_eps (float, opcional, padrão 1e-05) — O epsilon usado pelas camadas de normalização de lote.

Esta é a classe de configuração para armazenar a configuração de um SwiftFormerModel. Ela é usada para instanciar um modelo Swiftformer de acordo com os argumentos especificados, definindo a arquitetura do modelo. Instanciar uma configuração com os padrões resultará em uma configuração semelhante à do MBZUAI/swiftformer-xs

Os objetos de configuração herdam de PreTrainedConfig e podem ser usados para controlar as saídas do modelo. Consulte a documentação de PreTrainedConfig para mais informações.

Exemplo:

>>> from transformers import SwiftFormerConfig, SwiftFormerModel

>>> # Initializing a SwiftFormer swiftformer-base-patch16-224 style configuration
>>> configuration = SwiftFormerConfig()

>>> # Initializing a model (with random weights) from the swiftformer-base-patch16-224 style configuration
>>> model = SwiftFormerModel(configuration)

>>> # Accessing the model configuration
>>> configuration = model.config

SwiftFormerModel

classe transformers.SwiftFormerModel

< >

( config: SwiftFormerConfig )

Parâmetros

  • config (SwiftFormerConfig) — Classe de configuração do modelo com todos os parâmetros do modelo. A inicialização com um arquivo de configuração não carrega os pesos associados ao modelo, apenas a configuração. Consulte o método from_pretrained() para carregar os pesos do modelo.

O modelo Swiftformer básico que produz estados ocultos brutos, sem nenhum head específico no topo.

Este modelo herda de PreTrainedModel. Consulte a documentação da classe pai para os métodos genéricos que a biblioteca implementa para todos os seus modelos (como download ou salvamento, redimensionamento dos embeddings de entrada, poda de cabeças, etc.)

Este modelo também é uma subclasse de torch.nn.Module do PyTorch. Use-o como um Módulo PyTorch regular e consulte a documentação do PyTorch para todos os assuntos relacionados ao uso geral e ao comportamento.

forward

< >

( pixel_values: typing.Optional[torch.Tensor] = Noneoutput_hidden_states: bool | None = Nonereturn_dict: bool | None = None**kwargs ) → BaseModelOutputWithNoAttention or tuple(torch.Tensor)

Parâmetros

  • pixel_values (torch.Tensor de forma (batch_size, num_channels, image_size, image_size), opcional) — Os tensores correspondentes às imagens de entrada. Os valores de pixels podem ser obtidos usando ViTImageProcessor. Consulte ViTImageProcessor.call() para mais detalhes (processor_class usa ViTImageProcessor para processar as imagens).
  • output_hidden_states (bool, opcional) — Indica se as hidden states de todas as camadas devem ser retornadas. Consulte hidden_states em tensors retornados para mais detalhes.
  • return_dict (bool, opcional) — Indica se deve retornar um ModelOutput em vez de uma tupla simples.

Retorna

BaseModelOutputWithNoAttention ou tuple(torch.Tensor)

Um BaseModelOutputWithNoAttention ou uma tupla de torch.Tensor (se return_dict=False for passado ou quando config.return_dict=False) contendo vários elementos, dependendo da configuração (SwiftFormerConfig) e das entradas.

O método forward do SwiftFormerModel substitui o método especial __call__.

Embora a receita para a passagem direta precise ser definida dentro desta função, deve-se chamar a instância de Module em seguida, em vez desta, pois a primeira cuida da execução das etapas de pré e pós-processamento, enquanto a segunda as ignora silenciosamente.

  • last_hidden_state (torch.Tensor de forma (batch_size, num_channels, height, width)) — Sequência de estados ocultos na saída da última camada do modelo.

  • hidden_states (tuple(torch.Tensor), opcional, retornado quando output_hidden_states=True é passado ou quando config.output_hidden_states=True) — Tupla de torch.Tensor (um para a saída dos embeddings, se o modelo tiver uma camada de embedding, + um para a saída de cada camada) de forma (batch_size, num_channels, height, width).

    Estados ocultos do modelo na saída de cada camada, além das saídas opcionais do embedding inicial.

Exemplo:

SwiftFormerForImageClassification

classe transformers.SwiftFormerForImageClassification

< >

( config: SwiftFormerConfig )

Parâmetros

  • config (SwiftFormerConfig) — Classe de configuração do modelo com todos os parâmetros do modelo. A inicialização com um arquivo de configuração não carrega os pesos associados ao modelo, apenas a configuração. Consulte o método from_pretrained() para carregar os pesos do modelo.

O modelo Swiftformer com uma cabeça de classificação de imagem no topo, por exemplo, para o ImageNet.

Este modelo herda de PreTrainedModel. Consulte a documentação da classe pai para os métodos genéricos que a biblioteca implementa para todos os seus modelos (como download ou salvamento, redimensionamento dos embeddings de entrada, poda de cabeças, etc.)

Este modelo também é uma subclasse de torch.nn.Module do PyTorch. Use-o como um Módulo PyTorch regular e consulte a documentação do PyTorch para todos os assuntos relacionados ao uso geral e ao comportamento.

forward

< >

( pixel_values: typing.Optional[torch.Tensor] = Nonelabels: typing.Optional[torch.Tensor] = Noneoutput_hidden_states: bool | None = Nonereturn_dict: bool | None = None**kwargs ) → ImageClassifierOutputWithNoAttention or tuple(torch.Tensor)

Parâmetros

  • pixel_values (torch.Tensor de forma (batch_size, num_channels, image_size, image_size), opcional) — Os tensores correspondentes às imagens de entrada. Os valores de pixels podem ser obtidos usando ViTImageProcessor. Consulte ViTImageProcessor.call() para mais detalhes (processor_class usa ViTImageProcessor para processar as imagens).
  • labels (torch.LongTensor de forma (batch_size,), opcional) — Rótulos para o cálculo da perda de classificação/regressão de imagem. Os índices devem estar em [0, ..., config.num_labels - 1]. Se config.num_labels == 1, uma perda de regressão é calculada (perda de erro quadrático médio); se config.num_labels > 1, uma perda de classificação é calculada (entropia cruzada).
  • output_hidden_states (bool, opcional) — Indica se as hidden states de todas as camadas devem ser retornadas. Consulte hidden_states em tensors retornados para mais detalhes.
  • return_dict (bool, opcional) — Indica se deve retornar um ModelOutput em vez de uma tupla simples.

Retorna

ImageClassifierOutputWithNoAttention ou tuple(torch.Tensor)

Um ImageClassifierOutputWithNoAttention ou uma tupla de torch.Tensor (se return_dict=False for passado ou quando config.return_dict=False) contendo vários elementos, dependendo da configuração (SwiftFormerConfig) e das entradas.

O método forward de SwiftFormerForImageClassification sobrescreve o método especial __call__.

Embora a receita para a passagem direta precise ser definida dentro desta função, deve-se chamar a instância de Module em seguida, em vez desta, pois a primeira cuida da execução das etapas de pré e pós-processamento, enquanto a segunda as ignora silenciosamente.

  • loss (torch.Tensor de forma (1,), opcional, retornado quando labels é fornecido) — Perda de classificação (ou regressão se config.num_labels==1).
  • logits (torch.Tensor de forma (batch_size, config.num_labels)) — Pontuações de classificação (ou regressão, se config.num_labels==1) (antes do SoftMax).
  • hidden_states (tuple(torch.Tensor), opcional, retornado quando output_hidden_states=True é passado ou quando config.output_hidden_states=True) — Tupla de torch.Tensor (um para a saída dos embeddings, se o modelo tiver uma camada de embedding, + um para a saída de cada estágio) de forma (batch_size, num_channels, height, width). Hidden-states (também chamados de feature maps) do modelo na saída de cada estágio.

Exemplo:

>>> from transformers import AutoImageProcessor, SwiftFormerForImageClassification
>>> import torch
>>> from datasets import load_dataset

>>> dataset = load_dataset("huggingface/cats-image")
>>> image = dataset["test"]["image"][0]

>>> image_processor = AutoImageProcessor.from_pretrained("MBZUAI/swiftformer-xs")
>>> model = SwiftFormerForImageClassification.from_pretrained("MBZUAI/swiftformer-xs")

>>> inputs = image_processor(image, return_tensors="pt")

>>> with torch.no_grad():
...     logits = model(**inputs).logits

>>> # model predicts one of the 1000 ImageNet classes
>>> predicted_label = logits.argmax(-1).item()
>>> print(model.config.id2label[predicted_label])
...
Update on GitHub

←SuperPoint Swin Transformer→