El método forward de RTDetrV2Model reemplaza el método especial __call__.

Aunque la receta para la pasada hacia adelante debe definirse dentro de esta función, se debe llamar a la instancia de Module después en lugar de a esta, ya que la primera se encarga de ejecutar los pasos de pre y postprocesamiento, mientras que la segunda los ignora silenciosamente.

• last_hidden_state (torch.Tensor de forma (batch_size, num_queries, hidden_size)) — Secuencia de estados ocultos en la salida de la última capa del decodificador del modelo.

• intermediate_hidden_states (torch.Tensor de forma (batch_size, config.decoder_layers, num_queries, hidden_size)) — Estados ocultos intermedios apilados (salida de cada capa del decodificador).

• intermediate_logits (torch.Tensor de forma (batch_size, config.decoder_layers, sequence_length, config.num_labels)) — Logits intermedios apilados (logits de cada capa del decodificador).

• intermediate_reference_points (torch.Tensor de forma (batch_size, config.decoder_layers, num_queries, 4)) — Puntos de referencia intermedios apilados (puntos de referencia de cada capa del decodificador).

• intermediate_predicted_corners (torch.Tensor de forma (batch_size, config.decoder_layers, num_queries, 4)) — Esquinas intermedias predichas apiladas (esquinas predichas de cada capa del decodificador).

• initial_reference_points (torch.Tensor de forma (batch_size, num_queries, 4)) — Puntos de referencia iniciales utilizados para la primera capa del decodificador.

• decoder_hidden_states (tuple[torch.Tensor], opcional, se devuelve cuando se pasa output_hidden_states=True o cuando config.output_hidden_states=True) — Tupla de torch.Tensor (una para la salida de los embeddings, si el modelo tiene una capa de embedding, + una para la salida de cada capa) de forma (batch_size, sequence_length, hidden_size).

  Estados ocultos del decodificador en la salida de cada capa más las salidas de la incrustación inicial.

• decoder_attentions (tuple[torch.Tensor], opcional, se devuelve cuando se pasa output_attentions=True o cuando config.output_attentions=True) — Tupla de torch.Tensor (una por cada capa) de forma (batch_size, num_heads, sequence_length, sequence_length).

  Pesos de atención del decodificador, después del softmax de atención, utilizados para calcular la media ponderada en las cabezas de autoatención.

• cross_attentions (tuple[torch.Tensor], opcional, se devuelve cuando se pasa output_attentions=True o cuando config.output_attentions=True) — Tupla de torch.Tensor (una por cada capa) de forma (batch_size, num_heads, sequence_length, sequence_length).

  Pesos de atención de la capa de atención cruzada del decodificador, después del softmax de atención, utilizados para calcular la media ponderada en las cabezas de atención cruzada.

• encoder_last_hidden_state (torch.Tensor de forma (batch_size, sequence_length, hidden_size), opcional) — Secuencia de estados ocultos en la salida de la última capa del codificador del modelo.

• encoder_hidden_states (tuple[torch.Tensor], opcional, se devuelve cuando se pasa output_hidden_states=True o cuando config.output_hidden_states=True) — Tupla de torch.Tensor (una para la salida de las incrustaciones, si el modelo tiene una capa de incrustaciones, + una para la salida de cada capa) de forma (batch_size, sequence_length, hidden_size).

  Estados ocultos del codificador en la salida de cada capa más las salidas de la incrustación inicial.

• encoder_attentions (tuple[torch.Tensor], opcional, se devuelve cuando se pasa output_attentions=True o cuando config.output_attentions=True) — Tupla de torch.Tensor (una por cada capa) de forma (batch_size, num_heads, sequence_length, sequence_length).

  Pesos de atención del codificador, después del softmax de atención, utilizados para calcular la media ponderada en las cabezas de autoatención.

• init_reference_points (torch.Tensor de forma (batch_size, num_queries, 4)) — Puntos de referencia iniciales enviados a través del decodificador Transformer.

• enc_topk_logits (torch.Tensor de forma (batch_size, sequence_length, config.num_labels)) — Puntuaciones de las cajas delimitadoras predichas, donde las cajas delimitadoras con las config.two_stage_num_proposals puntuaciones más altas se seleccionan como propuestas de región en la etapa del codificador. Salida de la clasificación binaria de cajas delimitadoras (es decir, primer plano y fondo).

• enc_topk_bboxes (torch.Tensor de forma (batch_size, sequence_length, 4)) — Logits de las coordenadas de las cajas delimitadoras predichas en la etapa del codificador.

• enc_outputs_class (torch.Tensor de forma (batch_size, sequence_length, config.num_labels), opcional, devuelto cuando config.with_box_refine=True y config.two_stage=True) — Puntuaciones de las cajas delimitadoras predichas, donde las config.two_stage_num_proposals cajas delimitadoras con mayor puntuación se seleccionan como propuestas de región en la primera etapa. Salida de la clasificación binaria de cajas delimitadoras (es decir, primer plano y fondo).

• enc_outputs_coord_logits (torch.Tensor de forma (batch_size, sequence_length, 4), opcional, se devuelve cuando config.with_box_refine=True y config.two_stage=True) — Logits de las coordenadas de las cajas delimitadoras predichas en la primera etapa.

• denoising_meta_values (dict, opcional) — Diccionario adicional para los valores relacionados con el denoising.

>>> from transformers import AutoImageProcessor, RTDetrV2Model
>>> from PIL import Image
>>> from huggingface_hub.utils import httpx
>>> from io import BytesIO

>>> url = "http://images.cocodataset.org/val2017/000000039769.jpg"
>>> with httpx.stream("GET", url) as response:
...     image = Image.open(BytesIO(response.read()))

>>> image_processor = AutoImageProcessor.from_pretrained("PekingU/RTDetrV2_r50vd")
>>> model = RTDetrV2Model.from_pretrained("PekingU/RTDetrV2_r50vd")

>>> inputs = image_processor(images=image, return_tensors="pt")

>>> outputs = model(**inputs)

>>> last_hidden_states = outputs.last_hidden_state
>>> list(last_hidden_states.shape)
[1, 300, 256]

El método forward de RTDetrV2ForObjectDetection reemplaza el método especial __call__.

Aunque la receta para la pasada hacia adelante debe definirse dentro de esta función, se debe llamar a la instancia de Module después en lugar de a esta, ya que la primera se encarga de ejecutar los pasos de pre y postprocesamiento, mientras que la segunda los ignora silenciosamente.

• loss (torch.Tensor de forma (1,), opcional, devuelta cuando se proporcionan labels) — Pérdida total como combinación lineal de una log-verosimilitud negativa (entropía cruzada) para la predicción de clases y una pérdida de caja delimitadora. Esta última se define como una combinación lineal de la pérdida L1 y la pérdida de IoU generalizada e invariante a la escala.

• loss_dict (Dict, opcional) — Un diccionario que contiene las pérdidas individuales. Útil para el registro.

• logits (torch.Tensor de forma (batch_size, num_queries, num_classes + 1)) — Logits de clasificación (incluyendo no-objeto) para todas las consultas.

• pred_boxes (torch.Tensor de forma (batch_size, num_queries, 4)) — Coordenadas de cajas normalizadas para todas las consultas, representadas como (center_x, center_y, width, height). Estos valores están normalizados en [0, 1], relativos al tamaño de cada imagen individual del lote (ignorando el posible relleno). Puede usar ~RTDetrV2ImageProcessor.post_process_object_detection para obtener las cajas delimitadoras no normalizadas (absolutas).

• auxiliary_outputs (list[Dict], opcional) — Opcional, solo se devuelve cuando se activan las pérdidas auxiliares (es decir, config.auxiliary_loss está establecido en True) y se proporcionan etiquetas. Es una lista de diccionarios que contienen las dos claves anteriores (logits y pred_boxes) para cada capa del decodificador.

• last_hidden_state (torch.Tensor de forma (batch_size, num_queries, hidden_size)) — Secuencia de estados ocultos en la salida de la última capa del decodificador del modelo.

• intermediate_hidden_states (torch.Tensor de forma (batch_size, config.decoder_layers, num_queries, hidden_size)) — Estados ocultos intermedios apilados (salida de cada capa del decodificador).

• intermediate_logits (torch.Tensor de forma (batch_size, config.decoder_layers, num_queries, config.num_labels)) — Logits intermedios apilados (logits de cada capa del decodificador).

• intermediate_reference_points (torch.Tensor de forma (batch_size, config.decoder_layers, num_queries, 4)) — Puntos de referencia intermedios apilados (puntos de referencia de cada capa del decodificador).

• intermediate_predicted_corners (torch.Tensor de forma (batch_size, config.decoder_layers, num_queries, 4)) — Esquinas intermedias predichas apiladas (esquinas predichas de cada capa del decodificador).

• initial_reference_points (torch.Tensor de forma (batch_size, config.decoder_layers, num_queries, 4)) — Puntos de referencia iniciales apilados (puntos de referencia iniciales de cada capa del decodificador).

• decoder_hidden_states (tuple[torch.Tensor], opcional, se devuelve cuando se pasa output_hidden_states=True o cuando config.output_hidden_states=True) — Tupla de torch.Tensor (una para la salida de los embeddings, si el modelo tiene una capa de embedding, + una para la salida de cada capa) de forma (batch_size, sequence_length, hidden_size).

  Estados ocultos del decodificador en la salida de cada capa más las salidas de la incrustación inicial.

• decoder_attentions (tuple[torch.Tensor], opcional, se devuelve cuando se pasa output_attentions=True o cuando config.output_attentions=True) — Tupla de torch.Tensor (una por cada capa) de forma (batch_size, num_heads, sequence_length, sequence_length).

  Pesos de atención del decodificador, después del softmax de atención, utilizados para calcular la media ponderada en las cabezas de autoatención.

• cross_attentions (tuple[torch.Tensor], opcional, se devuelve cuando se pasa output_attentions=True o cuando config.output_attentions=True) — Tupla de torch.Tensor (una por cada capa) de forma (batch_size, num_heads, sequence_length, sequence_length).

  Pesos de atención de la capa de atención cruzada del decodificador, después del softmax de atención, utilizados para calcular la media ponderada en las cabezas de atención cruzada.

• encoder_last_hidden_state (torch.Tensor de forma (batch_size, sequence_length, hidden_size), opcional) — Secuencia de estados ocultos en la salida de la última capa del codificador del modelo.

• encoder_hidden_states (tuple[torch.Tensor], opcional, se devuelve cuando se pasa output_hidden_states=True o cuando config.output_hidden_states=True) — Tupla de torch.Tensor (una para la salida de las incrustaciones, si el modelo tiene una capa de incrustaciones, + una para la salida de cada capa) de forma (batch_size, sequence_length, hidden_size).

  Estados ocultos del codificador en la salida de cada capa más las salidas de la incrustación inicial.

• encoder_attentions (tuple[torch.Tensor], opcional, se devuelve cuando se pasa output_attentions=True o cuando config.output_attentions=True) — Tupla de torch.Tensor (una por cada capa) de forma (batch_size, num_heads, sequence_length, sequence_length).

  Pesos de atención del codificador, después del softmax de atención, utilizados para calcular la media ponderada en las cabezas de autoatención.

• init_reference_points (torch.Tensor de forma (batch_size, num_queries, 4)) — Puntos de referencia iniciales enviados a través del decodificador Transformer.

• enc_topk_logits (torch.Tensor de forma (batch_size, sequence_length, config.num_labels), opcional, se devuelve cuando config.with_box_refine=True y config.two_stage=True) — Logits de las coordenadas de las cajas delimitadoras predichas en el codificador.

• enc_topk_bboxes (torch.Tensor de forma (batch_size, sequence_length, 4), opcional, se devuelve cuando config.with_box_refine=True y config.two_stage=True) — Logits de las coordenadas de las cajas delimitadoras predichas en el codificador.

• enc_outputs_class (torch.Tensor de forma (batch_size, sequence_length, config.num_labels), opcional, devuelto cuando config.with_box_refine=True y config.two_stage=True) — Puntuaciones de las cajas delimitadoras predichas, donde las config.two_stage_num_proposals cajas delimitadoras con mayor puntuación se seleccionan como propuestas de región en la primera etapa. Salida de la clasificación binaria de cajas delimitadoras (es decir, primer plano y fondo).

• enc_outputs_coord_logits (torch.Tensor de forma (batch_size, sequence_length, 4), opcional, se devuelve cuando config.with_box_refine=True y config.two_stage=True) — Logits de las coordenadas de las cajas delimitadoras predichas en la primera etapa.

• denoising_meta_values (dict, opcional) — Diccionario adicional para los valores relacionados con el denoising

>>> from transformers import RTDetrV2ImageProcessor, RTDetrV2ForObjectDetection
>>> from PIL import Image
>>> from huggingface_hub.utils import httpx
>>> from io import BytesIO
>>> import torch

>>> url = "http://images.cocodataset.org/val2017/000000039769.jpg"
>>> with httpx.stream("GET", url) as response:
...     image = Image.open(BytesIO(response.read()))

>>> image_processor = RTDetrV2ImageProcessor.from_pretrained("PekingU/RTDetrV2_r50vd")
>>> model = RTDetrV2ForObjectDetection.from_pretrained("PekingU/RTDetrV2_r50vd")

>>> # prepare image for the model
>>> inputs = image_processor(images=image, return_tensors="pt")

>>> # forward pass
>>> outputs = model(**inputs)

>>> logits = outputs.logits
>>> list(logits.shape)
[1, 300, 80]

>>> boxes = outputs.pred_boxes
>>> list(boxes.shape)
[1, 300, 4]

>>> # convert outputs (bounding boxes and class logits) to Pascal VOC format (xmin, ymin, xmax, ymax)
>>> target_sizes = torch.tensor([image.size[::-1]])
>>> results = image_processor.post_process_object_detection(outputs, threshold=0.9, target_sizes=target_sizes)[
...     0
... ]

>>> for score, label, box in zip(results["scores"], results["labels"], results["boxes"]):
...     box = [round(i, 2) for i in box.tolist()]
...     print(
...         f"Detected {model.config.id2label[label.item()]} with confidence "
...         f"{round(score.item(), 3)} at location {box}"
...     )
Detected sofa with confidence 0.97 at location [0.14, 0.38, 640.13, 476.21]
Detected cat with confidence 0.96 at location [343.38, 24.28, 640.14, 371.5]
Detected cat with confidence 0.958 at location [13.23, 54.18, 318.98, 472.22]
Detected remote with confidence 0.951 at location [40.11, 73.44, 175.96, 118.48]
Detected remote with confidence 0.924 at location [333.73, 76.58, 369.97, 186.99]