Phương thức forward của LwDetrModel ghi đè lên phương thức đặc biệt __call__.

Mặc dù công thức cho bước truyền tiến cần được định nghĩa bên trong hàm này, người dùng nên gọi instance của Module sau đó thay vì gọi hàm này, vì instance Module sẽ đảm nhận việc thực hiện các bước tiền xử lý và hậu xử lý, trong khi hàm này sẽ lặng lẽ bỏ qua chúng.

• init_reference_points (torch.Tensor có hình dạng (batch_size, num_queries, 4)) — Các điểm tham chiếu ban đầu được truyền qua bộ giải mã Transformer.

• last_hidden_state (torch.Tensor có hình dạng (batch_size, sequence_length, hidden_size), tùy chọn) — Chuỗi các trạng thái ẩn (hidden-states) tại đầu ra của lớp cuối cùng của mô hình.

• intermediate_hidden_states (torch.Tensor có hình dạng (batch_size, config.decoder_layers, num_queries, hidden_size)) — Các trạng thái ẩn trung gian được xếp chồng (đầu ra của từng lớp trong bộ giải mã).

• intermediate_reference_points (torch.Tensor có hình dạng (batch_size, config.decoder_layers, num_queries, 4)) — Các điểm tham chiếu trung gian được xếp chồng (điểm tham chiếu của từng lớp trong bộ giải mã).

• enc_outputs_class (torch.Tensor có shape (batch_size, sequence_length, config.num_labels), tùy chọn, được trả về khi config.with_box_refine=True và config.two_stage=True) — Điểm số của các bounding box dự đoán, trong đó config.two_stage_num_proposals bounding box có điểm cao nhất được chọn làm region proposals ở giai đoạn đầu. Đầu ra của phân loại nhị phân bounding box (tức là foreground và background).

• enc_outputs_coord_logits (torch.Tensor có shape (batch_size, sequence_length, 4), optional, được trả về khi config.with_box_refine=True và config.two_stage=True) — Logits của tọa độ bounding box dự đoán ở giai đoạn đầu.

• hidden_states (tuple[torch.Tensor, ...], tuỳ chọn, được trả về khi output_hidden_states=True được truyền vào hoặc khi config.output_hidden_states=True) — Tuple của torch.Tensor (một cho đầu ra của embeddings, nếu mô hình có lớp embedding, + một cho đầu ra của mỗi lớp) có hình dạng (batch_size, sequence_length, hidden_size).

  Trạng thái ẩn của mô hình tại đầu ra của mỗi lớp cùng với các đầu ra embedding ban đầu tùy chọn.

• attentions (tuple[torch.Tensor, ...], tuỳ chọn, được trả về khi output_attentions=True được truyền vào hoặc khi config.output_attentions=True) — Tuple của torch.Tensor (một cho mỗi lớp) có hình dạng (batch_size, num_heads, sequence_length, sequence_length).

  Trọng số chú ý sau softmax của attention, được sử dụng để tính trung bình có trọng số trong các đầu self-attention.

• cross_attentions (tuple[torch.Tensor, ...], tuỳ chọn, được trả về khi output_attentions=True được truyền vào hoặc khi config.output_attentions=True) — Tuple của torch.Tensor (một cho mỗi lớp) có hình dạng (batch_size, num_heads, sequence_length, sequence_length).

  Trọng số chú ý của lớp cross-attention của bộ giải mã, sau softmax chú ý, được sử dụng để tính trung bình có trọng số trong các đầu chú ý chéo.

>>> from transformers import AutoImageProcessor, DeformableDetrModel
>>> from PIL import Image
>>> from huggingface_hub.utils import httpx
>>> from io import BytesIO

>>> url = "http://images.cocodataset.org/val2017/000000039769.jpg"
>>> with httpx.stream("GET", url) as response:
...     image = Image.open(BytesIO(response.read()))

>>> image_processor = AutoImageProcessor.from_pretrained("AnnaZhang/lwdetr_small_60e_coco")
>>> model = DeformableDetrModel.from_pretrained("AnnaZhang/lwdetr_small_60e_coco")

>>> inputs = image_processor(images=image, return_tensors="pt")

>>> outputs = model(**inputs)

>>> last_hidden_states = outputs.last_hidden_state
>>> list(last_hidden_states.shape)
[1, 300, 256]

Phương thức forward của LwDetrForObjectDetection ghi đè lên phương thức đặc biệt __call__.

Mặc dù công thức cho bước truyền tiến cần được định nghĩa bên trong hàm này, người dùng nên gọi instance của Module sau đó thay vì gọi hàm này, vì instance Module sẽ đảm nhận việc thực hiện các bước tiền xử lý và hậu xử lý, trong khi hàm này sẽ lặng lẽ bỏ qua chúng.

• loss (torch.Tensor có shape (1,), tùy chọn, được trả về khi labels được cung cấp)) — Tổng loss dưới dạng tổ hợp tuyến tính của negative log-likelihood (cross-entropy) cho dự đoán lớp và loss của bounding box. Phần sau được định nghĩa là tổ hợp tuyến tính của L1 loss và generalized scale-invariant IoU loss.

• loss_dict (Dict, tùy chọn) — Một từ điển chứa các giá trị loss riêng lẻ. Hữu ích cho việc ghi log.

• logits (torch.Tensor có shape (batch_size, num_queries, num_classes + 1)) — Logits phân loại (bao gồm no-object) cho tất cả các query.

• pred_boxes (torch.Tensor có shape (batch_size, num_queries, 4)) — Tọa độ hộp đã được chuẩn hóa cho tất cả các query, được biểu diễn dưới dạng (center_x, center_y, width, height). Các giá trị này được chuẩn hóa trong khoảng [0, 1], tương đối với kích thước của từng hình ảnh riêng lẻ trong batch (bỏ qua phần padding có thể có). Bạn có thể sử dụng ~DeformableDetrProcessor.post_process_object_detection để lấy các hộp giới hạn chưa được chuẩn hóa.

• auxiliary_outputs (list[Dict], tuỳ chọn) — Tuỳ chọn, chỉ được trả về khi các tổn thất phụ được kích hoạt (tức là config.auxiliary_loss được đặt thành True) và nhãn được cung cấp. Đây là một danh sách các từ điển chứa hai khóa nêu trên (logits và pred_boxes) cho mỗi lớp giải mã.

• init_reference_points (torch.Tensor có hình dạng (batch_size, num_queries, 4)) — Các điểm tham chiếu ban đầu được truyền qua bộ giải mã Transformer.

• last_hidden_state (torch.Tensor có hình dạng (batch_size, sequence_length, hidden_size), tùy chọn) — Chuỗi các trạng thái ẩn (hidden-states) tại đầu ra của lớp cuối cùng của mô hình.

• intermediate_hidden_states (torch.Tensor có hình dạng (batch_size, config.decoder_layers, num_queries, hidden_size)) — Các trạng thái ẩn trung gian được xếp chồng (đầu ra của từng lớp trong bộ giải mã).

• intermediate_reference_points (torch.Tensor có hình dạng (batch_size, config.decoder_layers, num_queries, 4)) — Các điểm tham chiếu trung gian được xếp chồng (điểm tham chiếu của từng lớp trong bộ giải mã).

• enc_outputs_class (torch.Tensor có shape (batch_size, sequence_length, config.num_labels), tùy chọn, được trả về khi config.with_box_refine=True và config.two_stage=True) — Điểm số của các bounding box dự đoán, trong đó config.two_stage_num_proposals bounding box có điểm cao nhất được chọn làm region proposals ở giai đoạn đầu. Đầu ra của phân loại nhị phân bounding box (tức là foreground và background).

• enc_outputs_coord_logits (torch.Tensor có shape (batch_size, sequence_length, 4), optional, được trả về khi config.with_box_refine=True và config.two_stage=True) — Logits của tọa độ bounding box dự đoán ở giai đoạn đầu.

• hidden_states (tuple[torch.Tensor, ...], tuỳ chọn, được trả về khi output_hidden_states=True được truyền vào hoặc khi config.output_hidden_states=True) — Tuple của torch.Tensor (một cho đầu ra của embeddings, nếu mô hình có lớp embedding, + một cho đầu ra của mỗi lớp) có hình dạng (batch_size, sequence_length, hidden_size).

  Trạng thái ẩn của mô hình tại đầu ra của mỗi lớp cùng với các đầu ra embedding ban đầu tùy chọn.

• attentions (tuple[torch.Tensor, ...], tuỳ chọn, được trả về khi output_attentions=True được truyền vào hoặc khi config.output_attentions=True) — Tuple của torch.Tensor (một cho mỗi lớp) có hình dạng (batch_size, num_heads, sequence_length, sequence_length).

  Trọng số chú ý sau softmax của attention, được sử dụng để tính trung bình có trọng số trong các đầu self-attention.

• cross_attentions (tuple[torch.Tensor, ...], tuỳ chọn, được trả về khi output_attentions=True được truyền vào hoặc khi config.output_attentions=True) — Tuple của torch.Tensor (một cho mỗi lớp) có hình dạng (batch_size, num_heads, sequence_length, sequence_length).

  Trọng số chú ý của lớp cross-attention của bộ giải mã, sau softmax chú ý, được sử dụng để tính trung bình có trọng số trong các đầu chú ý chéo.

>>> from transformers import AutoImageProcessor, LwDetrForObjectDetection
>>> from PIL import Image
>>> from huggingface_hub.utils import httpx
>>> from io import BytesIO

>>> url = "http://images.cocodataset.org/val2017/000000039769.jpg"
>>> with httpx.stream("GET", url) as response:
...     image = Image.open(BytesIO(response.read()))

>>> image_processor = AutoImageProcessor.from_pretrained("AnnaZhang/lwdetr_small_60e_coco")
>>> model = LwDetrForObjectDetection.from_pretrained("AnnaZhang/lwdetr_small_60e_coco")

>>> inputs = image_processor(images=image, return_tensors="pt")
>>> outputs = model(**inputs)

>>> # convert outputs (bounding boxes and class logits) to Pascal VOC format (xmin, ymin, xmax, ymax)
>>> target_sizes = torch.tensor([image.size[::-1]])
>>> results = image_processor.post_process_object_detection(outputs, threshold=0.5, target_sizes=target_sizes)[
...     0
... ]
>>> for score, label, box in zip(results["scores"], results["labels"], results["boxes"]):
...     box = [round(i, 2) for i in box.tolist()]
...     print(
...         f"Detected {model.config.id2label[label.item()]} with confidence "
...         f"{round(score.item(), 3)} at location {box}"
...     )
Detected cat with confidence 0.8 at location [16.5, 52.84, 318.25, 470.78]
Detected cat with confidence 0.789 at location [342.19, 24.3, 640.02, 372.25]
Detected remote with confidence 0.633 at location [40.79, 72.78, 176.76, 117.25]

Phương thức forward của LwDetrViTBackbone ghi đè lên phương thức đặc biệt __call__.

Mặc dù công thức cho bước truyền tiến cần được định nghĩa bên trong hàm này, người dùng nên gọi instance của Module sau đó thay vì gọi hàm này, vì instance Module sẽ đảm nhận việc thực hiện các bước tiền xử lý và hậu xử lý, trong khi hàm này sẽ lặng lẽ bỏ qua chúng.

• feature_maps (tuple(torch.Tensor) có hình dạng (batch_size, num_channels, height, width)) — Bản đồ đặc trưng của các giai đoạn.

• hidden_states (tuple(torch.Tensor), tùy chọn, được trả về khi truyền output_hidden_states=True hoặc khi config.output_hidden_states=True) — Bộ tuple các torch.Tensor (một cho đầu ra của embeddings + một cho đầu ra của mỗi lớp) có shape (batch_size, sequence_length, hidden_size) hoặc (batch_size, num_channels, height, width), tùy thuộc vào backbone.

  Trạng thái ẩn của mô hình tại đầu ra của mỗi giai đoạn cùng với đầu ra của embedding ban đầu.

• attentions (tuple(torch.Tensor), tuỳ chọn, được trả về khi truyền output_attentions=True hoặc khi config.output_attentions=True) — Tuple của torch.Tensor (một cho mỗi lớp) có hình dạng (batch_size, num_heads, sequence_length, sequence_length). Chỉ áp dụng nếu backbone sử dụng attention.

  Trọng số chú ý sau softmax của attention, được sử dụng để tính trung bình có trọng số trong các đầu self-attention.

>>> from transformers import LwDetrViTConfig, LwDetrViTBackbone
>>> import torch

>>> config = LwDetrViTConfig()
>>> model = LwDetrViTBackbone(config)

>>> pixel_values = torch.randn(1, 3, 224, 224)

>>> with torch.no_grad():
...     outputs = model(pixel_values)

>>> feature_maps = outputs.feature_maps
>>> list(feature_maps[-1].shape)
[1, 768, 14, 14]