# Anahtar Nokta Algılama
Keypoint detection, bir görüntü içindeki belirli ilgi noktalarını belirler ve konumlarını tespit eder. Bu anahtar noktalar, aynı zamanda landmark olarak da bilinir ve nesnelerin anlamlı özelliklerini, örneğin yüz özelliklerini veya nesne parçalarını temsil eder. Bu modeller bir görüntü girdisi alır ve aşağıdaki çıktıları döndürür:
- **Keypoints and Scores**: İlgi noktaları ve bunların güven puanları.
- **Öznitelikler**: Her anahtar noktanın çevresindeki görüntü bölgesinin, doku, gradyan, yön ve diğer özelliklerini yakalayan bir temsili.
Bu kılavuzda, görüntülerden anahtar noktaların nasıl çıkarılacağını göstereceğiz.
Bu öğreticide, anahtar nokta tespiti için bir temel model olan [SuperPoint](../model_doc/superpoint) kullanacağız.
```python
from transformers import AutoImageProcessor, SuperPointForKeypointDetection
processor = AutoImageProcessor.from_pretrained("magic-leap-community/superpoint")
model = SuperPointForKeypointDetection.from_pretrained("magic-leap-community/superpoint")
```
Modeli aşağıdaki görseller üzerinde test edelim.
```python
import torch
from PIL import Image
import requests
import cv2
url_image_1 = "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/bee.jpg"
image_1 = Image.open(requests.get(url_image_1, stream=True).raw)
url_image_2 = "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/cats.png"
image_2 = Image.open(requests.get(url_image_2, stream=True).raw)
images = [image_1, image_2]
```
Artık girdilerimizi işleyip çıkarım yapabiliriz.
```python
inputs = processor(images,return_tensors="pt").to(model.device, model.dtype)
outputs = model(**inputs)
```
Model çıktısı, batch'teki her öğe için göreli anahtar noktaları, tanımlayıcıları, maskeleri ve skorları içerir. Maske, anahtar noktaların bulunduğu görüntü alanlarını vurgular.
```python
SuperPointKeypointDescriptionOutput(loss=None, keypoints=tensor([[[0.0437, 0.0167],
[0.0688, 0.0167],
[0.0172, 0.0188],
...,
[0.5984, 0.9812],
[0.6953, 0.9812]]]),
scores=tensor([[0.0056, 0.0053, 0.0079, ..., 0.0125, 0.0539, 0.0377],
[0.0206, 0.0058, 0.0065, ..., 0.0000, 0.0000, 0.0000]],
grad_fn=), descriptors=tensor([[[-0.0807, 0.0114, -0.1210, ..., -0.1122, 0.0899, 0.0357],
[-0.0807, 0.0114, -0.1210, ..., -0.1122, 0.0899, 0.0357],
[-0.0807, 0.0114, -0.1210, ..., -0.1122, 0.0899, 0.0357],
...],
grad_fn=), mask=tensor([[1, 1, 1, ..., 1, 1, 1],
[1, 1, 1, ..., 0, 0, 0]], dtype=torch.int32), hidden_states=None)
```
Görseldeki gerçek anahtar noktaları çizmek için çıktıyı son işlemeye (postprocess) tabi tutmamız gerekir. Bunu yapmak için, çıktıların yanı sıra gerçek görsel boyutlarını `post_process_keypoint_detection` fonksiyonuna iletmemiz gerekir.
```python
image_sizes = [(image.size[1], image.size[0]) for image in images]
outputs = processor.post_process_keypoint_detection(outputs, image_sizes)
```
Çıktılar artık her biri anahtar noktaların, skorların ve tanımlayıcıların işlenmiş çıktısını içeren sözlüklerden oluşan bir listedir.
```python
[{'keypoints': tensor([[ 226, 57],
[ 356, 57],
[ 89, 64],
...,
[3604, 3391]], dtype=torch.int32),
'scores': tensor([0.0056, 0.0053, ...], grad_fn=),
'descriptors': tensor([[-0.0807, 0.0114, -0.1210, ..., -0.1122, 0.0899, 0.0357],
[-0.0807, 0.0114, -0.1210, ..., -0.1122, 0.0899, 0.0357]],
grad_fn=)},
{'keypoints': tensor([[ 46, 6],
[ 78, 6],
[422, 6],
[206, 404]], dtype=torch.int32),
'scores': tensor([0.0206, 0.0058, 0.0065, 0.0053, 0.0070, ...,grad_fn=),
'descriptors': tensor([[-0.0525, 0.0726, 0.0270, ..., 0.0389, -0.0189, -0.0211],
[-0.0525, 0.0726, 0.0270, ..., 0.0389, -0.0189, -0.0211]}]
```
Bu noktaları kullanarak anahtar noktaları (keypoints) çizebiliriz.
```python
import matplotlib.pyplot as plt
import torch
for i in range(len(images)):
keypoints = outputs[i]["keypoints"]
scores = outputs[i]["scores"]
descriptors = outputs[i]["descriptors"]
keypoints = outputs[i]["keypoints"].detach().numpy()
scores = outputs[i]["scores"].detach().numpy()
image = images[i]
image_width, image_height = image.size
plt.axis('off')
plt.imshow(image)
plt.scatter(
keypoints[:, 0],
keypoints[:, 1],
s=scores * 100,
c='cyan',
alpha=0.4
)
plt.show()
```
Aşağıda çıktıları görebilirsiniz.
