# Dilated Neighborhood Attention Transformer

## 개요

DiNAT는 Ali Hassani와 Humphrey Shi가 [Dilated Neighborhood Attention Transformer](https://huggingface.co/papers/2209.15001)에서 제안했습니다.

이 모델은 [NAT](https://huggingface.co/papers/2204.07143)에 Dilated Neighborhood Attention 패턴을 추가하여 전역 컨텍스트를 포착하도록 확장했으며, 이를 통해 해당 모델 대비 상당한 성능 향상을 보여줍니다.

해당 논문의 초록은 다음과 같습니다:

*Transformers는 다양한 모달리티, 도메인, 작업을 아우르는 가장 광범위하게 적용되는 딥러닝 아키텍처 중 하나로 빠르게 자리 잡고 있습니다. 비전 분야에서는 평범한 transformer에 대한 지속적인 노력과 함께, 기존 프레임워크에 쉽게 통합할 수 있고 성능이 뛰어나다는 점에서 계층적 transformer도 상당한 주목을 받고 있습니다. 이러한 모델은 일반적으로 슬라이딩 윈도우 Neighborhood Attention(NA)이나 Swin Transformer의 Shifted Window Self Attention과 같은 로컬화 된 어텐션 메커니즘을 사용합니다. 이러한 로컬 어텐션은 셀프 어텐션의 2차 복잡도를 줄이는 데 효과적이지만, 셀프 어텐션의 가장 바람직한 두 가지 특성인 장기 의존성 모델링과 전역 수용 필드를 약화시킵니다. 본 논문에서는 추가 비용 없이 더 넓은 전역 컨텍스트를 포착하고 수용 필드를 지수적으로 확장할 수 있는 NA의 자연스럽고 유연하며 효율적인 확장인 Dilated Neighborhood Attention(DiNA)을 소개합니다. NA의 로컬 어텐션과 DiNA의 희소 전역 어텐션은 서로를 보완하므로, 이 둘을 기반으로 구축된 새로운 계층적 비전 transformer인 Dilated Neighborhood Attention Transformer(DiNAT)를 소개합니다. DiNAT 변형 모델은 NAT, Swin, ConvNeXt와 같은 강력한 베이스라인에 비해 상당한 성능 향상을 보입니다. 우리의 대형 모델은 COCO 객체 탐지에서 Swin 대응 모델보다 1.5% box AP, COCO 인스턴스 분할에서 1.3% mask AP, ADE20K 의미론적 분할에서 1.1% mIoU로 더 빠르고 우수한 성능을 달성합니다. 새로운 프레임워크와 결합된 우리의 대형 변형 모델은 COCO(58.2 PQ)와 ADE20K(48.5 PQ)에서 새로운 최첨단(SOTA) 팬옵틱 분할 모델이며, Cityscapes(44.5 AP)와 ADE20K(35.4 AP)에서 인스턴스 분할 모델입니다(추가 데이터 없음). 또한 ADE20K(58.2 mIoU)에서 최첨단 전문 의미론적 분할 모델과 동등한 성능을 보이며, Cityscapes(84.5 mIoU)에서 2위를 기록합니다(추가 데이터 없음).*

<img
src="https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/dilated-neighborhood-attention-pattern.jpg"
alt="drawing" width="600"/>

 Neighborhood Attention의 서로 다른 dilation 값. 원 논문에서 가져옴.

이 모델은 [Ali Hassani](https://huggingface.co/alihassanijr)님이 기여했습니다. 원본 코드는 [여기](https://github.com/SHI-Labs/Neighborhood-Attention-Transformer)에서 찾을 수 있습니다.

## 사용 팁

DiNAT는 *backbone*으로 사용할 수 있습니다. `output_hidden_states = True`인 경우, `hidden_states`와 `reshaped_hidden_states`를 모두 출력합니다. `reshaped_hidden_states`의 shape은 `(batch_size, height, width, num_channels)`가 아니라 `(batch, num_channels, height, width)`입니다.

참고:

- DiNAT는 [NATTEN](https://github.com/SHI-Labs/NATTEN/)의 Neighborhood Attention 및 Dilated Neighborhood Attention 구현에 의존합니다.
[shi-labs.com/natten](https://shi-labs.com/natten)을 참고하여 Linux용 사전 빌드된 wheels로 설치하거나, `pip install natten`을 실행하여 시스템에서 빌드할 수 있습니다. 후자의 경우 컴파일에 상당한 시간이 소요될 수 있습니다. NATTEN은 아직 Windows 장치를 지원하지 않습니다.
- 현재 4의 Patch size만 지원됩니다.

## 리소스

DiNAT 시작을 돕기 위한 공식 Hugging Face 및 커뮤니티(🌎로 표시) 리소스 목록입니다.

- 이 [노트북](https://colab.research.google.com/github/huggingface/notebooks/blob/main/examples/image_classification.ipynb)은 [DinatForImageClassification](/docs/transformers/v5.23.0/ko/model_doc/dinat#transformers.DinatForImageClassification)을 지원합니다.
- 참고: [이미지 분류 작업 가이드](../tasks/image_classification)

여기에 포함할 리소스를 제출하고 싶으시면 Pull Request를 열어 주시면 검토하겠습니다! 기존 리소스와 중복되지 않고 새로운 것을 보여주는 것이 이상적입니다.

## DinatConfig[[transformers.DinatConfig]]

#### transformers.DinatConfig[[transformers.DinatConfig]]

```python
transformers.DinatConfig(transformers_version: str | None = None, architectures: list[str] | None = None, output_hidden_states: bool | None = False, return_dict: bool | None = True, dtype: str | torch.dtype | None = None, chunk_size_feed_forward: int = 0, is_encoder_decoder: bool = False, id2label: dict[int, str] | dict[str, str] | None = None, label2id: dict[str, int] | dict[str, str] | None = None, problem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = None, patch_size: int | list[int] | tuple[int, int] = 4, num_channels: int = 3, embed_dim: int = 64, depths: list[int] | tuple[int, ...] = (3, 4, 6, 5), num_heads: list[int] | tuple[int, ...] = (2, 4, 8, 16), kernel_size: int = 7, dilations: list | tuple | None = None, mlp_ratio: float = 3.0, qkv_bias: bool = True, hidden_dropout_prob: float | int = 0.0, attention_probs_dropout_prob: float | int = 0.0, drop_path_rate: float | int = 0.1, hidden_act: str = 'gelu', initializer_range: float = 0.02, layer_norm_eps: float = 1e-05, layer_scale_init_value: float = 0.0, _out_features: list[str] | None = None, _out_indices: list[int] | None = None)
```

[소스](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/dinat/configuration_dinat.py#L25)

**매개변수:**

patch_size (`Union[int, list[int], tuple[int, int]]`, *선택 사항*, 기본값 `4`) : 각 패치의 크기(해상도).

num_channels (`int`, *선택 사항*, 기본값 `3`) : 입력 채널의 수입니다.

embed_dim (`int`, *선택 사항*, 기본값 `64`) : 임베딩 및 숨겨진 상태의 차원.

depths (`Union[list[int], tuple[int, ...]]`, *선택 사항*, 기본값 `(3, 4, 6, 5)`) : Transformer의 각 레이어 깊이.

num_heads (`Union[list[int], tuple[int, ...]]`, *선택 사항*, 기본값 `(2, 4, 8, 16)`) : Transformer 디코더의 각 어텐션 레이어에 사용할 어텐션 헤드 수입니다.

kernel_size (`int`, *선택 사항*, 기본값 `7`) : 컨볼루션 커널의 크기입니다.

dilations (`list[list[int]]`, *선택 사항*, 기본값 `[[1, 8, 1], [1, 4, 1, 4], [1, 2, 1, 2, 1, 2], [1, 1, 1, 1, 1]]`) : Transformer 인코더의 각 NA 레이어의 Dilation 값입니다.

mlp_ratio (`float`, *선택 사항*, 기본값 `3.0`) : MLP 숨겨진 차원과 임베딩 차원의 비율입니다.

qkv_bias (`bool`, *선택 사항*, 기본값 `True`) : 쿼리, 키, 값에 bias를 추가할지 여부.

hidden_dropout_prob (`Union[float, int]`, *선택 사항*, 기본값 `0.0`) : 임베딩, 인코더, 풀러의 모든 완전 연결 계층에 적용되는 dropout 확률입니다.

attention_probs_dropout_prob (`Union[float, int]`, *선택 사항*, 기본값 `0.0`) : attention 확률에 적용할 dropout 비율입니다.

drop_path_rate (`Union[float, int]`, *선택 사항*, 기본값 `0.1`) : 패치 퓨전(drop path)에 사용할 드롭 패스 비율입니다.

hidden_act (`str`, *선택 사항*, 기본값 `gelu`) : 디코더에서 사용되는 비선형 활성화 함수(함수 또는 문자열). 예를 들어, `"gelu"`, `"relu"`, `"silu"` 등이 있습니다.

initializer_range (`float`, *선택 사항*, 기본값 `0.02`) : 모든 가중치 행렬을 초기화하는 truncated_normal_initializer의 표준 편차입니다.

layer_norm_eps (`float`, *선택 사항*, 기본값 `1e-05`) : layer normalization 레이어에서 사용되는 epsilon 값입니다.

layer_scale_init_value (`float`, *선택 사항*, 기본값 `0.0`) : self-attention 레이어에서 사용할 스케일입니다. base 모델은 0.1, large 모델은 1e-6을 사용합니다. 0으로 설정하면 layer scale을 비활성화합니다.

이것은 DinatModel의 구성을 저장하기 위한 구성 클래스입니다. 지정된 인자에 따라 Dinat 모델을 초기화하여 모델 아키텍처를 정의하는 데 사용됩니다. 기본값으로 구성을 초기화하면 [shi-labs/dinat-mini-in1k-224](https://huggingface.co/shi-labs/dinat-mini-in1k-224)와 유사한 구성이 생성됩니다.

Configuration 객체는 [PreTrainedConfig](/docs/transformers/v5.23.0/ko/main_classes/configuration#transformers.PreTrainedConfig)를 상속하며, 모델 출력을 제어하는 데 사용할 수 있습니다. 자세한 내용은 [PreTrainedConfig](/docs/transformers/v5.23.0/ko/main_classes/configuration#transformers.PreTrainedConfig)의 문서를 참고하세요.

예:

```python
>>> from transformers import DinatConfig, DinatModel

>>> # Initializing a Dinat shi-labs/dinat-mini-in1k-224 style configuration
>>> configuration = DinatConfig()

>>> # Initializing a model (with random weights) from the shi-labs/dinat-mini-in1k-224 style configuration
>>> model = DinatModel(configuration)

>>> # Accessing the model configuration
>>> configuration = model.config
```

## DinatModel[[transformers.DinatModel]]

#### transformers.DinatModel[[transformers.DinatModel]]

```python
transformers.DinatModel(config: DinatConfig, add_pooling_layer = True)
```

[소스](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/dinat/modeling_dinat.py#L541)

**매개변수:**

config ([DinatConfig](/docs/transformers/v5.23.0/ko/model_doc/dinat#transformers.DinatConfig)) : 모델의 모든 매개변수를 포함하는 모델 구성 클래스입니다. 구성 파일로 초기화하는 것은 모델과 관련된 가중치를 로드하지 않으며, 구성 정보만 로드합니다. 모델 가중치를 로드하려면 [from_pretrained()](/docs/transformers/v5.23.0/ko/main_classes/model#transformers.PreTrainedModel.from_pretrained) 메서드를 확인하세요.

add_pooling_layer (`bool`, *선택 사항*, 기본값 `True`) : 풀링 레이어를 추가할지 여부

특정 헤드가 위에 없는 상태의 Dinat 모델은 원시 hidden-states를 출력합니다.

이 모델은 [PreTrainedModel](/docs/transformers/v5.23.0/ko/main_classes/model#transformers.PreTrainedModel)에서 상속됩니다. 라이브러리가 모든 모델에 대해 구현하는 일반적 메서드(다운로드 또는 저장, 입력 임베딩 크기 조정, 헤드 프루닝 등)에 대해서는 상위 클래스 문서를 확인하세요.

이 모델은 또한 PyTorch [torch.nn.Module](https://pytorch.org/docs/stable/nn.html#torch.nn.Module)의 하위 클래스입니다. 일반적인 PyTorch Module처럼 사용하며, 일반적인 사용법과 동작에 관한 모든 사항은 PyTorch 문서를 참조하세요.

#### forward[[transformers.DinatModel.forward]]

```python
forward(pixel_values: typing.Optional[torch.Tensor] = None, output_attentions: bool | None = None, output_hidden_states: bool | None = None, return_dict: bool | None = None, **kwargs)
```

[소스](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/dinat/modeling_dinat.py#L567)

**매개변수:**

pixel_values (`torch.Tensor`, shape `(batch_size, num_channels, image_size, image_size)`, *선택 사항*) : 입력 이미지에 해당하는 텐서입니다. 픽셀 값은 [ViTImageProcessor](/docs/transformers/v5.23.0/ko/model_doc/vit#transformers.ViTImageProcessor)를 사용하여 얻을 수 있습니다. 자세한 내용은 [ViTImageProcessor.__call__()](/docs/transformers/v5.23.0/ko/model_doc/molmo2#transformers.Molmo2ImageProcessor.__call__)를 참조하세요 (`processor_class`는 이미지 처리에 [ViTImageProcessor](/docs/transformers/v5.23.0/ko/model_doc/vit#transformers.ViTImageProcessor)를 사용합니다).

output_attentions (`bool`, *선택 사항*) : 모든 어텐션 레이어의 어텐션 텐서를 반환할지 여부. 자세한 내용은 반환 텐서 섹션의 `attentions`를 참조하세요.

output_hidden_states (`bool`, *선택 사항*) : 모든 레이어의 hidden states를 반환할지 여부. 자세한 내용은 반환되는 텐서 중 `hidden_states` 항목을 참조하세요.

return_dict (`bool`, *선택 사항*) : 일반 튜플 대신 [ModelOutput](/docs/transformers/v5.23.0/ko/main_classes/output#transformers.utils.ModelOutput)를 반환할지 여부.

**반환값:** `DinatModelOutput` 또는 `tuple(torch.Tensor)`

구성([DinatConfig](/docs/transformers/v5.23.0/ko/model_doc/dinat#transformers.DinatConfig)) 및 입력에 따라 다양한 요소를 포함하는 `DinatModelOutput` 또는 `torch.Tensor` 튜플(`return_dict=False`이 전달되었거나 `config.return_dict=False`인 경우).

[DinatModel](/docs/transformers/v5.23.0/ko/model_doc/dinat#transformers.DinatModel)의 forward 메서드는 `__call__` 특수 메서드를 오버라이드합니다.

`Module` 인스턴스는 전처리 및 후처리 단계를 실행하는 것을 처리하지만, 이 함수는 해당 단계를 조용히 무시하므로, 순전파(forward pass) 레시피를 이 함수 내에서 정의해야 하더라도 이후에는 이 함수 대신 `Module` 인스턴스를 호출해야 합니다.

- **last_hidden_state** (`torch.Tensor`, shape `(batch_size, sequence_length, hidden_size)`, *선택 사항*) -- 모델의 마지막 레이어 출력에서 생성된 hidden-state 시퀀스입니다.
- **pooler_output** (`torch.Tensor`, shape `(batch_size, hidden_size)`, *선택 사항*, `add_pooling_layer=True`가 전달될 때 반환됨) -- 마지막 레이어 hidden-state의 평균 풀링.
- **hidden_states** (`tuple[torch.Tensor, ...]`, *선택*, `output_hidden_states=True`가 전달되거나 `config.output_hidden_states=True`인 경우 반환) -- shape가 `(batch_size, sequence_length, hidden_size)`인 `torch.Tensor`의 튜플 (모델에 임베딩 레이어가 있는 경우 임베딩 출력 1개 + 각 레이어의 출력 1개).

  각 레이어의 출력에서 모델의 Hidden-states와 선택적 초기 임베딩 출력을 포함합니다.
- **attentions** (`tuple[torch.Tensor, ...]`, *선택*, `output_attentions=True`가 전달되었거나 `config.output_attentions=True`인 경우 반환) -- 각 레이어마다 하나씩 포함된 `torch.Tensor` 튜플로, shape는 `(batch_size, num_heads, sequence_length, sequence_length)`입니다.

  self-attention 헤드에서 가중 평균을 계산하는 데 사용되는 attention softmax 이후의 attention 가중치입니다.
- **reshaped_hidden_states** (`tuple(torch.Tensor)`, *선택 사항*, `output_hidden_states=True`가 전달되거나 `config.output_hidden_states=True`인 경우 반환됨) -- shape가 `(batch_size, hidden_size, height, width)`인 `torch.Tensor` 튜플 (임베딩 출력 1개 + 각 단계의 출력 1개).

  각 레이어의 출력에서 모델의 Hidden-states와 공간 차원을 포함하도록 재구성된 초기 임베딩 출력.

예:

```python
```

## DinatForImageClassification[[transformers.DinatForImageClassification]]

#### transformers.DinatForImageClassification[[transformers.DinatForImageClassification]]

```python
transformers.DinatForImageClassification(config: DinatConfig)
```

[소스](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/dinat/modeling_dinat.py#L622)

**매개변수:**

config ([DinatConfig](/docs/transformers/v5.23.0/ko/model_doc/dinat#transformers.DinatConfig)) : 모델의 모든 매개변수를 포함하는 모델 구성 클래스입니다. 구성 파일로 초기화하는 것은 모델과 관련된 가중치를 로드하지 않으며, 구성 정보만 로드합니다. 모델 가중치를 로드하려면 [from_pretrained()](/docs/transformers/v5.23.0/ko/main_classes/model#transformers.PreTrainedModel.from_pretrained) 메서드를 확인하세요.

Dinat 모델은 최종 은닉 상태의 [CLS] 토큰 위에 선형 레이어를 배치한 이미지 분류 헤드를 포함하는 Transformer입니다. 예를 들어 ImageNet에 사용됩니다.

이 모델은 [PreTrainedModel](/docs/transformers/v5.23.0/ko/main_classes/model#transformers.PreTrainedModel)에서 상속됩니다. 라이브러리가 모든 모델에 대해 구현하는 일반적 메서드(다운로드 또는 저장, 입력 임베딩 크기 조정, 헤드 프루닝 등)에 대해서는 상위 클래스 문서를 확인하세요.

이 모델은 또한 PyTorch [torch.nn.Module](https://pytorch.org/docs/stable/nn.html#torch.nn.Module)의 하위 클래스입니다. 일반적인 PyTorch Module처럼 사용하며, 일반적인 사용법과 동작에 관한 모든 사항은 PyTorch 문서를 참조하세요.

#### forward[[transformers.DinatForImageClassification.forward]]

```python
forward(pixel_values: typing.Optional[torch.Tensor] = None, labels: typing.Optional[torch.LongTensor] = None, output_attentions: bool | None = None, output_hidden_states: bool | None = None, return_dict: bool | None = None, **kwargs)
```

[소스](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/dinat/modeling_dinat.py#L639)

**매개변수:**

pixel_values (`torch.Tensor`, shape `(batch_size, num_channels, image_size, image_size)`, *선택 사항*) : 입력 이미지에 해당하는 텐서입니다. 픽셀 값은 [ViTImageProcessor](/docs/transformers/v5.23.0/ko/model_doc/vit#transformers.ViTImageProcessor)를 사용하여 얻을 수 있습니다. 자세한 내용은 [ViTImageProcessor.__call__()](/docs/transformers/v5.23.0/ko/model_doc/molmo2#transformers.Molmo2ImageProcessor.__call__)를 참조하세요 (`processor_class`는 이미지 처리에 [ViTImageProcessor](/docs/transformers/v5.23.0/ko/model_doc/vit#transformers.ViTImageProcessor)를 사용합니다).

labels (`torch.LongTensor`, shape `(batch_size,)`, *선택 사항*) : 이미지 분류/회귀 손실을 계산하는 데 사용되는 라벨. 인덱스는 `[0, ..., config.num_labels - 1]` 범위에 있어야 합니다. `config.num_labels == 1`인 경우 회귀 손실(평균 제곱 손실)이 계산되고, `config.num_labels > 1`인 경우 분류 손실(크로스 엔트로피)이 계산됩니다.

output_attentions (`bool`, *선택 사항*) : 모든 어텐션 레이어의 어텐션 텐서를 반환할지 여부. 자세한 내용은 반환 텐서 섹션의 `attentions`를 참조하세요.

output_hidden_states (`bool`, *선택 사항*) : 모든 레이어의 hidden states를 반환할지 여부. 자세한 내용은 반환되는 텐서 중 `hidden_states` 항목을 참조하세요.

return_dict (`bool`, *선택 사항*) : 일반 튜플 대신 [ModelOutput](/docs/transformers/v5.23.0/ko/main_classes/output#transformers.utils.ModelOutput)를 반환할지 여부.

**반환값:** `DinatImageClassifierOutput` 또는 `tuple(torch.Tensor)`

`DinatImageClassifierOutput` 또는 `torch.Tensor`의 튜플(`return_dict=False`가 전달되었거나 `config.return_dict=False`인 경우)로, 구성([DinatConfig](/docs/transformers/v5.23.0/ko/model_doc/dinat#transformers.DinatConfig)) 및 입력에 따라 다양한 요소를 포함합니다.

[DinatForImageClassification](/docs/transformers/v5.23.0/ko/model_doc/dinat#transformers.DinatForImageClassification)의 forward 메서드는 `__call__` 특수 메서드를 오버라이드합니다.

`Module` 인스턴스는 전처리 및 후처리 단계를 실행하는 것을 처리하지만, 이 함수는 해당 단계를 조용히 무시하므로, 순전파(forward pass) 레시피를 이 함수 내에서 정의해야 하더라도 이후에는 이 함수 대신 `Module` 인스턴스를 호출해야 합니다.

- **loss** (`torch.Tensor`, shape `(1,)`, *선택*, `labels`이 제공될 때 반환됨) -- 분류(또는 config.num_labels==1인 경우 회귀) 손실.
- **logits** (`torch.Tensor`, shape `(batch_size, config.num_labels)`) -- SoftMax 적용 전 분류(또는 config.num_labels==1인 경우 회귀) 점수.
- **hidden_states** (`tuple[torch.Tensor, ...]`, *선택*, `output_hidden_states=True`가 전달되거나 `config.output_hidden_states=True`인 경우 반환) -- shape가 `(batch_size, sequence_length, hidden_size)`인 `torch.Tensor`의 튜플 (모델에 임베딩 레이어가 있는 경우 임베딩 출력 1개 + 각 레이어의 출력 1개).

  각 레이어의 출력에서 모델의 Hidden-states와 선택적 초기 임베딩 출력을 포함합니다.
- **attentions** (`tuple[torch.Tensor, ...]`, *선택*, `output_attentions=True`가 전달되었거나 `config.output_attentions=True`인 경우 반환) -- 각 레이어마다 하나씩 포함된 `torch.Tensor` 튜플로, shape는 `(batch_size, num_heads, sequence_length, sequence_length)`입니다.

  self-attention 헤드에서 가중 평균을 계산하는 데 사용되는 attention softmax 이후의 attention 가중치입니다.
- **reshaped_hidden_states** (`tuple(torch.Tensor)`, *선택 사항*, `output_hidden_states=True`가 전달되거나 `config.output_hidden_states=True`인 경우 반환됨) -- shape가 `(batch_size, hidden_size, height, width)`인 `torch.Tensor` 튜플 (임베딩 출력 1개 + 각 단계의 출력 1개).

  각 레이어의 출력에서 모델의 Hidden-states와 공간 차원을 포함하도록 재구성된 초기 임베딩 출력.

예:

```python
>>> from transformers import AutoImageProcessor, DinatForImageClassification
>>> import torch
>>> from datasets import load_dataset

>>> dataset = load_dataset("huggingface/cats-image")
>>> image = dataset["test"]["image"][0]

>>> image_processor = AutoImageProcessor.from_pretrained("shi-labs/dinat-mini-in1k-224")
>>> model = DinatForImageClassification.from_pretrained("shi-labs/dinat-mini-in1k-224")

>>> inputs = image_processor(image, return_tensors="pt")

>>> with torch.no_grad():
...     logits = model(**inputs).logits

>>> # model predicts one of the 1000 ImageNet classes
>>> predicted_label = logits.argmax(-1).item()
>>> print(model.config.id2label[predicted_label])
...
```

