# Mistral Large 4 ## 개요 Mistral Large 4는 1조 개의 파라미터와 토큰당 490억 개의 활성 파라미터(임베딩 및 출력 레이어 포함 시 520억 개)를 가진 네이티브 멀티모달 mixture-of-experts 모델입니다. 텍스트와 이미지를 입력으로 받아 텍스트를 생성하며, 요청별로 추론 노력을 설정하여 직접 답변하거나 먼저 추론한 후 답변할 수 있습니다. 텍스트 디코더는 DeepSeek-V3.2 레시피(DSA 인덱서로 희소화한 Multi-head Latent Attention)를 기반으로 하며, 다음과 같은 자체 변경 사항을 추가합니다: - **Attention**: 512차원 KV latent를 가진 Deepseek Sparse Attention(DSA) 72개 레이어로 구성되며, 각 query에 대해 상위 2048개의 key 위치를 선택하는 indexer를 통해 희소화됩니다. Query는 직접 프로젝션을 사용하며 Q-LoRA는 없습니다. 일부 레이어는 자체 선택을 계산하고, 나머지 레이어는 [GLM-5](./glm_moe_dsa)와 마찬가지로 이전 레이어의 선택을 재사용(`"shared"`)합니다. - **NoPE 레이어**: 4개마다 한 레이어는 attention과 indexer에서 rotary embedding을 사용하지 않습니다. - **KV 공유**: 39번째 레이어부터, 4개 간격의 레이어는 KV latent를 계산하지 않고 35번째 레이어의 KV latent에 attend합니다. 각 레이어는 자체 query, KV up-projection 및 output weights를 유지합니다. - **Scaled softmax**: attention과 indexer에서 query는 헤드별로 `s * log(position + 1) + b`로 스케일링되며, `s`와 `b`는 학습됩니다. - **LeRoPE**: YaRN은 512 토큰 기반 RoPE를 2048배(1,048,576개 위치)로 확장하고, LeRoPE는 회전 주파수별로 학습된 곱셈 인자를 추가합니다. - **MoE**: 첫 번째 레이어는 dense이며, 나머지 모든 레이어는 각 토큰을 128개 전문가 중 4개와 공유 전문가 1개로 라우팅합니다. - **Logits**: 최종 logits는 `30 * tanh(logits / 30)`으로 소프트 캡핑됩니다. 비전 인코더와 멀티모달 프로젝터는 [Mistral 3](./mistral3)와 동일합니다(patch-merge 프로젝터가 포함된 Pixtral 인코더). ## 사용 예시 체크포인트는 FP8(동적 활성화 스케일을 가진 128x128 블록 스케일링된 가중치)로 저장되며 그대로 로드됩니다. 전체 모델에는 약 1 TB의 GPU 메모리가 필요하므로 여러 GPU에 분산하기 위해 `device_map="auto"`가 사용됩니다. 채팅 템플릿은 `reasoning_effort` 인수를 받으며, 기본값인 `"none"` 또는 `"high"`로 설정할 수 있습니다. `"high"`로 설정하면 모델은 답변하기 전에 `[THINK]`와 `[/THINK]` 사이에 추론 과정을 작성합니다. ```python from transformers import AutoProcessor, MistralLarge4ForConditionalGeneration model_id = "mistralai/Mistral-Large-4-1T-A52B" processor = AutoProcessor.from_pretrained(model_id) model = MistralLarge4ForConditionalGeneration.from_pretrained(model_id, device_map="auto") messages = [ { "role": "user", "content": [ {"type": "image", "url": "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/bee.jpg"}, {"type": "text", "text": "Describe this image."}, ], }, ] inputs = processor.apply_chat_template( messages, add_generation_prompt=True, tokenize=True, return_dict=True, return_tensors="pt" ).to(model.device) output = model.generate(**inputs, max_new_tokens=256) print(processor.decode(output[0, inputs["input_ids"].shape[1] :], skip_special_tokens=True)) ``` ```python from transformers import AutoProcessor, MistralLarge4ForConditionalGeneration model_id = "mistralai/Mistral-Large-4-1T-A52B" processor = AutoProcessor.from_pretrained(model_id) model = MistralLarge4ForConditionalGeneration.from_pretrained(model_id, device_map="auto") messages = [{"role": "user", "content": "How many prime numbers are there between 100 and 150?"}] inputs = processor.apply_chat_template( messages, add_generation_prompt=True, tokenize=True, return_dict=True, return_tensors="pt", reasoning_effort="high", ).to(model.device) output = model.generate(**inputs, max_new_tokens=4096) # Keep the special tokens to see the reasoning between [THINK] and [/THINK] print(processor.decode(output[0, inputs["input_ids"].shape[1] :], skip_special_tokens=False)) ``` ## The input is a single word "Notes". 참고 - 체크포인트에는 DSpark 추측적 디코딩 방법을 사용하여 추측적 디코딩을 위한 드래프트 헤드(`mtp_dspark.*` 가중치)도 포함되어 있습니다. - DSA 인덱서는 `eager` 및 `sdpa` 백엔드에서 dense attention 위에 attention mask로 적용됩니다. sparse attention과 동일한 출력을 제공하지만, 긴 시퀀스에 대한 속도 향상은 제공하지 않습니다. ## MistralLarge4Config[[transformers.MistralLarge4Config]] #### transformers.MistralLarge4Config[[transformers.MistralLarge4Config]] ```python transformers.MistralLarge4Config(transformers_version: str | None = None, architectures: list[str] | None = None, output_hidden_states: bool | None = False, return_dict: bool | None = True, dtype: str | torch.dtype | None = None, chunk_size_feed_forward: int = 0, is_encoder_decoder: bool = False, id2label: dict[int, str] | dict[str, str] | None = None, label2id: dict[str, int] | dict[str, str] | None = None, problem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = None, vision_config: dict | transformers.configuration_utils.PreTrainedConfig | None = None, text_config: dict | transformers.configuration_utils.PreTrainedConfig | None = None, image_token_index: int = 10, projector_hidden_act: str = 'gelu', vision_feature_layer: int | list[int] = -1, multimodal_projector_bias: bool = False, spatial_merge_size: int = 2, tie_word_embeddings: bool = False) ``` [소스](https://github.com/huggingface/transformers/blob/main/src/transformers/models/mistral_large4/configuration_mistral_large4.py#L223) **매개변수:** vision_config (`Union[dict, ~configuration_utils.PreTrainedConfig]`, *선택*) : 비전 백본의 config 객체 또는 사전 정의된 config 딕셔너리입니다. text_config (`Union[dict, ~configuration_utils.PreTrainedConfig]`, *선택*) : 텍스트 백본의 config 객체 또는 사전입니다. image_token_index (`int`, *선택 사항*, 기본값 `10`) : 입력 이미지의 플레이스홀더로 사용되는 이미지 토큰 인덱스입니다. projector_hidden_act (`str`, *선택 사항*, 기본값 `gelu`) : 멀티모달 프로젝터에 사용되는 활성화 함수입니다. vision_feature_layer (`Union[int, list[int]]`, *선택 사항*, 기본값 `-1`) : 시각 특징을 선택할 레이어의 인덱스입니다. 여러 인덱스가 제공되면 해당 인덱스에 해당하는 시각 특징이 연결되어 시각 특징을 형성합니다. multimodal_projector_bias (`bool`, *선택 사항*, 기본값 `False`) : 멀티모달 프로젝터에 bias를 사용할지 여부. spatial_merge_size (`int`, *선택 사항*, 기본값 `2`) : 인접한 패치를 병합하여 시각 토큰의 수를 줄이는 데 사용되는 공간 병합 윈도우의 크기입니다. tie_word_embeddings (`bool`, *선택 사항*, 기본값 `False`) : 모델의 `tied_weights_keys` 매핑에 따라 가중치 임베딩을 묶을지 여부. 이것은 MistralLarge4Model의 구성을 저장하기 위한 구성 클래스입니다. 지정된 인자에 따라 Mistral Large4 모델을 인스턴스화하여 모델 아키텍처를 정의하는 데 사용됩니다. 기본값으로 구성을 인스턴스화하면 [mistralai/Mistral-Large-4-1T-A52B](https://huggingface.co/mistralai/Mistral-Large-4-1T-A52B)와 유사한 구성이 생성됩니다. Configuration 객체는 [PreTrainedConfig](/docs/transformers/main/ko/main_classes/configuration#transformers.PreTrainedConfig)를 상속하며, 모델 출력을 제어하는 데 사용할 수 있습니다. 자세한 내용은 [PreTrainedConfig](/docs/transformers/main/ko/main_classes/configuration#transformers.PreTrainedConfig)의 문서를 참고하세요. 예: ```python >>> from transformers import MistralLarge4ForConditionalGeneration, MistralLarge4Config, PixtralVisionConfig, MistralConfig >>> # Initializing a Pixtral-vision config >>> vision_config = PixtralVisionConfig() >>> # Initializing a Mistral config >>> text_config = MistralConfig() >>> # Initializing a MistralLarge4 configuration >>> configuration = MistralLarge4Config(vision_config, text_config) >>> # Initializing a model from the mistral_large4.1 configuration >>> model = MistralLarge4ForConditionalGeneration(configuration) >>> # Accessing the model configuration >>> configuration = model.config ``` ## MistralLarge4TextConfig[[transformers.MistralLarge4TextConfig]] #### transformers.MistralLarge4TextConfig[[transformers.MistralLarge4TextConfig]] ```python transformers.MistralLarge4TextConfig(transformers_version: str | None = None, architectures: list[str] | None = None, output_hidden_states: bool | None = False, return_dict: bool | None = True, dtype: str | torch.dtype | None = None, chunk_size_feed_forward: int = 0, is_encoder_decoder: bool = False, id2label: dict[int, str] | dict[str, str] | None = None, label2id: dict[str, int] | dict[str, str] | None = None, problem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = None, vocab_size: int = 204800, hidden_size: int = 6144, intermediate_size: int = 24576, moe_intermediate_size: int = 6144, num_hidden_layers: int = 72, num_attention_heads: int = 64, num_key_value_heads: int = 64, n_shared_experts: int = 1, n_routed_experts: int = 128, output_router_logits: bool = False, routed_scaling_factor: float = 1.0, kv_lora_rank: int = 512, qk_rope_head_dim: int = 64, v_head_dim: int = 128, qk_nope_head_dim: int = 64, n_group: int = 1, topk_group: int = 1, num_experts_per_tok: int = 4, hidden_act: str = 'silu', max_position_embeddings: int = 1048576, initializer_range: float = 0.02, rms_norm_eps: float = 1e-05, use_cache: bool = True, pad_token_id: int | None = None, bos_token_id: int | None = 1, eos_token_id: int | list[int] | None = 2, tie_word_embeddings: bool = False, rope_parameters: dict | None = None, mlp_layer_types: list[str] | None = None, attention_bias: bool = False, attention_dropout: float | int = 0.0, index_topk: int = 2048, index_head_dim: int = 128, index_n_heads: int = 32, head_dim: int = 64, first_k_dense_replace: int = 1, layer_types: list[str] | None = None, indexer_types: list[str] | None = None, no_rope_layers: list[int] | None = None, kv_source_layers: list[int] | None = None, final_logit_softcapping: float = 30.0) ``` [소스](https://github.com/huggingface/transformers/blob/main/src/transformers/models/mistral_large4/configuration_mistral_large4.py#L31) **매개변수:** vocab_size (`int`, *선택 사항*, 기본값 `204800`) : 모델의 어휘 크기입니다. `input_ids`로 표현할 수 있는 서로 다른 토큰의 수를 정의합니다. hidden_size (`int`, *선택 사항*, 기본값 `6144`) : 숨겨진 표현의 차원. intermediate_size (`int`, *선택 사항*, 기본값 `24576`) : MLP 표현의 차원. moe_intermediate_size (`int`, *선택 사항*, 기본값 `6144`) : 라우팅된 전문가 MLP의 중간 크기입니다. num_hidden_layers (`int`, *선택 사항*, 기본값 `72`) : Transformer 디코더의 숨겨진 레이어 수. num_attention_heads (`int`, *선택 사항*, 기본값 `64`) : Transformer decoder의 각 attention layer에 사용할 attention head의 수입니다. num_key_value_heads (`int`, *선택 사항*, 기본값 `64`) : Grouped Query Attention 구현에 사용할 key_value 헤드 수입니다. `num_key_value_heads=num_attention_heads`인 경우 모델은 Multi Head Attention(MHA)을, `num_key_value_heads=1`인 경우 Multi Query Attention(MQA)을, 그 외에는 GQA를 사용합니다. 멀티 헤드 체크포인트를 GQA 체크포인트로 변환할 때, 각 그룹의 key 및 value 헤드는 해당 그룹 내 모든 원래 헤드를 meanpooling하여 구성해야 합니다. 자세한 내용은 [이 논문](https://huggingface.co/papers/2305.13245)을 참고하세요. 지정되지 않으면 `num_attention_heads`가 기본값으로 사용됩니다. n_shared_experts (`int`, *선택 사항*, 기본값 `1`) : 공유 전문가의 수. n_routed_experts (`int`, *선택 사항*, 기본값 `128`) : 라우팅된 전문가의 수. output_router_logits (`bool`, *선택 사항*, 기본값 `False`) : 모델이 router logits를 반환할지 여부입니다. 이 옵션을 활성화하면 load balancing loss와 router z-loss를 포함한 auxiliary loss도 모델에서 출력할 수 있습니다. routed_scaling_factor (`float`, *선택 사항*, 기본값 `1.0`) : Scaling factor 또는 routed experts입니다. kv_lora_rank (`int`, *선택 사항*, 기본값 `512`) : key 및 value 투영에 사용되는 LoRA 행렬의 랭크입니다. qk_rope_head_dim (`int`, *선택 사항*, 기본값 `64`) : 회전 위치 임베딩을 사용하는 쿼리/키 헤드의 차원입니다. v_head_dim (`int`, *선택 사항*, 기본값 `128`) : value head의 차원. qk_nope_head_dim (`int`, *선택 사항*, 기본값 `64`) : 회전 위치 임베딩을 사용하지 않는 쿼리/키 헤드의 차원입니다. n_group (`int`, *선택 사항*, 기본값 1) : 라우팅된 전문가의 그룹 수. topk_group (`int`, *선택 사항*, 기본값 `1`) : 각 토큰에 대해 선택할 그룹의 수 (각 토큰에 대해 선택된 전문가가 `topk_group` 그룹 내에서만 있도록 보장). num_experts_per_tok (`int`, *선택 사항*, 기본값 `4`) : 각 토큰을 라우팅할 전문가의 수입니다. 이는 토큰 선택 라우팅의 top-k 값입니다. hidden_act (`str`, *선택 사항*, 기본값 `silu`) : 디코더에서 사용되는 비선형 활성화 함수(함수 또는 문자열). 예를 들어, `"gelu"`, `"relu"`, `"silu"` 등이 있습니다. max_position_embeddings (`int`, *선택 사항*, 기본값 `1048576`) : 이 모델이 사용될 수 있는 최대 시퀀스 길이입니다. initializer_range (`float`, *선택 사항*, 기본값 `0.02`) : 모든 가중치 행렬을 초기화하는 truncated_normal_initializer의 표준 편차입니다. rms_norm_eps (`float`, *선택 사항*, 기본값 `1e-05`) : rms normalization 레이어에서 사용되는 epsilon 값입니다. use_cache (`bool`, *선택 사항*, 기본값 `True`) : 모델이 마지막 key/values attention을 반환할지 여부입니다(모든 모델에서 사용되지 않음). `config.is_decoder=True`인 경우 또는 모델이 decoder-only 생성 모델인 경우에만 관련이 있습니다. pad_token_id (`int`, *선택 사항*) : 어휘에서 패딩에 사용되는 토큰 ID입니다. bos_token_id (`int`, *선택 사항*, 기본값 `1`) : 어휘에서 스트림 시작에 사용되는 토큰 ID입니다. eos_token_id (`Union[int, list[int]]`, *선택*, 기본값 `2`) : 어휘에서 스트림 종료에 사용되는 토큰 ID입니다. tie_word_embeddings (`bool`, *선택 사항*, 기본값 `False`) : 모델의 `tied_weights_keys` 매핑에 따라 가중치 임베딩을 묶을지 여부. rope_parameters (`dict`, *선택*) : RoPE 임베딩의 구성 매개변수를 포함하는 사전입니다. 사전에는 `rope_theta` 값이 포함되어야 하며, 더 긴 `max_position_embeddings`로 RoPE를 사용하려는 경우 스케일링에 사용되는 매개변수를 선택적으로 포함할 수 있습니다. mlp_layer_types (`list`, *선택 사항*) : 각 레이어에 대한 MLP 유형 패턴(`"dense"` 또는 `"sparse"`). 기본값은 1개의 dense + 나머지 sparse입니다. attention_bias (`bool`, *선택 사항*, 기본값 `False`) : self-attention에서 query, key, value 및 output projection layer에 bias를 사용할지 여부. attention_dropout (`Union[float, int]`, *선택 사항*, 기본값 `0.0`) : attention 확률에 적용할 dropout 비율입니다. index_topk (`int`, *선택 사항*, 기본값 2048) : sparse attention을 위해 indexer가 선택하는 상위 토큰의 수. index_head_dim (`int`, *선택 사항*, 기본값 128) : 인덱서 투영(DSA)의 헤드 차원입니다. index_n_heads (`int`, *선택 사항*, 기본값 32) : 인덱서 투영(DSA)의 헤드 수 head_dim (`int`, *선택 사항*, 기본값 `64`) : 어텐션 헤드 차원입니다. None인 경우 hidden_size // num_attention_heads 값이 기본값으로 사용됩니다. first_k_dense_replace (`int`, *선택 사항*, 기본값 1) : Dense MLP를 사용하는 앞부분 레이어의 수입니다. 나머지 레이어는 MoE 블록을 사용합니다. layer_types (`list[str]`, *선택 사항*) : 각 레이어 인덱스를 해당 레이어 유형에 명시적으로 매핑하는 리스트입니다. 제공되지 않으면 config 값에 기반하여 자동으로 생성됩니다. indexer_types (`list[str]`, *선택 사항*) : 레이어별 인덱서 모드(`"full"`는 인덱서를 실행하고, `"shared"`는 이전 전체 레이어의 top-k를 재사용합니다). 기본값은 `index_topk_freq` / `index_skip_topk_offset`(또는 `index_topk_pattern`)에서 파생된 패턴입니다. no_rope_layers (`list[int]`, *선택 사항*) : 모델의 레이어 수와 동일한 길이 이상의 리스트. 인덱스 위치의 `1`은 해당 레이어가 RoPE를 사용함을 나타내며, `0`은 NoPE 레이어임을 나타냅니다. kv_source_layers (`list[int]`, *선택 사항*) : 각 레이어에 대해, 해당 레이어가 주의(attention)를 기울이는 잠재 KV 캐시를 가진 레이어의 인덱스입니다. 항목이 자신의 인덱스인 레이어는 자신의 잠재 KV를 계산하고 캐시합니다. 이전 레이어를 가리키는 레이어는 `kv_a_proj_with_mqa`가 없으며 해당 레이어의 캐시를 재사용합니다(소스 레이어는 반드시 자신의 소스여야 합니다). 기본값은 공유하지 않는 것입니다. final_logit_softcapping (`float`, *선택 사항*, 기본값 `30.0`) : 확률 분포를 계산하기 전에 최종 logits에 적용되는 소프트 캡핑 값입니다. Logits는 `tanh(logit / cap) * cap`로 스케일링됩니다. 이것은 MistralLarge4Model의 구성을 저장하기 위한 구성 클래스입니다. 지정된 인자에 따라 Mistral Large4 모델을 인스턴스화하여 모델 아키텍처를 정의하는 데 사용됩니다. 기본값으로 구성을 인스턴스화하면 [mistralai/Mistral-Large-4-1T-A52B](https://huggingface.co/mistralai/Mistral-Large-4-1T-A52B)와 유사한 구성이 생성됩니다. Configuration 객체는 [PreTrainedConfig](/docs/transformers/main/ko/main_classes/configuration#transformers.PreTrainedConfig)를 상속하며, 모델 출력을 제어하는 데 사용할 수 있습니다. 자세한 내용은 [PreTrainedConfig](/docs/transformers/main/ko/main_classes/configuration#transformers.PreTrainedConfig)의 문서를 참고하세요. ```python >>> from transformers import MistralLarge4TextConfig, MistralLarge4TextModel >>> # Initializing a Mistral Large 4 text configuration >>> configuration = MistralLarge4TextConfig() >>> # Initializing a model from the configuration >>> model = MistralLarge4TextModel(configuration) >>> # Accessing the model configuration >>> configuration = model.config ``` ## MistralLarge4PreTrainedModel[[transformers.MistralLarge4PreTrainedModel]] #### transformers.MistralLarge4PreTrainedModel[[transformers.MistralLarge4PreTrainedModel]] ```python transformers.MistralLarge4PreTrainedModel(config: PreTrainedConfig, *inputs, **kwargs) ``` [소스](https://github.com/huggingface/transformers/blob/main/src/transformers/models/mistral_large4/modeling_mistral_large4.py#L665) **매개변수:** config ([PreTrainedConfig](/docs/transformers/main/ko/main_classes/configuration#transformers.PreTrainedConfig)) : 모델의 모든 매개변수를 포함하는 모델 구성 클래스입니다. 구성 파일로 초기화하는 것은 모델과 관련된 가중치를 로드하지 않으며, 구성 정보만 로드합니다. 모델 가중치를 로드하려면 [from_pretrained()](/docs/transformers/main/ko/main_classes/model#transformers.PreTrainedModel.from_pretrained) 메서드를 확인하세요. 이 모델은 [PreTrainedModel](/docs/transformers/main/ko/main_classes/model#transformers.PreTrainedModel)에서 상속됩니다. 라이브러리가 모든 모델에 대해 구현하는 일반적 메서드(다운로드 또는 저장, 입력 임베딩 크기 조정, 헤드 프루닝 등)에 대해서는 상위 클래스 문서를 확인하세요. 이 모델은 또한 PyTorch [torch.nn.Module](https://pytorch.org/docs/stable/nn.html#torch.nn.Module)의 하위 클래스입니다. 일반적인 PyTorch Module처럼 사용하며, 일반적인 사용법과 동작에 관한 모든 사항은 PyTorch 문서를 참조하세요. ## MistralLarge4TextModel[[transformers.MistralLarge4TextModel]] #### transformers.MistralLarge4TextModel[[transformers.MistralLarge4TextModel]] ```python transformers.MistralLarge4TextModel(config: MistralLarge4TextConfig) ``` [소스](https://github.com/huggingface/transformers/blob/main/src/transformers/models/mistral_large4/modeling_mistral_large4.py#L705) **매개변수:** config ([MistralLarge4TextConfig](/docs/transformers/main/ko/model_doc/mistral_large4#transformers.MistralLarge4TextConfig)) : 모델의 모든 매개변수를 포함하는 모델 구성 클래스입니다. 구성 파일로 초기화하는 것은 모델과 관련된 가중치를 로드하지 않으며, 구성 정보만 로드합니다. 모델 가중치를 로드하려면 [from_pretrained()](/docs/transformers/main/ko/main_classes/model#transformers.PreTrainedModel.from_pretrained) 메서드를 확인하세요. 특정 헤드가 위에 없는 상태에서 원시 hidden-states를 출력하는 순수 Mistral Large4 Text Model입니다. 이 모델은 [PreTrainedModel](/docs/transformers/main/ko/main_classes/model#transformers.PreTrainedModel)에서 상속됩니다. 라이브러리가 모든 모델에 대해 구현하는 일반적 메서드(다운로드 또는 저장, 입력 임베딩 크기 조정, 헤드 프루닝 등)에 대해서는 상위 클래스 문서를 확인하세요. 이 모델은 또한 PyTorch [torch.nn.Module](https://pytorch.org/docs/stable/nn.html#torch.nn.Module)의 하위 클래스입니다. 일반적인 PyTorch Module처럼 사용하며, 일반적인 사용법과 동작에 관한 모든 사항은 PyTorch 문서를 참조하세요. #### forward[[transformers.MistralLarge4TextModel.forward]] ```python forward(input_ids: typing.Optional[torch.LongTensor] = None, attention_mask: typing.Optional[torch.Tensor] = None, position_ids: typing.Optional[torch.LongTensor] = None, past_key_values: transformers.cache_utils.Cache | None = None, inputs_embeds: typing.Optional[torch.Tensor] = None, use_cache: bool | None = None, **kwargs: *) ``` [소스](https://github.com/huggingface/transformers/blob/main/src/transformers/models/mistral_large4/modeling_mistral_large4.py#L723) **매개변수:** input_ids (`torch.LongTensor`, shape `(batch_size, sequence_length)`, *선택 사항*) : 어휘(input sequence tokens)의 인덱스입니다. 기본적으로 패딩은 무시됩니다. [AutoTokenizer](/docs/transformers/main/ko/model_doc/auto#transformers.AutoTokenizer)를 사용하여 인덱스를 얻을 수 있습니다. 자세한 내용은 [PreTrainedTokenizer.encode()](/docs/transformers/main/ko/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.encode) 및 [PreTrainedTokenizer.__call__()](/docs/transformers/main/ko/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.__call__)를 참조하세요. [입력 ID란 무엇인가요?](../glossary#input-ids) attention_mask (`torch.Tensor`, shape `(batch_size, sequence_length)`, *선택 사항*) : 패딩 토큰 인덱스에 대한 attention을 수행하지 않도록 방지하는 마스크입니다. `[0, 1]`에서 선택된 마스크 값: - **마스크되지 않은** 토큰은 1, - **마스크된** 토큰은 0. [attention 마스크란?](../glossary#attention-mask) position_ids (`torch.LongTensor`, shape `(batch_size, sequence_length)`, *선택 사항*) : 각 입력 시퀀스의 토큰 위치 인덱스입니다. `[0, config.n_positions - 1]` 범위에서 선택됩니다. [위치 ID란 무엇인가요?](../glossary#position-ids) past_key_values (`~cache_utils.Cache`, *선택*) : 순차적 디코딩을 가속화할 수 있는 사전 계산된 hidden-states(셀프 어텐션 블록과 크로스 어텐션 블록의 key 및 value)입니다. 일반적으로 `use_cache=True` 또는 `config.use_cache=True`일 때 모델이 디코딩의 이전 단계에서 반환한 `past_key_values`로 구성됩니다. 입력으로 [Cache](/docs/transformers/main/ko/internal/generation_utils#transformers.Cache) 인스턴스만 허용되며, [kv cache 가이드](https://huggingface.co/docs/transformers/en/kv_cache)를 참조하세요. `past_key_values`가 전달되지 않으면 기본적으로 [DynamicCache](/docs/transformers/main/ko/internal/generation_utils#transformers.DynamicCache)가 초기화됩니다. 모델은 입력으로 제공된 것과 동일한 캐시 형식을 출력합니다. `past_key_values`를 사용하는 경우, 이 모델에 과거 key value 상태가 제공되지 않은 `input_ids`(처리되지 않은 항목)만 `(batch_size, unprocessed_length)` 형식으로 입력해야 하며, `(batch_size, sequence_length)` 형식의 모든 `input_ids`를 입력하지 않습니다. inputs_embeds (`torch.Tensor`, shape `(batch_size, sequence_length, hidden_size)`, *선택 사항*) : `input_ids`를 전달하는 대신 임베디드 표현을 직접 전달할 수 있습니다. 이는 모델의 내부 임베딩 조회 행렬보다 `input_ids` 인덱스를 관련 벡터로 변환하는 방식에 대해 더 많은 제어가 필요한 경우 유용합니다. use_cache (`bool`, *선택 사항*) : `True`로 설정하면 `past_key_values` 키 값 상태가 반환되며, 디코딩 속도를 높이는 데 사용할 수 있습니다(`past_key_values` 참조). **반환값:** `MoeModelOutputWithPast` 또는 `tuple(torch.Tensor)` 구성([MistralLarge4Config](/docs/transformers/main/ko/model_doc/mistral_large4#transformers.MistralLarge4Config))과 입력에 따라 다양한 요소를 포함하는 `MoeModelOutputWithPast` 또는 `torch.Tensor`의 튜플(`return_dict=False`가 전달되거나 `config.return_dict=False`인 경우). [MistralLarge4TextModel](/docs/transformers/main/ko/model_doc/mistral_large4#transformers.MistralLarge4TextModel)의 forward 메서드는 `__call__` 특수 메서드를 오버라이드합니다. `Module` 인스턴스는 전처리 및 후처리 단계를 실행하는 것을 처리하지만, 이 함수는 해당 단계를 조용히 무시하므로, 순전파(forward pass) 레시피를 이 함수 내에서 정의해야 하더라도 이후에는 이 함수 대신 `Module` 인스턴스를 호출해야 합니다. - **last_hidden_state** (`torch.Tensor`, shape `(batch_size, sequence_length, hidden_size)`) -- 모델의 마지막 레이어 출력에서 생성된 hidden-state 시퀀스입니다. - **past_key_values** (`Cache`, *선택 사항*, `use_cache=True`가 전달되었거나 `config.use_cache=True`인 경우 반환됨) -- [Cache](/docs/transformers/main/ko/internal/generation_utils#transformers.Cache) 인스턴스입니다. 자세한 내용은 [kv cache 가이드](https://huggingface.co/docs/transformers/en/kv_cache)를 참조하세요. 순차적 디코딩을 가속화하는 데 사용할 수 있는 사전 계산된 hidden-states(셀프 어텐션 블록의 key와 value, 그리고 `config.is_encoder_decoder=True`인 경우 크로스 어텐션 블록의 key와 value)를 포함합니다(입력 `past_key_values` 참조). - **hidden_states** (`tuple(torch.Tensor)`, *선택 사항*, `output_hidden_states=True`가 전달되었거나 `config.output_hidden_states=True`인 경우 반환됨) -- `torch.Tensor`의 튜플(모델에 임베딩 레이어가 있는 경우 임베딩 출력 1개 + 각 레이어의 출력 1개)로, 형태는 `(batch_size, sequence_length, hidden_size)`입니다. 각 레이어의 출력에서 모델의 Hidden-states와 선택적 초기 임베딩 출력을 포함합니다. - **attentions** (`tuple(torch.Tensor)`, *선택 사항*, `output_attentions=True`가 전달되었거나 `config.output_attentions=True`인 경우 반환됨) -- 각 레이어마다 하나씩 포함된 `torch.Tensor`의 튜플로, 모양은 `(batch_size, num_heads, sequence_length, sequence_length)`입니다. self-attention 헤드에서 가중 평균을 계산하는 데 사용되는 attention softmax 이후의 attention 가중치입니다. - **router_logits** (`tuple(torch.Tensor)`, *선택 사항*, `output_router_probs=True`와 `config.add_router_probs=True`가 전달되었거나 `config.output_router_probs=True`인 경우 반환됨) -- 각 레이어마다 하나씩 포함된 `torch.Tensor`의 튜플로, 형태는 `(batch_size, sequence_length, num_experts)`입니다. MoE 라우터가 계산하는 softmax 적용 후의 원시 라우터 로짓(raw router logits)입니다. 이 값들은 Mixture of Experts 모델의 보조 손실을 계산하는 데 사용됩니다. ## MistralLarge4Model[[transformers.MistralLarge4Model]] #### transformers.MistralLarge4Model[[transformers.MistralLarge4Model]] ```python transformers.MistralLarge4Model(config: MistralLarge4Config) ``` [소스](https://github.com/huggingface/transformers/blob/main/src/transformers/models/mistral_large4/modeling_mistral_large4.py#L886) **매개변수:** config ([MistralLarge4Config](/docs/transformers/main/ko/model_doc/mistral_large4#transformers.MistralLarge4Config)) : 모델의 모든 매개변수를 포함하는 모델 구성 클래스입니다. 구성 파일로 초기화하는 것은 모델과 관련된 가중치를 로드하지 않으며, 구성 정보만 로드합니다. 모델 가중치를 로드하려면 [from_pretrained()](/docs/transformers/main/ko/main_classes/model#transformers.PreTrainedModel.from_pretrained) 메서드를 확인하세요. language modeling head가 없는, 비전 백본과 언어 모델로 구성된 MistralLarge4 모델입니다. 이 모델은 [PreTrainedModel](/docs/transformers/main/ko/main_classes/model#transformers.PreTrainedModel)에서 상속됩니다. 라이브러리가 모든 모델에 대해 구현하는 일반적 메서드(다운로드 또는 저장, 입력 임베딩 크기 조정, 헤드 프루닝 등)에 대해서는 상위 클래스 문서를 확인하세요. 이 모델은 또한 PyTorch [torch.nn.Module](https://pytorch.org/docs/stable/nn.html#torch.nn.Module)의 하위 클래스입니다. 일반적인 PyTorch Module처럼 사용하며, 일반적인 사용법과 동작에 관한 모든 사항은 PyTorch 문서를 참조하세요. #### forward[[transformers.MistralLarge4Model.forward]] ```python forward(input_ids: typing.Optional[torch.LongTensor] = None, pixel_values: typing.Optional[torch.Tensor] = None, attention_mask: typing.Optional[torch.Tensor] = None, position_ids: typing.Optional[torch.LongTensor] = None, past_key_values: transformers.cache_utils.Cache | None = None, inputs_embeds: typing.Optional[torch.Tensor] = None, vision_feature_layer: int | list[int] | None = None, use_cache: bool | None = None, image_sizes: typing.Optional[torch.Tensor] = None, mm_encoder_outputs: dict[str, transformers.modeling_outputs.BaseModelOutputWithPooling] | None = None, **kwargs: *) ``` [소스](https://github.com/huggingface/transformers/blob/main/src/transformers/models/mistral_large4/modeling_mistral_large4.py#L956) **매개변수:** input_ids (`torch.LongTensor`, shape `(batch_size, sequence_length)`, *선택 사항*) : 어휘(input sequence tokens)의 인덱스입니다. 기본적으로 패딩은 무시됩니다. [AutoTokenizer](/docs/transformers/main/ko/model_doc/auto#transformers.AutoTokenizer)를 사용하여 인덱스를 얻을 수 있습니다. 자세한 내용은 [PreTrainedTokenizer.encode()](/docs/transformers/main/ko/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.encode) 및 [PreTrainedTokenizer.__call__()](/docs/transformers/main/ko/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.__call__)를 참조하세요. [입력 ID란 무엇인가요?](../glossary#input-ids) pixel_values (`torch.Tensor`, shape `(batch_size, num_channels, image_size, image_size)`, *선택 사항*) : 입력 이미지에 해당하는 텐서입니다. 픽셀 값은 [PixtralImageProcessor](/docs/transformers/main/ko/model_doc/pixtral#transformers.PixtralImageProcessor)를 사용하여 얻을 수 있습니다. 자세한 내용은 [PixtralImageProcessor.__call__()](/docs/transformers/main/ko/model_doc/molmo2#transformers.Molmo2ImageProcessor.__call__)를 참조하세요 ([PixtralProcessor](/docs/transformers/main/ko/model_doc/pixtral#transformers.PixtralProcessor)는 이미지 처리에 [PixtralImageProcessor](/docs/transformers/main/ko/model_doc/pixtral#transformers.PixtralImageProcessor)를 사용합니다). attention_mask (`torch.Tensor`, shape `(batch_size, sequence_length)`, *선택 사항*) : 패딩 토큰 인덱스에 대한 attention을 수행하지 않도록 방지하는 마스크입니다. `[0, 1]`에서 선택된 마스크 값: - **마스크되지 않은** 토큰은 1, - **마스크된** 토큰은 0. [attention 마스크란?](../glossary#attention-mask) position_ids (`torch.LongTensor`, shape `(batch_size, sequence_length)`, *선택 사항*) : 각 입력 시퀀스의 토큰 위치 인덱스입니다. `[0, config.n_positions - 1]` 범위에서 선택됩니다. [위치 ID란 무엇인가요?](../glossary#position-ids) past_key_values (`~cache_utils.Cache`, *선택*) : 순차적 디코딩을 가속화할 수 있는 사전 계산된 hidden-states(셀프 어텐션 블록과 크로스 어텐션 블록의 key 및 value)입니다. 일반적으로 `use_cache=True` 또는 `config.use_cache=True`일 때 모델이 디코딩의 이전 단계에서 반환한 `past_key_values`로 구성됩니다. 입력으로 [Cache](/docs/transformers/main/ko/internal/generation_utils#transformers.Cache) 인스턴스만 허용되며, [kv cache 가이드](https://huggingface.co/docs/transformers/en/kv_cache)를 참조하세요. `past_key_values`가 전달되지 않으면 기본적으로 [DynamicCache](/docs/transformers/main/ko/internal/generation_utils#transformers.DynamicCache)가 초기화됩니다. 모델은 입력으로 제공된 것과 동일한 캐시 형식을 출력합니다. `past_key_values`를 사용하는 경우, 이 모델에 과거 key value 상태가 제공되지 않은 `input_ids`(처리되지 않은 항목)만 `(batch_size, unprocessed_length)` 형식으로 입력해야 하며, `(batch_size, sequence_length)` 형식의 모든 `input_ids`를 입력하지 않습니다. inputs_embeds (`torch.Tensor`, shape `(batch_size, sequence_length, hidden_size)`, *선택 사항*) : `input_ids`를 전달하는 대신 임베디드 표현을 직접 전달할 수 있습니다. 이는 모델의 내부 임베딩 조회 행렬보다 `input_ids` 인덱스를 관련 벡터로 변환하는 방식에 대해 더 많은 제어가 필요한 경우 유용합니다. vision_feature_layer (`Union[int, list[int]]`, *선택 사항*) : 시각 특징을 선택할 레이어의 인덱스입니다. 여러 인덱스가 제공되면 해당 인덱스에 해당하는 시각 특징이 연결되어 시각 특징을 형성합니다. use_cache (`bool`, *선택 사항*) : `True`로 설정하면 `past_key_values` 키 값 상태가 반환되며, 디코딩 속도를 높이는 데 사용할 수 있습니다(`past_key_values` 참조). image_sizes (`torch.Tensor`, shape `(batch_size, 2)`, *선택 사항*) : 배치 내 각 이미지의 크기입니다. 각 이미지에 대해 (height, width) 형식입니다. mm_encoder_outputs (`dict[str, ~modeling_outputs.BaseModelOutputWithPooling]`, *선택 사항*) : 키가 지원되는 모달리티이고 값이 해당 모달리티의 인코딩된 출력인 Dict입니다. 각 인코딩된 출력은 (`pooler_output`, *선택 사항*: `last_hidden_states`, *선택 사항*: `hidden_states`, *선택 사항*: `attentions`)의 튜플로 구성되며, `pooler_output`의 shape은 `(batch_size, sequence_length, hidden_size)`, *선택 사항*)입니다. 이는 인코더의 멀티모달 특징을 텍스트 임베딩으로 병합한 시퀀스입니다. **반환값:** `MistralLarge4ModelOutputWithPast` 또는 `tuple(torch.Tensor)` `MistralLarge4ModelOutputWithPast` 또는 `torch.Tensor`의 튜플(`return_dict=False`가 전달되었거나 `config.return_dict=False`인 경우)로, 구성([MistralLarge4Config](/docs/transformers/main/ko/model_doc/mistral_large4#transformers.MistralLarge4Config))과 입력에 따라 다양한 요소를 포함합니다. [MistralLarge4Model](/docs/transformers/main/ko/model_doc/mistral_large4#transformers.MistralLarge4Model)의 forward 메서드는 `__call__` 특수 메서드를 오버라이드합니다. `Module` 인스턴스는 전처리 및 후처리 단계를 실행하는 것을 처리하지만, 이 함수는 해당 단계를 조용히 무시하므로, 순전파(forward pass) 레시피를 이 함수 내에서 정의해야 하더라도 이후에는 이 함수 대신 `Module` 인스턴스를 호출해야 합니다. - **last_hidden_state** (`torch.Tensor`, shape `(batch_size, sequence_length, hidden_size)`) -- 모델의 마지막 레이어 출력에서 생성된 hidden-state 시퀀스입니다. `past_key_values`가 사용되면, `(batch_size, 1, hidden_size)` 형태의 시퀀스의 마지막 hidden-state만 출력됩니다. - **past_key_values** (`Cache`, *선택 사항*, `use_cache=True`가 전달되었거나 `config.use_cache=True`인 경우 반환됨) -- [Cache](/docs/transformers/main/ko/internal/generation_utils#transformers.Cache) 인스턴스입니다. 자세한 내용은 [kv cache 가이드](https://huggingface.co/docs/transformers/en/kv_cache)를 참조하세요. 순차적 디코딩을 가속화하는 데 사용할 수 있는 사전 계산된 hidden-states(셀프 어텐션 블록의 key와 value)를 포함합니다(입력 `past_key_values` 참조). - **hidden_states** (`tuple(torch.Tensor)`, *선택 사항*, `output_hidden_states=True`가 전달되었거나 `config.output_hidden_states=True`인 경우 반환됨) -- `torch.Tensor`의 튜플(모델에 임베딩 레이어가 있는 경우 임베딩 출력 1개 + 각 레이어의 출력 1개)로, 형태는 `(batch_size, sequence_length, hidden_size)`입니다. 각 레이어의 출력에서 모델의 Hidden-states와 선택적 초기 임베딩 출력을 포함합니다. - **attentions** (`tuple(torch.Tensor)`, *선택 사항*, `output_attentions=True`가 전달되었거나 `config.output_attentions=True`인 경우 반환됨) -- 각 레이어마다 하나씩 포함된 `torch.Tensor`의 튜플로, 모양은 `(batch_size, num_heads, sequence_length, sequence_length)`입니다. self-attention 헤드에서 가중 평균을 계산하는 데 사용되는 attention softmax 이후의 attention 가중치입니다. - **image_hidden_states** (`torch.Tensor`, *선택 사항*) -- 크기가 `(batch_size, num_images, sequence_length, hidden_size)`인 `torch.Tensor`. 비전 인코더가 생성한 모델의 image_hidden_states로, 마지막 hidden state를 투영한 후의 값입니다. - **router_logits** (`tuple(torch.Tensor)`, *선택 사항*, `output_router_logits=True`가 전달될 때 반환됨) -- 각 MoE 레이어에 하나씩 포함된 `torch.Tensor`의 튜플로, 모양은 `(batch_size * sequence_length, num_experts)`입니다. ## MistralLarge4ForConditionalGeneration[[transformers.MistralLarge4ForConditionalGeneration]] #### transformers.MistralLarge4ForConditionalGeneration[[transformers.MistralLarge4ForConditionalGeneration]] ```python transformers.MistralLarge4ForConditionalGeneration(config: MistralLarge4Config) ``` [소스](https://github.com/huggingface/transformers/blob/main/src/transformers/models/mistral_large4/modeling_mistral_large4.py#L1055) **매개변수:** config ([MistralLarge4Config](/docs/transformers/main/ko/model_doc/mistral_large4#transformers.MistralLarge4Config)) : 모델의 모든 매개변수를 포함하는 모델 구성 클래스입니다. 구성 파일로 초기화하는 것은 모델과 관련된 가중치를 로드하지 않으며, 구성 정보만 로드합니다. 모델 가중치를 로드하려면 [from_pretrained()](/docs/transformers/main/ko/main_classes/model#transformers.PreTrainedModel.from_pretrained) 메서드를 확인하세요. 비전 백본과 언어 모델로 구성된 MISTRAL_LARGE4 모델입니다. 이 모델은 [PreTrainedModel](/docs/transformers/main/ko/main_classes/model#transformers.PreTrainedModel)에서 상속됩니다. 라이브러리가 모든 모델에 대해 구현하는 일반적 메서드(다운로드 또는 저장, 입력 임베딩 크기 조정, 헤드 프루닝 등)에 대해서는 상위 클래스 문서를 확인하세요. 이 모델은 또한 PyTorch [torch.nn.Module](https://pytorch.org/docs/stable/nn.html#torch.nn.Module)의 하위 클래스입니다. 일반적인 PyTorch Module처럼 사용하며, 일반적인 사용법과 동작에 관한 모든 사항은 PyTorch 문서를 참조하세요. #### forward[[transformers.MistralLarge4ForConditionalGeneration.forward]] ```python forward(input_ids: typing.Optional[torch.LongTensor] = None, pixel_values: typing.Optional[torch.Tensor] = None, attention_mask: typing.Optional[torch.Tensor] = None, position_ids: typing.Optional[torch.LongTensor] = None, past_key_values: transformers.cache_utils.Cache | None = None, inputs_embeds: typing.Optional[torch.Tensor] = None, labels: typing.Optional[torch.LongTensor] = None, use_cache: bool | None = None, logits_to_keep: typing.Union[int, torch.Tensor] = 0, image_sizes: typing.Optional[torch.Tensor] = None, mm_encoder_outputs: dict[str, transformers.modeling_outputs.BaseModelOutputWithPooling] | None = None, **kwargs: *) ``` [소스](https://github.com/huggingface/transformers/blob/main/src/transformers/models/mistral_large4/modeling_mistral_large4.py#L1086) **매개변수:** input_ids (`torch.LongTensor`, shape `(batch_size, sequence_length)`, *선택 사항*) : 어휘(input sequence tokens)의 인덱스입니다. 기본적으로 패딩은 무시됩니다. [AutoTokenizer](/docs/transformers/main/ko/model_doc/auto#transformers.AutoTokenizer)를 사용하여 인덱스를 얻을 수 있습니다. 자세한 내용은 [PreTrainedTokenizer.encode()](/docs/transformers/main/ko/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.encode) 및 [PreTrainedTokenizer.__call__()](/docs/transformers/main/ko/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.__call__)를 참조하세요. [입력 ID란 무엇인가요?](../glossary#input-ids) pixel_values (`torch.Tensor`, shape `(batch_size, num_channels, image_size, image_size)`, *선택 사항*) : 입력 이미지에 해당하는 텐서입니다. 픽셀 값은 [PixtralImageProcessor](/docs/transformers/main/ko/model_doc/pixtral#transformers.PixtralImageProcessor)를 사용하여 얻을 수 있습니다. 자세한 내용은 [PixtralImageProcessor.__call__()](/docs/transformers/main/ko/model_doc/molmo2#transformers.Molmo2ImageProcessor.__call__)를 참조하세요 ([PixtralProcessor](/docs/transformers/main/ko/model_doc/pixtral#transformers.PixtralProcessor)는 이미지 처리에 [PixtralImageProcessor](/docs/transformers/main/ko/model_doc/pixtral#transformers.PixtralImageProcessor)를 사용합니다). attention_mask (`torch.Tensor`, shape `(batch_size, sequence_length)`, *선택 사항*) : 패딩 토큰 인덱스에 대한 attention을 수행하지 않도록 방지하는 마스크입니다. `[0, 1]`에서 선택된 마스크 값: - **마스크되지 않은** 토큰은 1, - **마스크된** 토큰은 0. [attention 마스크란?](../glossary#attention-mask) position_ids (`torch.LongTensor`, shape `(batch_size, sequence_length)`, *선택 사항*) : 각 입력 시퀀스의 토큰 위치 인덱스입니다. `[0, config.n_positions - 1]` 범위에서 선택됩니다. [위치 ID란 무엇인가요?](../glossary#position-ids) past_key_values (`~cache_utils.Cache`, *선택*) : 순차적 디코딩을 가속화할 수 있는 사전 계산된 hidden-states(셀프 어텐션 블록과 크로스 어텐션 블록의 key 및 value)입니다. 일반적으로 `use_cache=True` 또는 `config.use_cache=True`일 때 모델이 디코딩의 이전 단계에서 반환한 `past_key_values`로 구성됩니다. 입력으로 [Cache](/docs/transformers/main/ko/internal/generation_utils#transformers.Cache) 인스턴스만 허용되며, [kv cache 가이드](https://huggingface.co/docs/transformers/en/kv_cache)를 참조하세요. `past_key_values`가 전달되지 않으면 기본적으로 [DynamicCache](/docs/transformers/main/ko/internal/generation_utils#transformers.DynamicCache)가 초기화됩니다. 모델은 입력으로 제공된 것과 동일한 캐시 형식을 출력합니다. `past_key_values`를 사용하는 경우, 이 모델에 과거 key value 상태가 제공되지 않은 `input_ids`(처리되지 않은 항목)만 `(batch_size, unprocessed_length)` 형식으로 입력해야 하며, `(batch_size, sequence_length)` 형식의 모든 `input_ids`를 입력하지 않습니다. inputs_embeds (`torch.Tensor`, shape `(batch_size, sequence_length, hidden_size)`, *선택 사항*) : `input_ids`를 전달하는 대신 임베디드 표현을 직접 전달할 수 있습니다. 이는 모델의 내부 임베딩 조회 행렬보다 `input_ids` 인덱스를 관련 벡터로 변환하는 방식에 대해 더 많은 제어가 필요한 경우 유용합니다. labels (`torch.LongTensor`, shape `(batch_size, sequence_length)`, *선택 사항*) : masked language modeling loss를 계산하기 위한 라벨. 인덱스는 `[0, ..., config.vocab_size]` 범위 내이거나 -100이어야 합니다(`input_ids` docstring 참조). 인덱스가 `-100`으로 설정된 토큰은 무시(마스크)되며, loss는 `[0, ..., config.vocab_size]` 범위의 라벨을 가진 토큰에 대해서만 계산됩니다. use_cache (`bool`, *선택 사항*) : `True`로 설정하면 `past_key_values` 키 값 상태가 반환되며, 디코딩 속도를 높이는 데 사용할 수 있습니다(`past_key_values` 참조). logits_to_keep (`Union[int, torch.Tensor]`, *선택 사항*, 기본값 `0`) : `int`인 경우, 마지막 `logits_to_keep` 토큰에 대한 logits를 계산합니다. `0`인 경우, 모든 `input_ids`에 대한 logits를 계산합니다(특수한 경우). 생성에는 마지막 토큰의 logits만 필요하며, 해당 토큰에 대해서만 계산하면 메모리를 절약할 수 있습니다. 이는 긴 시퀀스나 큰 어휘 크기의 경우 상당한 이점을 제공합니다. `torch.Tensor`인 경우, 시퀀스 길이 차원에서 유지할 인덱스에 해당하는 1차원 텐서여야 합니다. 이는 packed tensor 형식(배치와 시퀀스 길이를 단일 차원으로 사용하는 경우)을 사용할 때 유용합니다. image_sizes (`torch.Tensor`, shape `(batch_size, 2)`, *선택 사항*) : 배치 내 각 이미지의 크기입니다. 각 이미지에 대해 (height, width) 형식입니다. mm_encoder_outputs (`dict[str, ~modeling_outputs.BaseModelOutputWithPooling]`, *선택 사항*) : 키가 지원되는 모달리티이고 값이 해당 모달리티의 인코딩된 출력인 Dict입니다. 각 인코딩된 출력은 (`pooler_output`, *선택 사항*: `last_hidden_states`, *선택 사항*: `hidden_states`, *선택 사항*: `attentions`)의 튜플로 구성되며, `pooler_output`의 shape은 `(batch_size, sequence_length, hidden_size)`, *선택 사항*)입니다. 이는 인코더의 멀티모달 특징을 텍스트 임베딩으로 병합한 시퀀스입니다. **반환값:** `MistralLarge4CausalLMOutputWithPast` 또는 `tuple(torch.Tensor)` `MistralLarge4CausalLMOutputWithPast` 또는 `torch.Tensor`의 튜플(`return_dict=False`가 전달되거나 `config.return_dict=False`인 경우)로, 구성([MistralLarge4Config](/docs/transformers/main/ko/model_doc/mistral_large4#transformers.MistralLarge4Config))과 입력에 따라 다양한 요소를 포함합니다. [MistralLarge4ForConditionalGeneration](/docs/transformers/main/ko/model_doc/mistral_large4#transformers.MistralLarge4ForConditionalGeneration)의 forward 메서드는 `__call__` 특수 메서드를 오버라이드합니다. `Module` 인스턴스는 전처리 및 후처리 단계를 실행하는 것을 처리하지만, 이 함수는 해당 단계를 조용히 무시하므로, 순전파(forward pass) 레시피를 이 함수 내에서 정의해야 하더라도 이후에는 이 함수 대신 `Module` 인스턴스를 호출해야 합니다. - **loss** (`torch.Tensor`, shape `(1,)`, *선택 사항*, `labels`가 제공될 때 반환됨) -- 언어 모델링 손실(다음 토큰 예측용). - **logits** (`torch.Tensor`, shape `(batch_size, sequence_length, config.vocab_size)`) -- 언어 모델링 헤드에서 생성된 예측 점수(SoftMax 적용 전 각 어휘 토큰에 대한 점수). - **past_key_values** (`Cache`, *선택 사항*, `use_cache=True`가 전달되었거나 `config.use_cache=True`인 경우 반환됨) -- [Cache](/docs/transformers/main/ko/internal/generation_utils#transformers.Cache) 인스턴스입니다. 자세한 내용은 [kv cache 가이드](https://huggingface.co/docs/transformers/en/kv_cache)를 참조하세요. 순차적 디코딩을 가속화하는 데 사용할 수 있는 사전 계산된 hidden-states(셀프 어텐션 블록의 key와 value)를 포함합니다(입력 `past_key_values` 참조). - **hidden_states** (`tuple[torch.Tensor]`, *선택*, `output_hidden_states=True`가 전달되었거나 `config.output_hidden_states=True`인 경우 반환됨) -- `torch.Tensor`의 튜플(모델에 임베딩 레이어가 있는 경우 임베딩 출력용 1개 + 각 레이어의 출력용 1개)로, 모양은 `(batch_size, sequence_length, hidden_size)`입니다. 각 레이어의 출력에서 모델의 Hidden-states와 선택적 초기 임베딩 출력을 포함합니다. - **attentions** (`tuple[torch.Tensor]`, *선택*, `output_attentions=True`가 전달되었거나 `config.output_attentions=True`인 경우 반환됨) -- 각 레이어마다 하나씩 포함된 `torch.Tensor`의 튜플로, 모양은 `(batch_size, num_heads, sequence_length, sequence_length)`입니다. self-attention 헤드에서 가중 평균을 계산하는 데 사용되는 attention softmax 이후의 attention 가중치입니다. - **image_hidden_states** (`torch.Tensor`, *선택 사항*) -- 크기가 `(batch_size, num_images, sequence_length, hidden_size)`인 `torch.Tensor`. 비전 인코더가 생성한 모델의 image_hidden_states로, 마지막 hidden state를 투영한 후의 값입니다. - **router_logits** (`tuple[torch.Tensor]`, *선택*, `output_router_logits=True`가 전달되었거나 `config.add_router_probs=True`인 경우 반환됨) -- 각 레이어마다 하나씩 포함된 `torch.Tensor`의 튜플로, shape은 `(batch_size, sequence_length, num_experts)`입니다. Mixture of Experts 모델의 보조 손실을 계산하는 데 유용한 모델의 Router logits입니다. 예: ```python >>> from PIL import Image >>> from huggingface_hub.utils import httpx >>> from io import BytesIO >>> from transformers import AutoProcessor, MistralLarge4ForConditionalGeneration >>> model = MistralLarge4ForConditionalGeneration.from_pretrained("mistralai/Mistral-Small-3.1-24B-Instruct-2503") >>> processor = AutoProcessor.from_pretrained("mistralai/Mistral-Small-3.1-24B-Instruct-2503") >>> prompt = "[INST][IMG]What is the image?[/INST]" >>> url = "http://images.cocodataset.org/val2017/000000039769.jpg" >>> with httpx.stream("GET", url) as response: ... image = Image.open(BytesIO(response.read())) >>> inputs = processor(images=image, text=prompt, return_tensors="pt") >>> # Generate >>> generate_ids = model.generate(**inputs, max_new_tokens=15) >>> processor.batch_decode(generate_ids, skip_special_tokens=True, clean_up_tokenization_spaces=False)[0] "What is the image?The image depicts two cats lying on a pink blanket." ```