# Laguna

Laguna 是 Poolside 的混合专家语言模型系列。与标准的 SwiGLU MoE 变换器相比，Laguna 特有的差异在于：

- 通过 `num_attention_heads_per_layer` 设置**每层的注意力头数**——不同的解码器层可以拥有不同的查询头数量，同时共享相同的 KV 缓存形状。
- **采用无辅助损失负载均衡的 Sigmoid MoE 路由器**（[arXiv:2408.15664](https://huggingface.co/papers/2408.15664)）以及可选的 logit 软截断（`moe_router_logit_softcapping`）—— 路由器分数为门控 logits 的逐元素 sigmoid 值，再加上仅在专家选择时添加的、针对每个专家学习得到的偏置（`e_score_correction_bias`）。

## 用法

```python
from transformers import pipeline

pipe = pipeline(
    "text-generation",
    model="poolside/Laguna-XS.2",
    dtype="auto",
    device_map="auto",
)
print(pipe("The capital of France is", max_new_tokens=20, do_sample=False)[0]["generated_text"])
```

```python
import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

model_id = "poolside/Laguna-XS.2"
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(
    model_id,
    dtype=torch.bfloat16,
    device_map="auto",
)

prompt = "The capital of France is"
inputs = tokenizer(prompt, return_tensors="pt").to(model.device)
generated = model.generate(**inputs, max_new_tokens=20, do_sample=False)
print(tokenizer.decode(generated[0], skip_special_tokens=True))
```

## 备注

- **注意力后端。**支持 SDPA（默认）、FlashAttention-2 和 flex attention。注意力输出门控在 kernel 调用之外应用，因此适用于所有后端。
- **`num_attention_heads_per_layer`。**如果提供该参数，其长度必须等于 `num_hidden_layers`。每个条目必须能被 `num_key_value_heads` 整除。
- **`layer_types`。**如果未设置，默认值为 `["full_attention"] * num_hidden_layers`。若要启用滑动窗口注意力，请传入一个由 `"full_attention"` / `"sliding_attention"` 值组成的列表。
- **`mlp_layer_types`.** 每层 MLP 的类型，取值为 `"dense"` 或 `"sparse"`。长度必须等于 `num_hidden_layers`。若未设置，默认值为 `["dense"] + ["sparse"] * (num_hidden_layers - 1)`（第一层为 dense，其余为 MoE）。
- **`moe_apply_router_weight_on_input=True`** 目前不支持与融合专家内核（`grouped_mm_experts_forward`）同时使用；`validate_architecture` 会在配置构建时抛出异常。请将其设置为 `False`（默认值）。

## LagunaConfig[[transformers.LagunaConfig]]

#### transformers.LagunaConfig[[transformers.LagunaConfig]]

```python
transformers.LagunaConfig(transformers_version: str | None = None, architectures: list[str] | None = None, output_hidden_states: bool | None = False, return_dict: bool | None = True, dtype: str | torch.dtype | None = None, chunk_size_feed_forward: int = 0, is_encoder_decoder: bool = False, id2label: dict[int, str] | dict[str, str] | None = None, label2id: dict[str, int] | dict[str, str] | None = None, problem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = None, vocab_size: int = 100352, hidden_size: int = 2048, intermediate_size: int = 8192, num_hidden_layers: int = 40, num_attention_heads: int = 48, num_key_value_heads: int = 8, hidden_act: str = 'silu', max_position_embeddings: int = 131072, initializer_range: float = 0.02, rms_norm_eps: float = 1e-06, use_cache: bool = True, tie_word_embeddings: bool = False, rope_parameters: transformers.modeling_rope_utils.RopeParameters | dict | None = None, sliding_window: int = 512, attention_dropout: float | int = 0.0, moe_intermediate_size: int = 512, shared_expert_intermediate_size: int = 512, num_experts_per_tok: int = 8, num_experts: int = 256, output_router_logits: bool = False, router_aux_loss_coef: float = 0.001, layer_types: list[str] | None = None, pad_token_id: int | None = None, bos_token_id: int | None = None, eos_token_id: int | list[int] | None = None, head_dim: int = 128, attention_bias: bool = False, gating: bool | str = True, num_attention_heads_per_layer: list[int] | None = None, mlp_layer_types: list[str] | None = None, moe_routed_scaling_factor: float = 1.0, moe_apply_router_weight_on_input: bool = False, moe_router_logit_softcapping: float = 0.0)
```

[来源](https://github.com/huggingface/transformers/blob/main/src/transformers/models/laguna/configuration_laguna.py#L31)

**参数：**

vocab_size (*int*，*可选*，默认值为 *100352*)：模型的词汇表大小。定义了 *input_ids* 可以表示的不同 token 数量。

hidden_size (*int*，*optional*，默认为 *2048*)：隐藏表示的维度。

intermediate_size (*int*，*optional*，默认为 *8192*)：MLP 表示的维度。

num_hidden_layers (*int*，*optional*，默认为 *40*)：Transformer 解码器中的隐藏层数。

num_attention_heads (*int*，*可选*，默认为 *48*)：Transformer 解码器中每个注意力层的注意力头数量。

num_key_value_heads (*int*, *optional*, 默认为 *8*) : 这是用于实现 Grouped Query Attention 的 key_value 头数量。如果 *num_key_value_heads=num_attention_heads*，模型将使用 Multi Head Attention (MHA)；如果 *num_key_value_heads=1*，模型将使用 Multi Query Attention (MQA)；否则将使用 GQA。在将多头检查点转换为 GQA 检查点时，每个组的 key 和 value 头应通过对该组内所有原始头进行平均池化来构建。更多详情请参阅 [这篇论文](https://huggingface.co/papers/2305.13245)。如果未指定，则默认为 *num_attention_heads*。

hidden_act (*str*，*optional*，默认为 *silu*)：解码器中的非线性激活函数（函数或字符串）。例如，*"gelu"*、*"relu"*、*"silu"* 等。

max_position_embeddings (*int*，*optional*，默认为 *131072*)：该模型可能使用的最大序列长度。

initializer_range (*float*, *optional*, 默认为 *0.02*) : 用于初始化所有权重矩阵的 truncated_normal_initializer 的标准差。

rms_norm_eps (*float*, *optional*, 默认为 *1e-06*) : rms 归一化层使用的 epsilon。

use_cache (*bool*, *optional*, defaults to *True*) : Whether or not the model should return the last key/values attentions (not used by all models). Only relevant if *config.is_decoder=True* or when the model is a decoder-only generative model.

tie_word_embeddings (*bool*, *optional*, 默认为 *False*) : 是否根据模型的 *tied_weights_keys* 映射来绑定权重嵌入。

rope_parameters (*Union[~modeling_rope_utils.RopeParameters, dict]*, *optional*) : 包含 RoPE 嵌入配置参数的字典。该字典应包含 *rope_theta* 的值，并且如果您希望使用 RoPE 处理更长的 *max_position_embeddings*，则可选地包含用于缩放的参数。

sliding_window (*int*，*可选*，默认为 *512*)：滑动窗口注意力的窗口大小。如果为 *None*，则不应用滑动窗口。

attention_dropout (*Union[float, int]*，*可选*，默认为 *0.0*)：注意力概率的 dropout 比率。

moe_intermediate_size (*int*，*可选*，默认为 *512*)：路由专家 MLP 的中间层大小。

shared_expert_intermediate_size (*int*，*可选*，默认为 *512*)：共享专家 MLP 的中间层大小。

num_experts_per_tok (*int*，*可选*，默认为 *8*)：每个 token 路由到的专家数量。这是 token-choice 路由的 top-k 值。

num_experts (*int*，*可选*，默认为 *256*)：MoE 层中路由专家的数量。

output_router_logits (*bool*, *optional*, 默认为 *False*) : 是否由模型返回路由器 logits。启用此选项后，模型还将输出辅助损失，包括负载均衡损失和路由器 z-loss。

router_aux_loss_coef (*float*, *optional*, 默认为 *0.001*) : 辅助负载均衡损失系数。用于惩罚 MoE 模型中专家路由的不均衡。

layer_types (*list[str]*, *optional*) : 一个列表，用于显式地将每个层索引映射到其层类型。如果未提供，则会根据 config 值自动生成。

pad_token_id (*int*, *optional*) : 词汇表中用于填充的 Token id。

bos_token_id (*int*, *optional*) : 词汇表中用于表示流开始的 Token id。

eos_token_id (*Union[int, list[int]]*, *optional*) : 词汇表中用于表示流结束（end-of-stream）的 Token id。

head_dim (*int*，*optional*，默认为 *128*)：注意力头维度。如果为 None，则默认为 hidden_size // num_attention_heads

attention_bias (*bool*, *optional*, 默认为 *False*) : 是否在使用自注意力机制时，在查询、键、值和输出投影层中使用偏置。

gating (*bool* 或 *str*，*可选*，默认为 *True*)：Softplus 输出门控的粒度。`True` 或 `"per-head"` 表示每个头应用一个门控，并在 `head_dim` 维度上进行广播；`"per-element"` 表示每个 `(head, head_dim)` 通道应用一个门控。

num_attention_heads_per_layer (*list[int]*, *可选*) : 用于覆盖 `num_attention_heads` 的逐层设置。其长度必须等于 `num_hidden_layers`。

mlp_layer_types (*list[str]*, *optional*) : 每层 MLP 类型 — `"dense"` 或 `"sparse"`。长度必须等于 `num_hidden_layers`。默认第一层为 dense，其余为 sparse。

moe_routed_scaling_factor (*float*, *optional*, 默认值为 1.0) : 在与共享专家输出合并之前，应用于路由专家输出的标量。

moe_apply_router_weight_on_input (*bool*, *optional*, 默认为 *False*) : 是否将路由器权重应用于 MoE 的输入而非输出。transformers 目前尚不支持此功能；当前设置 `True` 会引发 `NotImplementedError`。

moe_router_logit_softcapping (*float*, *optional*, 默认值为 0.0) : 在对 MoE 路由器的 logits 应用 tanh 软截断（softcapping）时使用的缩放因子。

这是用于存储 LagunaModel 配置的类。它根据指定的参数实例化 Laguna 模型，并定义模型架构。使用默认值实例化配置将生成与 [poolside/laguna-XS.2](https://huggingface.co/poolside/laguna-XS.2) 类似的配置。

配置对象继承自 [*PreTrainedConfig*]，可用于控制模型输出。有关更多信息，请参阅 [*PreTrainedConfig*] 的文档。

示例：

```python
>>> from transformers import LagunaModel, LagunaConfig

>>> configuration = LagunaConfig()
>>> model = LagunaModel(configuration)
>>> configuration = model.config
```

#### validate_architecture[[transformers.LagunaConfig.validate_architecture]]

```python
validate_architecture()
```

[来源](https://github.com/huggingface/transformers/blob/main/src/transformers/models/laguna/configuration_laguna.py#L150)

`@strict` 驱动验证的一部分。

## LagunaModel[[transformers.LagunaModel]]

#### transformers.LagunaModel[[transformers.LagunaModel]]

```python
transformers.LagunaModel(config: LagunaConfig)
```

[来源](https://github.com/huggingface/transformers/blob/main/src/transformers/models/laguna/modeling_laguna.py#L497)

**参数：**

config ([LagunaConfig](/docs/transformers/main/zh/model_doc/laguna#transformers.LagunaConfig))：模型配置类，包含模型的所有参数。使用配置文件进行初始化时，不会加载与模型关联的权重，仅加载配置。请查看 [from_pretrained()](/docs/transformers/main/zh/main_classes/model#transformers.PreTrainedModel.from_pretrained) 方法以加载模型权重。

未添加任何特定头部的裸 Laguna 模型，直接输出原始隐藏状态。

该模型继承自 [PreTrainedModel](/docs/transformers/main/zh/main_classes/model#transformers.PreTrainedModel)。请查阅父类文档，了解该库为所有模型实现的通用方法（例如下载或保存、调整输入嵌入大小、剪枝头等）。

该模型也是 PyTorch [torch.nn.Module](https://pytorch.org/docs/stable/nn.html#torch.nn.Module) 的子类。请将其作为常规的 PyTorch Module 使用，有关通用用法和行为的所有事项，请参阅 PyTorch 文档。

#### forward[[transformers.LagunaModel.forward]]

```python
forward(input_ids: typing.Optional[torch.LongTensor] = None, attention_mask: typing.Optional[torch.Tensor] = None, position_ids: typing.Optional[torch.LongTensor] = None, past_key_values: transformers.cache_utils.Cache | None = None, inputs_embeds: typing.Optional[torch.Tensor] = None, use_cache: bool | None = None, **kwargs: *<class 'transformers.utils.generic.TransformersKwargs'>)
```

[来源](https://github.com/huggingface/transformers/blob/main/src/transformers/models/laguna/modeling_laguna.py#L514)

**参数：**

input_ids (`torch.LongTensor`，形状为 `(batch_size, sequence_length)`，*可选*)：输入序列中 token 在词汇表中的索引。默认情况下，填充（padding）将被忽略。可以使用 [AutoTokenizer](/docs/transformers/main/zh/model_doc/auto#transformers.AutoTokenizer) 获取索引。有关详细信息，请参阅 [PreTrainedTokenizer.encode()](/docs/transformers/main/zh/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.encode) 和 [PreTrainedTokenizer.__call__()](/docs/transformers/main/zh/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.__call__)。[什么是输入 ID？](../glossary#input-ids)

attention_mask (`torch.Tensor`，形状为 `(batch_size, sequence_length)`，*可选*)：用于避免对填充（padding）标记索引执行注意力机制的掩码。掩码值取自 `[0, 1]`： - 1 表示**未掩码**的标记， - 0 表示**已掩码**的标记。 [什么是注意力掩码？](../glossary#attention-mask)

position_ids (`torch.LongTensor`，形状为 `(batch_size, sequence_length)`，*可选*)：输入序列中每个 token 在位置嵌入中的位置索引。取值范围为 `[0, config.n_positions - 1]`。[什么是位置 ID？](../glossary#position-ids)

past_key_values (`~cache_utils.Cache`，*可选*)：预计算的隐藏状态（自注意力块和交叉注意力块中的键和值），可用于加速顺序解码。这通常由模型在解码的先前阶段返回的 `past_key_values` 组成，前提是 `use_cache=True` 或 `config.use_cache=True`。 仅允许 [Cache](/docs/transformers/main/zh/internal/generation_utils#transformers.Cache) 实例作为输入，请参阅我们的 [kv cache guide](https://huggingface.co/docs/transformers/en/kv_cache)。如果未传入 `past_key_values`，则默认初始化 [DynamicCache](/docs/transformers/main/zh/internal/generation_utils#transformers.DynamicCache)。 模型将输出与输入相同的缓存格式。 如果使用 `past_key_values`，则用户预期仅输入未处理的 `input_ids`（即未向此模型提供其过去键值状态的那些），其形状为 `(batch_size, unprocessed_length)`，而不是形状为 `(batch_size, sequence_length)` 的所有 `input_ids`。

inputs_embeds (`torch.Tensor`，形状为 `(batch_size, sequence_length, hidden_size)`，*可选*)：可选地，你可以选择直接传入嵌入表示，而不是传入 `input_ids`。如果你希望比模型内部的嵌入查找矩阵更精细地控制如何将 `input_ids` 索引转换为对应的向量，这将非常有用。

use_cache (`bool`，*可选*)：如果设置为 `True`，则会返回 `past_key_values` 键值状态，可用于加速解码（参见 `past_key_values`）。

**返回：** `MoeModelOutputWithPast` 或 `tuple(torch.Tensor)`

`MoeModelOutputWithPast` 或 `torch.Tensor` 元组（如果传入 `return_dict=False` 或 `config.return_dict=False`），其包含的元素取决于配置（[LagunaConfig](/docs/transformers/main/zh/model_doc/laguna#transformers.LagunaConfig)）和输入。

[LagunaModel](/docs/transformers/main/zh/model_doc/laguna#transformers.LagunaModel) 的 forward 方法重写了 `__call__` 特殊方法。

尽管前向传播的实现需要在此函数中定义，但之后应调用 `Module` 实例，而不是直接调用此函数，因为前者会负责执行预处理和后处理步骤，而后者会静默地忽略这些步骤。

- **last_hidden_state**（形状为 `(batch_size, sequence_length, hidden_size)` 的 `torch.Tensor`）-- 模型最后一层输出的隐藏状态序列。
- **past_key_values**（`Cache`，*可选*，在传入 `use_cache=True` 或 `config.use_cache=True` 时返回）—— 它是一个 [Cache](/docs/transformers/main/zh/internal/generation_utils#transformers.Cache) 实例。更多详情，请参阅我们的 [kv cache 指南](https://huggingface.co/docs/transformers/en/kv_cache)。

  包含预计算的隐藏状态（自注意力块中的键和值，以及如果 `config.is_encoder_decoder=True` 则还包括交叉注意力块中的键和值），可用于（参见 `past_key_values` 输入）加速顺序解码。
- **hidden_states** (`tuple(torch.Tensor)`，*可选*，在传入 `output_hidden_states=True` 或 `config.output_hidden_states=True` 时返回) -- 一个 `torch.Tensor` 元组（如果模型具有嵌入层，则包含嵌入层的输出，以及每一层的输出），形状为 `(batch_size, sequence_length, hidden_size)`。

  模型在每一层输出处的隐藏状态，以及可选的初始嵌入输出。
- **attentions** (`tuple(torch.Tensor)`，*可选*，当传入 `output_attentions=True` 或 `config.output_attentions=True` 时返回) -- 一个 `torch.Tensor` 元组（每层一个），形状为 `(batch_size, num_heads, sequence_length, sequence_length)`。

  经过注意力 softmax 后的注意力权重，用于在自注意力头中计算加权平均值。
- **router_logits** (`tuple(torch.Tensor)`，*可选*，当传入 `output_router_probs=True` 且 `config.add_router_probs=True`，或当 `config.output_router_probs=True` 时返回) -- 一个 `torch.Tensor` 元组（每层一个），形状为 `(batch_size, sequence_length, num_experts)`。

  由 MoE 路由器计算的原始路由器 logits（softmax 之后），这些术语用于计算混合专家模型的辅助损失。

## LagunaForCausalLM[[transformers.LagunaForCausalLM]]

#### transformers.LagunaForCausalLM[[transformers.LagunaForCausalLM]]

```python
transformers.LagunaForCausalLM(config: LagunaConfig)
```

[来源](https://github.com/huggingface/transformers/blob/main/src/transformers/models/laguna/modeling_laguna.py#L650)

**参数：**

config ([LagunaConfig](/docs/transformers/main/zh/model_doc/laguna#transformers.LagunaConfig))：模型配置类，包含模型的所有参数。使用配置文件进行初始化时，不会加载与模型关联的权重，仅加载配置。请查看 [from_pretrained()](/docs/transformers/main/zh/main_classes/model#transformers.PreTrainedModel.from_pretrained) 方法以加载模型权重。

用于因果语言建模的 Laguna 模型。

该模型继承自 [PreTrainedModel](/docs/transformers/main/zh/main_classes/model#transformers.PreTrainedModel)。请查阅父类文档，了解该库为所有模型实现的通用方法（例如下载或保存、调整输入嵌入大小、剪枝头等）。

该模型也是 PyTorch [torch.nn.Module](https://pytorch.org/docs/stable/nn.html#torch.nn.Module) 的子类。请将其作为常规的 PyTorch Module 使用，有关通用用法和行为的所有事项，请参阅 PyTorch 文档。

#### forward[[transformers.LagunaForCausalLM.forward]]

```python
forward(input_ids: typing.Optional[torch.LongTensor] = None, attention_mask: typing.Optional[torch.Tensor] = None, position_ids: typing.Optional[torch.LongTensor] = None, past_key_values: transformers.cache_utils.Cache | None = None, inputs_embeds: typing.Optional[torch.Tensor] = None, labels: typing.Optional[torch.LongTensor] = None, use_cache: bool | None = None, output_router_logits: bool | None = None, logits_to_keep: typing.Union[int, torch.Tensor] = 0, **kwargs: *<class 'transformers.utils.generic.TransformersKwargs'>)
```

[来源](https://github.com/huggingface/transformers/blob/main/src/transformers/models/laguna/modeling_laguna.py#L669)

**参数：**

input_ids (`torch.LongTensor`，形状为 `(batch_size, sequence_length)`，*可选*)：输入序列中 token 在词汇表中的索引。默认情况下，填充（padding）将被忽略。可以使用 [AutoTokenizer](/docs/transformers/main/zh/model_doc/auto#transformers.AutoTokenizer) 获取索引。有关详细信息，请参阅 [PreTrainedTokenizer.encode()](/docs/transformers/main/zh/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.encode) 和 [PreTrainedTokenizer.__call__()](/docs/transformers/main/zh/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.__call__)。[什么是输入 ID？](../glossary#input-ids)

attention_mask (`torch.Tensor`，形状为 `(batch_size, sequence_length)`，*可选*)：用于避免对填充（padding）标记索引执行注意力机制的掩码。掩码值取自 `[0, 1]`： - 1 表示**未掩码**的标记， - 0 表示**已掩码**的标记。 [什么是注意力掩码？](../glossary#attention-mask)

position_ids (`torch.LongTensor`，形状为 `(batch_size, sequence_length)`，*可选*)：输入序列中每个 token 在位置嵌入中的位置索引。取值范围为 `[0, config.n_positions - 1]`。[什么是位置 ID？](../glossary#position-ids)

past_key_values (`~cache_utils.Cache`，*可选*)：预计算的隐藏状态（自注意力块和交叉注意力块中的键和值），可用于加速顺序解码。这通常由模型在解码的先前阶段返回的 `past_key_values` 组成，前提是 `use_cache=True` 或 `config.use_cache=True`。 仅允许 [Cache](/docs/transformers/main/zh/internal/generation_utils#transformers.Cache) 实例作为输入，请参阅我们的 [kv cache guide](https://huggingface.co/docs/transformers/en/kv_cache)。如果未传入 `past_key_values`，则默认初始化 [DynamicCache](/docs/transformers/main/zh/internal/generation_utils#transformers.DynamicCache)。 模型将输出与输入相同的缓存格式。 如果使用 `past_key_values`，则用户预期仅输入未处理的 `input_ids`（即未向此模型提供其过去键值状态的那些），其形状为 `(batch_size, unprocessed_length)`，而不是形状为 `(batch_size, sequence_length)` 的所有 `input_ids`。

inputs_embeds (`torch.Tensor`，形状为 `(batch_size, sequence_length, hidden_size)`，*可选*)：可选地，你可以选择直接传入嵌入表示，而不是传入 `input_ids`。如果你希望比模型内部的嵌入查找矩阵更精细地控制如何将 `input_ids` 索引转换为对应的向量，这将非常有用。

labels (`torch.LongTensor`，形状为 `(batch_size, sequence_length)`，*可选*)：用于计算掩码语言建模损失的标签。索引值应在 `[0, ..., config.vocab_size]` 范围内，或为 -100（参见 `input_ids` 的文档字符串）。索引值设为 `-100` 的 token 将被忽略（即被掩码），损失仅针对标签在 `[0, ..., config.vocab_size]` 范围内的 token 进行计算。

use_cache (`bool`，*可选*)：如果设置为 `True`，则会返回 `past_key_values` 键值状态，可用于加速解码（参见 `past_key_values`）。

output_router_logits (`bool`, *可选*) : 是否返回所有路由器的 logits。它们对于计算路由器损失很有用，在推理期间不应返回。

logits_to_keep (`Union[int, torch.Tensor]`，*可选*，默认为 `0`)：如果为 `int`，则计算最后 `logits_to_keep` 个 token 的 logits。如果为 `0`，则计算所有 `input_ids` 的 logits（特殊情况）。生成过程只需要最后一个 token 的 logits，仅针对该 token 进行计算可以节省内存，对于长序列或大词汇量而言，这种节省相当可观。如果为 `torch.Tensor`，则必须是一维张量，对应于序列长度维度中需要保留的索引。这在使用打包张量格式（将批次和序列长度合并为单一维度）时非常有用。

**返回：** `MoeCausalLMOutputWithPast` 或 `tuple(torch.Tensor)`

`MoeCausalLMOutputWithPast` 或 `torch.Tensor` 元组（如果传入 `return_dict=False` 或 `config.return_dict=False`），其包含的元素取决于配置（[LagunaConfig](/docs/transformers/main/zh/model_doc/laguna#transformers.LagunaConfig)）和输入。

[LagunaForCausalLM](/docs/transformers/main/zh/model_doc/laguna#transformers.LagunaForCausalLM) 的 forward 方法重写了 `__call__` 特殊方法。

尽管前向传播的实现需要在此函数中定义，但之后应调用 `Module` 实例，而不是直接调用此函数，因为前者会负责执行预处理和后处理步骤，而后者会静默地忽略这些步骤。

- **loss** (`torch.Tensor`，形状为 `(1,)`，*可选*，当提供 `labels` 时返回) -- 语言建模损失（用于下一个 token 预测）。
- **logits**（形状为 `(batch_size, sequence_length, config.vocab_size)` 的 `torch.Tensor`）-- 语言建模头的预测分数（SoftMax 之前每个词汇表 token 的分数）。
- **aux_loss** (`torch.Tensor`，*可选*，当传入 `output_router_logits=True` 或 `config.output_router_logits=True`，且模型使用负载均衡损失训练其路由器时返回) -- 稀疏模块的负载均衡辅助损失。使用路由器偏差来平衡其专家的模型（DeepSeek-V3 及由其衍生的架构）在此处返回 `None`，但仍会返回 `router_logits`。
- **router_logits** (`tuple(torch.Tensor)`，*可选*，在传入 `output_router_logits=True` 或 `config.output_router_logits=True` 时返回) -- 一个 `torch.Tensor` 元组（每个稀疏层对应一个），形状为 `(batch_size * sequence_length, num_experts)`。

  由 MoE 路由器计算的原始路由器 logits。可用于计算负载均衡损失，或检查 token 如何被分发到各个专家。
- **past_key_values**（`Cache`，*可选*，在传入 `use_cache=True` 或 `config.use_cache=True` 时返回）—— 它是一个 [Cache](/docs/transformers/main/zh/internal/generation_utils#transformers.Cache) 实例。更多详情，请参阅我们的 [kv cache 指南](https://huggingface.co/docs/transformers/en/kv_cache)。

  包含预计算的隐藏状态（自注意力块中的键和值），可用于（参见 `past_key_values` 输入）加速顺序解码。
- **hidden_states** (`tuple(torch.Tensor)`，*可选*，在传入 `output_hidden_states=True` 或 `config.output_hidden_states=True` 时返回) -- 一个 `torch.Tensor` 元组（如果模型具有嵌入层，则包含嵌入层的输出，以及每一层的输出），形状为 `(batch_size, sequence_length, hidden_size)`。

  模型在每一层输出处的隐藏状态，以及可选的初始嵌入输出。
- **attentions** (`tuple(torch.Tensor)`，*可选*，当传入 `output_attentions=True` 或 `config.output_attentions=True` 时返回) -- 一个 `torch.Tensor` 元组（每层一个），形状为 `(batch_size, num_heads, sequence_length, sequence_length)`。

  经过注意力 softmax 后的注意力权重，用于在自注意力头中计算加权平均值。

示例：

```python
```