Transformers documentation
WavTokenizer
Mô hình này được công bố trên HF papers vào ngày 2024-08-29 và được đóng góp cho Hugging Face Transformers vào ngày 2026-11-16.
WavTokenizer
Tổng quan
WavTokenizer mã hóa âm thanh đơn kênh 24 kHz thành các token rời rạc bằng một codebook duy nhất, với tốc độ 40 hoặc 75 token mỗi giây tùy theo checkpoint. Nó cũng có thể tái tạo âm thanh từ các token đó.
Cài đặt này hỗ trợ suy luận với WavTokenizerModel để mã hóa và giải mã, hoặc WavTokenizerEncoderModel chỉ để mã hóa. Biến thể 40 token mỗi giây cung cấp bộ mã hóa âm thanh cho Apertus 1.5. Việc huấn luyện codec không được hỗ trợ.
Mô hình này được đóng góp bởi Swiss AI Initiative. Bản triển khai gốc có sẵn trên GitHub.
Các checkpoint khả dụng
Các checkpoint này sẵn sàng để tải bằng from_pretrained:
| Checkpoint | Lĩnh vực | Số token mỗi giây |
|---|---|---|
| Nhỏ, 40 token/giây | Xử lý giọng nói | 40 |
| Nhỏ, 75 token/giây | Xử lý giọng nói | 75 |
| Trung bình | Xử lý giọng nói | 75 |
| Medium v2 | Xử lý giọng nói | 75 |
| Trung bình | Âm nhạc/âm thanh | 75 |
| Medium v2 | Âm nhạc/âm thanh | 75 |
| Thống nhất lớn | Thống nhất | 40 |
| Large v2 | Xử lý giọng nói | 75 |
Ví dụ sử dụng
Tải một đoạn âm thanh, lấy mẫu lại theo tần số lấy mẫu của checkpoint, sau đó mã hóa và tái tạo nó:
import torch
from transformers import AutoFeatureExtractor, WavTokenizerModel
from transformers.audio_utils import load_audio
model_id = "swiss-ai/wavtokenizer-large-unify-40token"
model = WavTokenizerModel.from_pretrained(model_id)
feature_extractor = AutoFeatureExtractor.from_pretrained(model_id)
audio = load_audio(
"https://huggingface.co/datasets/hf-internal-testing/dummy-audio-samples/resolve/main/belinda.wav",
sampling_rate=feature_extractor.sampling_rate,
)
inputs = feature_extractor(audio=audio, sampling_rate=feature_extractor.sampling_rate, return_tensors="pt")
with torch.no_grad():
audio_codes = model.encode(**inputs).audio_codes
reconstruction = model.decode(audio_codes).audio_values[..., : len(audio)]Ghi chú sử dụng
- Đầu vào âm thanh: Bộ trích xuất đặc trưng mong đợi âm thanh đơn kênh (mono) ở tốc độ lấy mẫu đã cấu hình; nó không thực hiện lấy mẫu lại (resample) hay trộn xuống kênh đơn (downmix). Ví dụ sử dụng
load_audiođể xử lý cả hai. Việc giải mã có thể thêm các mẫu cuối do đệm nội bộ, vì vậy ví dụ sẽ cắt phần tái tạo về đúng độ dài ban đầu. - Batching: Việc đệm (padding) các clip có độ dài khác nhau có thể làm thay đổi mã của chúng. Hãy mã hóa các clip riêng lẻ khi bạn cần có cùng mã như khi xử lý từng clip độc lập.
- Độ chính xác: Nạp và chạy tokenizer ở
float32(mặc định). Độ chính xác thấp hơn có thể làm thay đổi việc gán mã.
WavTokenizerConfig
lớp transformers.WavTokenizerConfig
< source >( transformers_version: str | None = Nonearchitectures: list[str] | None = Noneoutput_hidden_states: bool | None = Falsereturn_dict: bool | None = Truedtype: str | torch.dtype | None = Nonechunk_size_feed_forward: int = 0is_encoder_decoder: bool = Falseid2label: dict[int, str] | dict[str, str] | None = Nonelabel2id: dict[str, int] | dict[str, str] | None = Noneproblem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = Nonesampling_rate: int = 24000audio_channels: int = 1num_filters: int = 32upsampling_ratios: list[int] | tuple[int, ...] = (6, 5, 5, 4)num_residual_layers: int = 1dilation_growth_rate: int = 2compress: int = 2use_conv_shortcut: bool = Trueuse_causal_conv: bool = Falsepad_mode: str = 'reflect'norm_type: str = 'weight_norm'kernel_size: int = 7last_kernel_size: int = 7residual_kernel_size: int = 3num_lstm_layers: int = 2hidden_size: int = 512codebook_size: int = 4096codebook_dim: int = 512decoder_hidden_size: int = 768decoder_intermediate_size: int = 2304decoder_num_layers: int = 12adanorm_num_embeddings: int = 4decoder_attention_num_groups: int = 32norm_eps: float = 1e-06 )
Tham số
- sampling_rate (
int, tùy chọn, mặc định là24000) — Tần số lấy mẫu (tính bằng hertz (Hz)) mà các tệp âm thanh cần được số hóa. - audio_channels (
int, tùy chọn, mặc định là 1) — Số kênh trong dữ liệu âm thanh. Chỉ hỗ trợ mono (1). - num_filters (
int, tùy chọn, mặc định là 32) — Số lượng bộ lọc tích chập của lớp hạ mẫuWavTokenizerConv1dđầu tiên. - upsampling_ratios (
list[int], tuỳ chọn, mặc định là[6, 5, 5, 4]) — Tỷ lệ kích thước kernel và stride. Encoder sử dụng tỷ lệ hạ mẫu thay vì tỷ lệ tăng mẫu, do đó nó sẽ sử dụng các tỷ lệ theo thứ tự ngược lại so với thứ tự được chỉ định ở đây, và thứ tự này phải khớp với thứ tự của decoder. Tích (mặc định là 600) là độ dài hop: số lượng mẫu âm thanh được đại diện bởi một mã duy nhất. - num_residual_layers (
int, tùy chọn, mặc định là 1) — Số lượng lớp residual trong mỗi giai đoạn encoder. - dilation_growth_rate (
int, tùy chọn, mặc định là 2) — Mức độ tăng dilation ở mỗi lớp residual trong encoder. - compress (
int, tuỳ chọn, mặc định là 2) — Chiều giảm trong các nhánh residual. - use_conv_shortcut (
bool, tùy chọn, mặc định làTrue) — Có sử dụng một lớp tích chập làm đường tắt (skip) shortcut trong các khối dư (residual blocks) hay không. Nếu là False, một hàm đồng nhất (identity function) sẽ được sử dụng, tạo ra một kết nối dư (residual connection) tổng quát. - use_causal_conv (
bool, tùy chọn, mặc định làFalse) — Có sử dụng convolution hoàn toàn causal hay không. - pad_mode (
str, tùy chọn, mặc định là"reflect") — Chế độ đệm cho các phép tích chập. - norm_type (
str, tùy chọn, mặc định là"weight_norm") — Phương pháp chuẩn hóa cho các phép tích chập của bộ mã hóa. Phải nằm trong["weight_norm", "time_group_norm"]. - kernel_size (
int, tùy chọn, mặc định là 7) — Kích thước kernel cho phép卷积 ban đầu của encoder. - last_kernel_size (
int, tùy chọn, mặc định là 7) — Kích thước kernel cho phép卷积 cuối cùng của encoder. - residual_kernel_size (
int, tuỳ chọn, mặc định là 3) — Kích thước kernel cho các lớp residual của encoder. - num_lstm_layers (
int, tùy chọn, mặc định là 2) — Số lượng lớp LSTM ở cuối bộ mã hóa. - hidden_size (
int, tùy chọn, mặc định là 512) — Kích thước chiều của đầu ra bộ mã hóa (không gian ẩn của bộ lượng tử hóa). - codebook_size (
int, tùy chọn, mặc định là 4096) — Số lượng mã rời rạc tạo nên bảng mã VQ đơn. - codebook_dim (
int, tùy chọn, mặc định là 512) — Kích thước của các vector trong codebook. Phải khớp vớihidden_size(không sử dụng phép chiếu). - decoder_hidden_size (
int, tùy chọn, mặc định là 768) — Kích thước chiều của bộ khung giải mã kiểu Vocos. - decoder_intermediate_size (
int, tùy chọn, mặc định là 2304) — Kích thước chiều của các phép convolution điểm (pointwise) bên trong các khối ConvNeXt của bộ giải mã. - decoder_num_layers (
int, tùy chọn, mặc định là 12) — Số lượng khối ConvNeXt trong bộ khung giải mã. - adanorm_num_embeddings (
int, tùy chọn, mặc định là 4) — Số lượng embedding điều kiện của các adaptive layer norms trong decoder. Conditioning là tính năng ở thời điểm huấn luyện (một embedding cho mỗi bandwidth); suy luận luôn sử dụng embedding 0. - decoder_attention_num_groups (
int, tùy chọn, mặc định là 32) — Số lượng nhóm của các lớp GroupNorm trong decoder. - norm_eps (
float, tùy chọn, mặc định là 1e-06) — Epsilon của các lớp chuẩn hóa trong bộ giải mã.
Đây là lớp cấu hình để lưu trữ cấu hình của một WavTokenizerModel. Nó được sử dụng để khởi tạo một mô hình Wavtokenizer theo các đối số được chỉ định, xác định kiến trúc của mô hình. Khởi tạo một cấu hình với các giá trị mặc định sẽ tạo ra một cấu hình tương tự như cấu hình của swiss-ai/wavtokenizer-large-unify-40token
Các đối tượng cấu hình kế thừa từ PreTrainedConfig và có thể được sử dụng để kiểm soát đầu ra của mô hình. Đọc tài liệu từ PreTrainedConfig để biết thêm thông tin.
Ví dụ:
>>> from transformers import WavTokenizerConfig, WavTokenizerModel
>>> # Initializing configuration
>>> configuration = WavTokenizerConfig()
>>> # Initializing a model (with random weights) from the configuration
>>> model = WavTokenizerModel(configuration)
>>> # Accessing the model configuration
>>> configuration = model.configWavTokenizerEncoderConfig
lớp transformers.WavTokenizerEncoderConfig
< source >( transformers_version: str | None = Nonearchitectures: list[str] | None = Noneoutput_hidden_states: bool | None = Falsereturn_dict: bool | None = Truedtype: str | torch.dtype | None = Nonechunk_size_feed_forward: int = 0is_encoder_decoder: bool = Falseid2label: dict[int, str] | dict[str, str] | None = Nonelabel2id: dict[str, int] | dict[str, str] | None = Noneproblem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = Nonesampling_rate: int = 24000audio_channels: int = 1num_filters: int = 32upsampling_ratios: list[int] | tuple[int, ...] = (6, 5, 5, 4)num_residual_layers: int = 1dilation_growth_rate: int = 2compress: int = 2use_conv_shortcut: bool = Trueuse_causal_conv: bool = Falsepad_mode: str = 'reflect'norm_type: str = 'weight_norm'kernel_size: int = 7last_kernel_size: int = 7residual_kernel_size: int = 3num_lstm_layers: int = 2hidden_size: int = 512codebook_size: int = 4096codebook_dim: int = 512decoder_hidden_size: int = 768decoder_intermediate_size: int = 2304decoder_num_layers: int = 12adanorm_num_embeddings: int = 4decoder_attention_num_groups: int = 32norm_eps: float = 1e-06 )
Cấu hình của WavTokenizerEncoderModel, bộ mã hóa và bộ lượng tử hóa của WavTokenizer. Nó chia sẻ mọi trường với WavTokenizerConfig (xem tài liệu của nó để biết các đối số), do đó có thể được nạp từ một checkpoint WavTokenizer đầy đủ. Các trường dành riêng cho bộ giải mã không được sử dụng bởi mô hình mã hóa.
WavTokenizerFeatureExtractor
lớp transformers.WavTokenizerFeatureExtractor
< source >( feature_size: int = 1sampling_rate: int = 24000padding_value: float = 0.0hop_length: int = 600normalize_audio: bool = Falsetarget_peak_dB_FS: float = -3.0**kwargs )
Tham số
- feature_size (
int, tuỳ chọn, mặc định là 1) — Kích thước chiều của các đặc trưng đã trích xuất. Chỉ hỗ trợ mono (1). - sampling_rate (
int, tùy chọn, mặc định là 24000) — Tần số lấy mẫu mà theo đó dạng sóng âm thanh cần được số hóa, được biểu diễn bằng hertz (Hz). - padding_value (
float, tùy chọn, mặc định là 0.0) — Giá trị được sử dụng để đệm. - hop_length (
int, tùy chọn, mặc định là 600) — Số lượng mẫu âm thanh được biểu diễn bởi một mã âm thanh duy nhất. - normalize_audio (
bool, tùy chọn, mặc định làFalse) — Có nên chuẩn hóa đỉnh (peak-normalize) mỗi đoạn âm thanh vềtarget_peak_dB_FStrước khi đệm (padding) hay không. WavTokenizer gốc không thực hiện chuẩn hóa; Apertus 1.5 bật tính năng này. - target_peak_dB_FS (
float, tùy chọn, mặc định là -3.0) — Mức đỉnh mục tiêu theo dB FS được sử dụng khinormalize_audiolàTrue.
Tạo bộ trích xuất đặc trưng WavTokenizer cho âm thanh đơn kênh ở tốc độ lấy mẫu đã cấu hình. Âm thanh không được lấy mẫu lại hoặc trộn xuống.
__call__
< source >( audio: typing.Union[numpy.ndarray, ForwardRef('torch.Tensor'), collections.abc.Sequence[numpy.ndarray], collections.abc.Sequence['torch.Tensor']]padding: bool | str | transformers.utils.generic.PaddingStrategy | None = Nonetruncation: bool | None = Falsemax_length: int | None = Nonereturn_tensors: str | transformers.utils.generic.TensorType | None = Nonesampling_rate: int | None = None ) → BatchFeature
Tham số
- audio (
np.ndarray,torch.Tensor,list[float],list[np.ndarray],list[torch.Tensor],list[list[float]]) — Chuỗi hoặc lô các chuỗi cần được xử lý. Mỗi chuỗi phải là âm thanh mono có hình dạng(num_samples,), đã được lấy mẫu ởsampling_ratecủa bộ trích xuất đặc trưng này. Âm thanh không được lấy mẫu lại hay trộn xuống. - padding (
bool,strhoặc PaddingStrategy, tuỳ chọn, mặc định làTrue) — Chiến lược đệm:Truehoặc'longest'sẽ đệm một batch đến độ dài của chuỗi dài nhất trong batch (các đầu vào đơn lẻ sẽ không được đệm),'max_length'sẽ đệm đếnmax_length,Falsehoặc'do_not_pad'sẽ tắt đệm. - truncation (
bool, tùy chọn, mặc định làFalse) — Có nên cắt ngắn các chuỗi dài hơnmax_lengthxuống cònmax_lengthhay không. - max_length (
int, tùy chọn) — Chiều dài mục tiêu cho việc đệm'max_length'và chotruncation. - return_tensors (
strhoặc TensorType, tuỳ chọn) — Nếu được đặt, sẽ trả về các tensor thay vì một danh sách các mảng numpy:'pt'cho PyTorchtorch.Tensor,'np'cho NumPynp.ndarray. - sampling_rate (
int, tùy chọn) — Tần số lấy mẫu của đầu vàoaudio; hãy truyền tham số này để một sự không khớp vớisampling_rateđã cấu hình sẽ gây ra lỗi thay vì thất bại một cách im lặng.
Trả về
Một BatchFeature với các trường sau:
- input_values — Dạng sóng âm thanh cần đưa vào mô hình, dưới dạng danh sách các mảng có hình dạng
(1, num_samples), hoặc một tensor có hình dạng(batch_size, 1, num_samples)khireturn_tensorsđược đặt. - padding_mask — Mặt nạ chỉ ra các mẫu âm thanh hợp lệ (1) so với phần đệm (0), có hình dạng
(batch_size, num_samples).
Biến đặc trưng và chuẩn bị một hoặc nhiều chuỗi âm thanh cho mô hình.
WavTokenizerEncoderModel
lớp transformers.WavTokenizerEncoderModel
< source >( config: WavTokenizerEncoderConfig )
Tham số
- config (WavTokenizerEncoderConfig) — Lớp cấu hình mô hình chứa tất cả các tham số của mô hình. Khởi tạo bằng tệp cấu hình không tải trọng số liên quan đến mô hình, chỉ tải cấu hình. Xem phương thức from_pretrained() để tải trọng số mô hình.
Bộ mã hóa và bộ lượng tử hóa của WavTokenizer để chuyển đổi dạng sóng âm thanh thành các mã rời rạc.
Mô hình này kế thừa từ PreTrainedModel. Xem tài liệu của lớp cha để biết các phương thức chung mà thư viện triển khai cho tất cả các mô hình của nó (chẳng hạn như tải xuống hoặc lưu trữ, thay đổi kích thước các nhúng đầu vào, cắt tỉa các đầu, v.v.)
Mô hình này cũng là một lớp con của torch.nn.Module trong PyTorch. Hãy sử dụng nó như một Module PyTorch thông thường và tham khảo tài liệu PyTorch cho mọi vấn đề liên quan đến cách sử dụng và hành vi chung.
encode
< source >( input_values: Tensorpadding_mask: typing.Optional[torch.Tensor] = None**kwargs ) → WavTokenizerEncoderOutput or tuple(torch.Tensor)
Tham số
- input_values (
torch.Tensorcó hình dạng(batch_size, 1, sequence_length)) — Biên độ sóng âm đầu vào. Hỗ trợ các độ dài khác không tùy ý; bộ mã hóa sẽ đệm bên trong và phát raceil(sequence_length / hop_length)mã. - padding_mask (
torch.Tensorcó hình dạng(batch_size, sequence_length)hoặc(batch_size, 1, sequence_length), tùy chọn) — Mặt nạ mô tả phần đệm tronginput_values; được dùng để tínhaudio_codes_mask.
Trả về
WavTokenizerEncoderOutput hoặc tuple(torch.Tensor)
Một WavTokenizerEncoderOutput hoặc một tuple của
torch.Tensor (nếu return_dict=False được truyền hoặc khi config.return_dict=False) bao gồm các
thành phần khác nhau tùy thuộc vào cấu hình (None) và đầu vào.
- audio_codes (
torch.LongTensorcó hình dạng(batch_size, 1, codes_length), tùy chọn) — Các chỉ mục mã rời rạc được tính toán bằngmodel.encode. Chúng đại diện cho dạng nén, lượng tử hóa của tín hiệu âm thanh đầu vào (một codebook,ceil(num_samples / hop_length)mã). - audio_codes_mask (
torch.Tensorcó hình dạng(batch_size, 1, codes_length), tùy chọn) —padding_maskđã giảm mẫu, chỉ ra các mã âm thanh hợp lệ trongaudio_codes.
forward
< source >( input_values: Tensorpadding_mask: typing.Optional[torch.Tensor] = None**kwargs ) → WavTokenizerEncoderOutput or tuple(torch.Tensor)
Tham số
- input_values (
torch.Tensorcó hình dạng(batch_size, 1, sequence_length)) — Đường sóng âm thanh đầu vào. - padding_mask (
torch.Tensorcó hình dạng(batch_size, sequence_length)hoặc(batch_size, 1, sequence_length), tùy chọn) — Mặt nạ đệm (padding mask) được sử dụng để tính toánaudio_codes_mask.
Trả về
WavTokenizerEncoderOutput hoặc tuple(torch.Tensor)
Một WavTokenizerEncoderOutput hoặc một tuple của
torch.Tensor (nếu return_dict=False được truyền hoặc khi config.return_dict=False) bao gồm các
thành phần khác nhau tùy thuộc vào cấu hình (WavTokenizerConfig) và đầu vào.
Phương thức forward của WavTokenizerEncoderModel ghi đè lên phương thức đặc biệt __call__.
Mặc dù công thức cho bước truyền tiến cần được định nghĩa bên trong hàm này, người dùng nên gọi instance của
Modulesau đó thay vì gọi hàm này, vì instanceModulesẽ đảm nhận việc thực hiện các bước tiền xử lý và hậu xử lý, trong khi hàm này sẽ lặng lẽ bỏ qua chúng.
- audio_codes (
torch.LongTensorcó hình dạng(batch_size, 1, codes_length), tùy chọn) — Các chỉ mục mã rời rạc được tính toán bằngmodel.encode. Chúng đại diện cho dạng nén, lượng tử hóa của tín hiệu âm thanh đầu vào (một codebook,ceil(num_samples / hop_length)mã). - audio_codes_mask (
torch.Tensorcó hình dạng(batch_size, 1, codes_length), tùy chọn) —padding_maskđã giảm mẫu, chỉ ra các mã âm thanh hợp lệ trongaudio_codes.
WavTokenizerModel
lớp transformers.WavTokenizerModel
< source >( config: WavTokenizerConfig )
Tham số
- config (WavTokenizerConfig) — Lớp cấu hình mô hình chứa tất cả các tham số của mô hình. Khởi tạo bằng tệp cấu hình không tải trọng số liên quan đến mô hình, chỉ tải cấu hình. Xem phương thức from_pretrained() để tải trọng số mô hình.
Bộ mã hóa âm thanh neural WavTokenizer chỉ dùng để suy luận, có một mã đơn.
Mô hình này kế thừa từ PreTrainedModel. Xem tài liệu của lớp cha để biết các phương thức chung mà thư viện triển khai cho tất cả các mô hình của nó (chẳng hạn như tải xuống hoặc lưu trữ, thay đổi kích thước các nhúng đầu vào, cắt tỉa các đầu, v.v.)
Mô hình này cũng là một lớp con của torch.nn.Module trong PyTorch. Hãy sử dụng nó như một Module PyTorch thông thường và tham khảo tài liệu PyTorch cho mọi vấn đề liên quan đến cách sử dụng và hành vi chung.
decode
< source >( audio_codes: Tensorbandwidth_id: int = 0**kwargs ) → WavTokenizerDecoderOutput or tuple(torch.Tensor)
Tham số
- audio_codes (
torch.LongTensorcó hình dạng(batch_size, 1, codes_length)) — Các chỉ mục mã rời rạc được tính toán bằngmodel.encode. Hỗ trợ một hoặc nhiều mã; mỗi mã giải mã thànhhop_lengthmẫu âm thanh. - bandwidth_id (
int, tùy chọn, mặc định là 0) — ID của embedding điều kiện cho các lớp adaptive layer norms của decoder. Luôn là 0 khi suy luận.
Trả về
WavTokenizerDecoderOutput hoặc tuple(torch.Tensor)
Một WavTokenizerDecoderOutput hoặc một tuple của
torch.Tensor (nếu return_dict=False được truyền hoặc khi config.return_dict=False) bao gồm các
thành phần khác nhau tùy thuộc vào cấu hình (None) và đầu vào.
- audio_values (
torch.Tensorcó hình dạng(batch_size, 1, sequence_length), tùy chọn) — Các giá trị dạng sóng âm thanh đã giải mã trong miền thời gian (codes_length * hop_lengthmẫu).
encode
< source >( input_values: Tensorpadding_mask: typing.Optional[torch.Tensor] = None**kwargs ) → WavTokenizerEncoderOutput or tuple(torch.Tensor)
Tham số
- input_values (
torch.Tensorcó hình dạng(batch_size, 1, sequence_length)) — Biên độ sóng âm đầu vào. Hỗ trợ các độ dài khác không tùy ý; bộ mã hóa sẽ đệm bên trong và phát raceil(sequence_length / hop_length)mã. - padding_mask (
torch.Tensorcó hình dạng(batch_size, sequence_length)hoặc(batch_size, 1, sequence_length), tùy chọn) — Mặt nạ mô tả phần đệm tronginput_values; được dùng để tínhaudio_codes_mask.
Trả về
WavTokenizerEncoderOutput hoặc tuple(torch.Tensor)
Một WavTokenizerEncoderOutput hoặc một tuple của
torch.Tensor (nếu return_dict=False được truyền hoặc khi config.return_dict=False) bao gồm các
thành phần khác nhau tùy thuộc vào cấu hình (None) và đầu vào.
- audio_codes (
torch.LongTensorcó hình dạng(batch_size, 1, codes_length), tùy chọn) — Các chỉ mục mã rời rạc được tính toán bằngmodel.encode. Chúng đại diện cho dạng nén, lượng tử hóa của tín hiệu âm thanh đầu vào (một codebook,ceil(num_samples / hop_length)mã). - audio_codes_mask (
torch.Tensorcó hình dạng(batch_size, 1, codes_length), tùy chọn) —padding_maskđã giảm mẫu, chỉ ra các mã âm thanh hợp lệ trongaudio_codes.
forward
< source >( input_values: Tensorpadding_mask: typing.Optional[torch.Tensor] = None**kwargs ) → WavTokenizerOutput or tuple(torch.Tensor)
Tham số
- input_values (
torch.Tensorcó hình dạng(batch_size, 1, sequence_length)) — Đường sóng âm thanh đầu vào. - padding_mask (
torch.Tensorcó hình dạng(batch_size, sequence_length)hoặc(batch_size, 1, sequence_length), tùy chọn) — Mặt nạ chỉ ra các mẫu âm thanh hợp lệ (1) so với phần đệm (0), được dùng để tính toánaudio_codes_mask.
Trả về
WavTokenizerOutput hoặc tuple(torch.Tensor)
Một WavTokenizerOutput hoặc một tuple của
torch.Tensor (nếu return_dict=False được truyền hoặc khi config.return_dict=False) bao gồm các
thành phần khác nhau tùy thuộc vào cấu hình (None) và đầu vào.
Phương thức forward của WavTokenizerModel ghi đè lên phương thức đặc biệt __call__.
Mặc dù công thức cho bước truyền tiến cần được định nghĩa bên trong hàm này, người dùng nên gọi instance của
Modulesau đó thay vì gọi hàm này, vì instanceModulesẽ đảm nhận việc thực hiện các bước tiền xử lý và hậu xử lý, trong khi hàm này sẽ lặng lẽ bỏ qua chúng.
- audio_values (
torch.Tensorcó hình dạng(batch_size, 1, sequence_length), tùy chọn) — Các giá trị dạng sóng âm thanh đã giải mã trong miền thời gian, được lấy bằng phần decoder của WavTokenizer. - audio_codes (
torch.LongTensorcó hình dạng(batch_size, 1, codes_length), tùy chọn) — Các chỉ mục mã rời rạc được tính toán bằngmodel.encode. - audio_codes_mask (
torch.Tensorcó hình dạng(batch_size, 1, codes_length), tùy chọn) —padding_maskđã giảm mẫu, chỉ ra các mã âm thanh hợp lệ trongaudio_codes.