# SpeechT5

## Tổng quan

Mô hình SpeechT5 được đề xuất trong [SpeechT5: Unified-Modal Encoder-Decoder Pre-Training for Spoken Language Processing](https://huggingface.co/papers/2110.07205) bởi Junyi Ao, Rui Wang, Long Zhou, Chengyi Wang, Shuo Ren, Yu Wu, Shujie Liu, Tom Ko, Qing Li, Yu Zhang, Zhihua Wei, Yao Qian, Jinyu Li, Furu Wei.

Tóm tắt từ bài báo như sau:

*Được thúc đẩy bởi thành công của T5 (Text-To-Text Transfer Transformer) trong các mô hình xử lý ngôn ngữ tự nhiên được huấn luyện trước, chúng tôi đề xuất khung SpeechT5 thống nhất đa phương thức, khám phá việc huấn luyện trước encoder-decoder cho việc học biểu diễn âm thanh/văn bản tự giám sát. Khung SpeechT5 bao gồm một mạng encoder-decoder dùng chung và sáu mạng pre/post đặc thù cho từng phương thức (âm thanh/văn bản). Sau khi tiền xử lý đầu vào âm thanh/văn bản thông qua các pre-nets, mạng encoder-decoder dùng chung mô hình hóa phép biến đổi từ chuỗi sang chuỗi, sau đó các post-nets tạo ra đầu ra ở phương thức âm thanh/văn bản dựa trên đầu ra của decoder. Tận dụng dữ liệu âm thanh và văn bản quy mô lớn không có nhãn, chúng tôi huấn luyện trước SpeechT5 để học một biểu diễn thống nhất đa phương thức, với kỳ vọng cải thiện khả năng mô hình hóa cho cả âm thanh và văn bản. Để căn chỉnh thông tin văn bản và âm thanh vào không gian ngữ nghĩa thống nhất này, chúng tôi đề xuất một phương pháp lượng tử hóa vector liên phương thức, trong đó trộn ngẫu nhiên các trạng thái âm thanh/văn bản với các đơn vị tiềm ẩn như giao diện giữa encoder và decoder. Các đánh giá rộng rãi cho thấy sự vượt trội của khung SpeechT5 được đề xuất trên nhiều nhiệm vụ xử lý ngôn ngữ nói khác nhau, bao gồm nhận dạng giọng nói tự động, tổng hợp giọng nói, dịch giọng nói, chuyển đổi giọng nói, tăng cường giọng nói và nhận dạng người nói.*

Mô hình này được đóng góp bởi [Matthijs](https://huggingface.co/Matthijs). Mã gốc có thể được tìm thấy [tại đây](https://github.com/microsoft/SpeechT5).

> [!TIP]
> Đặt `use_kernels=True` trong [from_pretrained()](/docs/transformers/v5.23.0/vi/main_classes/model#transformers.PreTrainedModel.from_pretrained) để thay thế các lớp được hỗ trợ bằng các kernel tối ưu từ Hub. Xem [Tải kernel](../kernel_doc/loading_kernels) để biết thêm.

## SpeechT5Config[[transformers.SpeechT5Config]]

#### transformers.SpeechT5Config[[transformers.SpeechT5Config]]

```python
transformers.SpeechT5Config(transformers_version: str | None = None, architectures: list[str] | None = None, output_hidden_states: bool | None = False, return_dict: bool | None = True, dtype: str | torch.dtype | None = None, chunk_size_feed_forward: int = 0, id2label: dict[int, str] | dict[str, str] | None = None, label2id: dict[str, int] | dict[str, str] | None = None, problem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = None, is_encoder_decoder: bool = True, vocab_size: int = 81, hidden_size: int = 768, encoder_layers: int = 12, encoder_attention_heads: int = 12, encoder_ffn_dim: int = 3072, encoder_layerdrop: float | int = 0.1, decoder_layers: int = 6, decoder_ffn_dim: int = 3072, decoder_attention_heads: int = 12, decoder_layerdrop: float | int = 0.1, hidden_act: str = 'gelu', positional_dropout: float | int = 0.1, hidden_dropout: float | int = 0.1, attention_dropout: float | int = 0.1, activation_dropout: float | int = 0.1, initializer_range: float = 0.02, layer_norm_eps: float = 1e-05, scale_embedding: bool = False, feat_extract_norm: str = 'group', feat_proj_dropout: float | int = 0.0, feat_extract_activation: str = 'gelu', conv_dim: list[int] | tuple[int, ...] = (512, 512, 512, 512, 512, 512, 512), conv_stride: list[int] | tuple[int, ...] = (5, 2, 2, 2, 2, 2, 2), conv_kernel: list[int] | tuple[int, ...] = (10, 3, 3, 3, 3, 2, 2), conv_bias: bool = False, num_conv_pos_embeddings: int = 128, num_conv_pos_embedding_groups: int = 16, apply_spec_augment: bool = True, mask_time_prob: float | int = 0.05, mask_time_length: int = 10, mask_time_min_masks: int = 2, mask_feature_prob: float | int = 0.0, mask_feature_length: int = 10, mask_feature_min_masks: int = 0, pad_token_id: int | None = 1, bos_token_id: int | None = 0, eos_token_id: int | list[int] | None = 2, decoder_start_token_id: int | None = 2, num_mel_bins: int = 80, speech_decoder_prenet_layers: int = 2, speech_decoder_prenet_units: int = 256, speech_decoder_prenet_dropout: float | int = 0.5, speaker_embedding_dim: int = 512, speech_decoder_postnet_layers: int = 5, speech_decoder_postnet_units: int = 256, speech_decoder_postnet_kernel: int = 5, speech_decoder_postnet_dropout: float | int = 0.5, reduction_factor: int = 2, max_speech_positions: int = 4000, max_text_positions: int = 450, encoder_max_relative_position: int = 160, use_guided_attention_loss: bool = True, guided_attention_loss_num_heads: int = 2, guided_attention_loss_sigma: float = 0.4, guided_attention_loss_scale: float = 10.0, use_cache: bool = True, tie_word_embeddings: bool = True)
```

[Nguồn](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/speecht5/configuration_speecht5.py#L27)

**Tham số:**

is_encoder_decoder (`bool`, *tùy chọn*, mặc định là `True`) : Xác định xem mô hình có được sử dụng như một bộ mã hóa/giải mã hay không.

vocab_size (`int`, *tùy chọn*, mặc định là `81`) : Kích thước từ vựng của mô hình. Xác định số lượng token khác nhau có thể được biểu diễn bởi `input_ids`.

hidden_size (`int`, *optional*, mặc định là `768`) : Kích thước của các biểu diễn ẩn.

encoder_layers (`int`, *tuỳ chọn*, mặc định là `12`) : Số lượng lớp ẩn trong bộ mã hóa Transformer. Sẽ sử dụng cùng giá trị với `num_layers` nếu không được đặt.

encoder_attention_heads (`int`, *tuỳ chọn*, mặc định là `12`) : Số lượng đầu chú ý cho mỗi lớp chú ý trong bộ mã hóa Transformer.

encoder_ffn_dim (`int`, *optional*, mặc định là `3072`) : Độ lớn chiều của lớp "intermediate" (thường được gọi là feed-forward) trong encoder.

encoder_layerdrop (`Union[float, int]`, *tùy chọn*, mặc định là `0.1`) : Xác suất LayerDrop cho bộ mã hóa. Xem [bài báo LayerDrop](see https://huggingface.co/papers/1909.11556) để biết thêm chi tiết.

decoder_layers (`int`, *tuỳ chọn*, mặc định là `6`) : Số lượng lớp ẩn trong bộ giải mã Transformer. Nếu không được đặt, giá trị này sẽ giống với `num_layers`.

decoder_ffn_dim (`int`, *tuỳ chọn*, mặc định là `3072`) : Độ lớn chiều của lớp "trung gian" (thường được gọi là lớp feed-forward) trong bộ giải mã.

decoder_attention_heads (`int`, *tùy chọn*, mặc định là `12`) : Số lượng đầu chú ý cho mỗi lớp chú ý trong bộ giải mã Transformer.

decoder_layerdrop (`Union[float, int]`, *tùy chọn*, mặc định là `0.1`) : Xác suất LayerDrop cho bộ giải mã. Xem [bài báo LayerDrop](see https://huggingface.co/papers/1909.11556) để biết thêm chi tiết.

hidden_act (`str`, *tùy chọn*, mặc định là `gelu`) : Hàm kích hoạt phi tuyến (hàm hoặc chuỗi) trong bộ giải mã. Ví dụ, `"gelu"`, `"relu"`, `"silu"`, v.v.

positional_dropout (`float`, *tuỳ chọn*, mặc định là 0.1) : Xác suất dropout cho các lớp mã hóa vị trí văn bản.

hidden_dropout (`Union[float, int]`, *tùy chọn*, mặc định là `0.1`) : Xác suất dropout cho tất cả các lớp fully connected trong embeddings, encoder và pooler.

attention_dropout (`Union[float, int]`, *tùy chọn*, mặc định là `0.1`) : Tỷ lệ dropout cho các xác suất chú ý.

activation_dropout (`Union[float, int]`, *tùy chọn*, mặc định là `0.1`) : Tỷ lệ dropout cho các kích hoạt bên trong lớp liên kết đầy đủ.

initializer_range (`float`, *optional*, mặc định là `0.02`) : Độ lệch chuẩn của truncated_normal_initializer để khởi tạo tất cả các ma trận trọng số.

layer_norm_eps (`float`, *tuỳ chọn*, mặc định là `1e-05`) : Epsilon được sử dụng bởi các lớp chuẩn hóa lớp (layer normalization).

scale_embedding (`bool`, *tùy chọn*, mặc định là `False`) : Có nên chia embeddings cho sqrt(d_model) để chuẩn hóa hay không.

feat_extract_norm (`str`, *optional*, mặc định là `"group"`) : Chuẩn (norm) được áp dụng cho các lớp tích chập 1D trong pre-net của bộ mã hóa giọng nói. Một trong số `"group"` cho chuẩn hóa nhóm (group normalization) chỉ trên lớp tích chập 1D đầu tiên hoặc `"layer"` cho chuẩn hóa lớp (layer normalization) trên tất cả các lớp tích chập 1D.

feat_proj_dropout (`float`, *optional*, mặc định là 0.0) : Xác suất dropout cho đầu ra của pre-net trong bộ mã hóa giọng nói.

feat_extract_activation (`str, `optional`, defaults to `"gelu"`) : The non-linear activation function (function or string) in the 1D convolutional layers of the feature extractor. If string, `"gelu"`, `"relu"`, `"selu"` and `"gelu_new"` are supported.

conv_dim (`tuple[int]` hoặc `list[int]`, *tùy chọn*, mặc định là `(512, 512, 512, 512, 512, 512, 512)`) : Một tuple các số nguyên xác định số kênh đầu vào và đầu ra của mỗi lớp tích chập 1D trong pre-net của bộ mã hóa giọng nói. Độ dài của *conv_dim* xác định số lượng lớp tích chập 1D.

conv_stride (`tuple[int]` hoặc `list[int]`, *tùy chọn*, mặc định là `(5, 2, 2, 2, 2, 2, 2)`) : Một tuple các số nguyên xác định bước nhảy (stride) của mỗi lớp tích chập 1D trong pre-net của bộ mã hóa giọng nói. Độ dài của *conv_stride* xác định số lượng lớp tích chập và phải khớp với độ dài của *conv_dim*.

conv_kernel (`tuple[int]` hoặc `list[int]`, *tùy chọn*, mặc định là `(10, 3, 3, 3, 3, 3, 3)`) : Một tuple các số nguyên xác định kích thước kernel của mỗi lớp tích chập 1D trong pre-net của bộ mã hóa giọng nói. Độ dài của *conv_kernel* xác định số lượng lớp tích chập và phải khớp với độ dài của *conv_dim*.

conv_bias (`bool`, *tùy chọn*, mặc định là `False`) : Xác định xem các lớp tích chập 1D có bias hay không.

num_conv_pos_embeddings (`int`, *optional*, mặc định là 128) : Số lượng nhúng vị trí tích chập. Xác định kích thước nhân của lớp nhúng vị trí tích chập 1D.

num_conv_pos_embedding_groups (`int`, *tuỳ chọn*, mặc định là 16) : Số nhóm của lớp nhúng vị trí tích chập 1 chiều.

apply_spec_augment (`bool`, *tùy chọn*, mặc định là `True`) : Có áp dụng tăng cường dữ liệu *SpecAugment* cho đầu ra của pre-net trong bộ mã hóa giọng nói hay không. Để tham khảo, xem [SpecAugment: A Simple Data Augmentation Method for Automatic Speech Recognition](https://huggingface.co/papers/1904.08779).

mask_time_prob (`float`, *optional*, mặc định là 0.05) : Phần trăm (từ 0 đến 1) của tất cả các vector đặc trưng dọc theo trục thời gian sẽ bị che. Quy trình che tạo ra ''mask_time_prob*len(time_axis)/mask_time_length'' các mặt nạ độc lập trên trục. Nếu suy luận từ xác suất của mỗi vector đặc trưng được chọn làm điểm bắt đầu của khoảng vector sẽ bị che, *mask_time_prob* nên là `prob_vector_start*mask_time_length`. Lưu ý rằng sự chồng lấn có thể làm giảm phần trăm thực tế của các vector bị che. Điều này chỉ liên quan nếu `apply_spec_augment is True`.

mask_time_length (`int`, *tuỳ chọn*, mặc định là 10) : Độ dài của vector span dọc theo trục thời gian.

mask_time_min_masks (`int`, *optional*, mặc định là 2), : Số lượng tối thiểu các mask có độ dài `mask_feature_length` được tạo dọc theo trục thời gian, tại mỗi bước thời gian, bất kể `mask_feature_prob`. Chỉ có liên quan nếu ''mask_time_prob*len(time_axis)/mask_time_length < mask_time_min_masks''

mask_feature_prob (`float`, *optional*, mặc định là 0.0) : Phần trăm (từ 0 đến 1) của tất cả các vector đặc trưng dọc theo trục đặc trưng sẽ bị che. Quy trình che tạo ra ''mask_feature_prob*len(feature_axis)/mask_time_length'' các mặt nạ độc lập trên trục. Nếu suy luận từ xác suất của mỗi vector đặc trưng được chọn làm điểm bắt đầu của khoảng vector cần che, *mask_feature_prob* nên là `prob_vector_start*mask_feature_length`. Lưu ý rằng sự chồng lấn có thể làm giảm phần trăm thực tế của các vector bị che. Điều này chỉ liên quan nếu `apply_spec_augment is True`.

mask_feature_prob (`Union[float, int]`, *tùy chọn*, mặc định là `0.0`) : Phần trăm (từ 0 đến 1) của tất cả các vector đặc trưng dọc theo trục đặc trưng sẽ bị che. Quy trình che tạo ra `mask_feature_prob*len(feature_axis)/mask_time_length` các mặt nạ độc lập trên trục. Nếu suy luận từ xác suất của mỗi vector đặc trưng được chọn làm điểm bắt đầu của khoảng vector cần che, *mask_feature_prob* nên là `prob_vector_start*mask_feature_length`. Lưu ý rằng sự chồng lấn có thể làm giảm phần trăm thực tế của các vector bị che. Điều này chỉ liên quan nếu `apply_spec_augment` là `True`.

mask_feature_length (`int`, *tuỳ chọn*, mặc định là 10) : Độ dài của vector span dọc theo trục đặc trưng.

mask_feature_min_masks (`int`, *optional*, mặc định là 0), : Số lượng tối thiểu các mặt nạ có độ dài `mask_feature_length` được tạo ra dọc theo trục đặc trưng, ở mỗi bước thời gian, bất kể giá trị của `mask_feature_prob`. Chỉ có ý nghĩa nếu ''mask_feature_prob*len(feature_axis)/mask_feature_length < mask_feature_min_masks''

num_mel_bins (`int`, *tuỳ chọn*, mặc định là 80) : Số lượng đặc trưng mel được sử dụng cho mỗi đặc trưng đầu vào. Được sử dụng bởi pre-net của bộ giải mã giọng nói. Phải tương ứng với giá trị được sử dụng trong lớp [SpeechT5Processor](/docs/transformers/v5.23.0/vi/model_doc/speecht5#transformers.SpeechT5Processor).

pad_token_id (`int`, *tuỳ chọn*, mặc định là `1`) : Id của token được sử dụng để đệm (padding) trong từ vựng.

bos_token_id (`int`, *tuỳ chọn*, mặc định là `0`) : Id của token được dùng cho đầu luồng (beginning-of-stream) trong từ vựng.

eos_token_id (`Union[int, list[int]]`, *tùy chọn*, mặc định là `2`) : Id của token được sử dụng cho end-of-stream trong bảng từ vựng.

decoder_start_token_id (`int`, *optional*, mặc định là `2`) : Nếu một mô hình encoder-decoder bắt đầu giải mã bằng một token khác với `bos`, đây là id của token đó.

num_mel_bins (`int`, *tuỳ chọn*, mặc định là `80`) : Số lượng đặc trưng mel được sử dụng cho mỗi khung đầu vào. Cần khớp với giá trị được sử dụng trong lớp `AutoFeatureExtractor`.

speech_decoder_prenet_layers (`int`, *tuỳ chọn*, mặc định là 2) : Số lượng lớp trong pre-net của bộ giải mã giọng nói.

speech_decoder_prenet_units (`int`, *tuỳ chọn*, mặc định là 256) : Độ chiều của các lớp trong pre-net của bộ giải mã giọng nói.

speech_decoder_prenet_dropout (`float`, *optional*, mặc định là 0.5) : Xác suất dropout cho các lớp pre-net của bộ giải mã giọng nói.

speaker_embedding_dim (`int`, *tuỳ chọn*, mặc định là 512) : Độ chiều của các vector nhúng *XVector*.

speech_decoder_postnet_layers (`int`, *tuỳ chọn*, mặc định là 5) : Số lượng lớp trong post-net của bộ giải mã giọng nói.

speech_decoder_postnet_units (`int`, *tuỳ chọn*, mặc định là 256) : Độ chiều của các lớp trong post-net của bộ giải mã giọng nói.

speech_decoder_postnet_kernel (`int`, *tuỳ chọn*, mặc định là 5) : Số kênh bộ lọc tích chập trong post-net của bộ giải mã giọng nói.

speech_decoder_postnet_dropout (`float`, *optional*, mặc định là 0.5) : Xác suất dropout cho các lớp post-net của bộ giải mã giọng nói.

reduction_factor (`int`, *tuỳ chọn*, mặc định là 2) : Hệ số giảm chiều dài spectrogram cho đầu vào của bộ giải mã giọng nói.

max_speech_positions (`int`, *tuỳ chọn*, mặc định là 4000) : Độ dài tối đa của chuỗi đặc trưng giọng nói mà mô hình này có thể được sử dụng.

max_text_positions (`int`, *tuỳ chọn*, mặc định là 450) : Độ dài tối đa của chuỗi cho các đặc trưng văn bản mà mô hình này có thể được sử dụng.

encoder_max_relative_position (`int`, *tuỳ chọn*, mặc định là 160) : Khoảng cách tối đa cho nhúng vị trí tương đối trong bộ mã hóa.

use_guided_attention_loss (`bool`, *tùy chọn*, mặc định là `True`) : Có áp dụng tổn thất chú ý có hướng (guided attention loss) khi huấn luyện mô hình TTS hay không.

guided_attention_loss_num_heads (`int`, *optional*, mặc định là 2) : Số lượng đầu chú ý mà tổn thất chú ý có hướng dẫn sẽ được áp dụng. Sử dụng -1 để áp dụng tổn thất này cho tất cả các đầu chú ý.

guided_attention_loss_sigma (`float`, *tuỳ chọn*, mặc định là 0.4) : Độ lệch chuẩn cho tổn thất chú ý có hướng dẫn.

guided_attention_loss_scale (`float`, *tuỳ chọn*, mặc định là 10.0) : Hệ số tỷ lệ cho tổn thất chú ý có hướng dẫn (còn được gọi là lambda).

use_cache (`bool`, *tùy chọn*, mặc định là `True`) : Xác định xem mô hình có nên trả về các chú ý key/values cuối cùng hay không (không được sử dụng bởi tất cả các mô hình). Chỉ liên quan nếu `config.is_decoder=True` hoặc khi mô hình là mô hình sinh chỉ có decoder.

tie_word_embeddings (`bool`, *tùy chọn*, mặc định là `True`) : Có nên gắn kết các nhúng trọng số theo ánh xạ `tied_weights_keys` của mô hình hay không.

Đây là lớp cấu hình để lưu trữ cấu hình của một SpeechT5Model. Nó được sử dụng để khởi tạo một mô hình Speecht5 theo các đối số được chỉ định, xác định kiến trúc của mô hình. Khởi tạo một cấu hình với các giá trị mặc định sẽ tạo ra một cấu hình tương tự như cấu hình của [microsoft/speecht5_asr](https://huggingface.co/microsoft/speecht5_asr)

Các đối tượng cấu hình kế thừa từ [PreTrainedConfig](/docs/transformers/v5.23.0/vi/main_classes/configuration#transformers.PreTrainedConfig) và có thể được sử dụng để kiểm soát đầu ra của mô hình. Đọc tài liệu từ [PreTrainedConfig](/docs/transformers/v5.23.0/vi/main_classes/configuration#transformers.PreTrainedConfig) để biết thêm thông tin.

Ví dụ:

```python
>>> from transformers import SpeechT5Model, SpeechT5Config

>>> # Initializing a "microsoft/speecht5_asr" style configuration
>>> configuration = SpeechT5Config()

>>> # Initializing a model (with random weights) from the "microsoft/speecht5_asr" style configuration
>>> model = SpeechT5Model(configuration)

>>> # Accessing the model configuration
>>> configuration = model.config
```

## SpeechT5HifiGanConfig[[transformers.SpeechT5HifiGanConfig]]

#### transformers.SpeechT5HifiGanConfig[[transformers.SpeechT5HifiGanConfig]]

```python
transformers.SpeechT5HifiGanConfig(transformers_version: str | None = None, architectures: list[str] | None = None, output_hidden_states: bool | None = False, return_dict: bool | None = True, dtype: str | torch.dtype | None = None, chunk_size_feed_forward: int = 0, is_encoder_decoder: bool = False, id2label: dict[int, str] | dict[str, str] | None = None, label2id: dict[str, int] | dict[str, str] | None = None, problem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = None, model_in_dim: int = 80, sampling_rate: int = 16000, upsample_initial_channel: int = 512, upsample_rates: list[int] | tuple[int, ...] = (4, 4, 4, 4), upsample_kernel_sizes: list[int] | tuple[int, ...] = (8, 8, 8, 8), resblock_kernel_sizes: list[int] | tuple[int, ...] = (3, 7, 11), resblock_dilation_sizes: list | tuple = ((1, 3, 5), (1, 3, 5), (1, 3, 5)), initializer_range: float = 0.01, leaky_relu_slope: float = 0.1, normalize_before: bool = True)
```

[Nguồn](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/speecht5/configuration_speecht5.py#L225)

**Tham số:**

model_in_dim (`int`, *tuỳ chọn*, mặc định là 80) : Số lượng bin tần số trong phổ log-mel đầu vào.

sampling_rate (`int`, *optional*, mặc định là `16000`) : Tốc độ lấy mẫu (sampling rate) mà các tệp âm thanh nên được số hóa, được biểu diễn bằng hertz (Hz).

upsample_initial_channel (`int`, *tuỳ chọn*, mặc định là 512) : Số lượng kênh đầu vào của mạng upsampling.

upsample_rates (`tuple[int]` hoặc `list[int]`, *tùy chọn*, mặc định là `[4, 4, 4, 4]`) : Một tuple các số nguyên xác định bước nhảy (stride) của mỗi lớp tích chập 1D trong mạng upsampling. Độ dài của *upsample_rates* xác định số lượng lớp tích chập và phải khớp với độ dài của *upsample_kernel_sizes*.

upsample_kernel_sizes (`tuple[int]` hoặc `list[int]`, *tùy chọn*, mặc định là `[8, 8, 8, 8]`) : Một tuple các số nguyên xác định kích thước kernel của từng lớp tích chập 1D trong mạng upsampling. Độ dài của *upsample_kernel_sizes* xác định số lượng lớp tích chập và phải khớp với độ dài của *upsample_rates*.

resblock_kernel_sizes (`tuple[int]` hoặc `list[int]`, *tuỳ chọn*, mặc định là `[3, 7, 11]`) : Một tuple các số nguyên xác định kích thước kernel của các lớp tích chập 1D trong module multi-receptive field fusion (MRF).

resblock_dilation_sizes (`tuple[tuple[int]]` hoặc `list[list[int]]`, *tùy chọn*, mặc định là `[[1, 3, 5], [1, 3, 5], [1, 3, 5]]`) : Một tuple lồng nhau của các số nguyên xác định các tỷ lệ giãn nở của các lớp tích chập 1D giãn nở trong module kết hợp trường nhận cảm đa (MRF).

initializer_range (`float`, *optional*, mặc định là `0.01`) : Độ lệch chuẩn của truncated_normal_initializer để khởi tạo tất cả các ma trận trọng số.

leaky_relu_slope (`float`, *optional*, mặc định là 0.1) : Góc của độ dốc âm được sử dụng bởi hàm kích hoạt leaky ReLU.

normalize_before (`bool`, *tuỳ chọn*, mặc định là `True`) : Có chuẩn hóa phổ âm (spectrogram) trước khi thực hiện vocoding bằng cách sử dụng trung bình và phương sai đã học của vocoder hay không.

Đây là lớp cấu hình để lưu trữ cấu hình của một SpeechT5Model. Nó được sử dụng để khởi tạo một mô hình Speecht5 theo các đối số được chỉ định, xác định kiến trúc của mô hình. Khởi tạo một cấu hình với các giá trị mặc định sẽ tạo ra một cấu hình tương tự như cấu hình của [microsoft/speecht5_asr](https://huggingface.co/microsoft/speecht5_asr)

Các đối tượng cấu hình kế thừa từ [PreTrainedConfig](/docs/transformers/v5.23.0/vi/main_classes/configuration#transformers.PreTrainedConfig) và có thể được sử dụng để kiểm soát đầu ra của mô hình. Đọc tài liệu từ [PreTrainedConfig](/docs/transformers/v5.23.0/vi/main_classes/configuration#transformers.PreTrainedConfig) để biết thêm thông tin.

Ví dụ:

```python
>>> from transformers import SpeechT5HifiGan, SpeechT5HifiGanConfig

>>> # Initializing a "microsoft/speecht5_hifigan" style configuration
>>> configuration = SpeechT5HifiGanConfig()

>>> # Initializing a model (with random weights) from the "microsoft/speecht5_hifigan" style configuration
>>> model = SpeechT5HifiGan(configuration)

>>> # Accessing the model configuration
>>> configuration = model.config
```

## SpeechT5Tokenizer[[transformers.SpeechT5Tokenizer]]

#### transformers.SpeechT5Tokenizer[[transformers.SpeechT5Tokenizer]]

```python
transformers.SpeechT5Tokenizer(vocab_file, bos_token = '<s>', eos_token = '</s>', unk_token = '<unk>', pad_token = '<pad>', normalize = False, sp_model_kwargs: dict[str, typing.Any] | None = None, **kwargs)
```

[Nguồn](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/speecht5/tokenization_speecht5.py#L30)

**Tham số:**

vocab_file (`str`) : tệp [SentencePiece](https://github.com/google/sentencepiece) (thường có phần mở rộng *.spm*) chứa từ vựng cần thiết để khởi tạo một tokenizer.

bos_token (`str`, *tùy chọn*, mặc định là `"<s>"`) : Token bắt đầu chuỗi.

eos_token (`str`, *tùy chọn*, mặc định là `"</s>"`) : Token kết thúc chuỗi.

unk_token (`str`, *tùy chọn*, mặc định là `"<unk>"`) : Token không xác định. Một token không có trong từ vựng sẽ không thể được chuyển đổi thành ID và sẽ được gán thành token này thay thế.

pad_token (`str`, *tùy chọn*, mặc định là `"<pad>"`) : Token được sử dụng để đệm, chẳng hạn khi xử lý các lô (batch) các chuỗi có độ dài khác nhau.

normalize (`bool`, *tùy chọn*, mặc định là `False`) : Có chuyển đổi các đại lượng số trong văn bản sang dạng viết bằng chữ tiếng Anh hay không.

sp_model_kwargs (`dict`, *tùy chọn*) : Sẽ được truyền vào phương thức `SentencePieceProcessor.__init__()`. [Python wrapper for SentencePiece](https://github.com/google/sentencepiece/tree/master/python) có thể được sử dụng, trong số nhiều mục đích khác, để thiết lập:  - `enable_sampling`: Bật chuẩn hóa subword. - `nbest_size`: Tham số lấy mẫu cho unigram. Không hợp lệ cho BPE-Dropout.  - `nbest_size = {0,1}`: Không thực hiện lấy mẫu. - `nbest_size > 1`: lấy mẫu từ các kết quả nbest_size. - `nbest_size < 0`: giả định rằng nbest_size là vô hạn và lấy mẫu từ tất cả các giả thuyết (lattice) bằng thuật toán forward-filtering-and-backward-sampling.  - `alpha`: Tham số làm mượt cho việc lấy mẫu unigram, và xác suất dropout của các thao tác merge cho BPE-dropout.

sp_model (`SentencePieceProcessor`) : Bộ xử lý *SentencePiece* được sử dụng cho mọi phép chuyển đổi (chuỗi, token và ID).

Tạo một tokenizer SpeechT5. Dựa trên [SentencePiece](https://github.com/google/sentencepiece).

Tokenizer này kế thừa từ [PreTrainedTokenizer](/docs/transformers/v5.23.0/vi/main_classes/tokenizer#transformers.PythonBackend), lớp chứa hầu hết các phương thức chính. Người dùng nên tham khảo siêu lớp này để biết thêm thông tin về các phương thức đó.

#### __call__[[transformers.SpeechT5Tokenizer.__call__]]

```python
__call__(text: TextInput | PreTokenizedInput | list[TextInput] | list[PreTokenizedInput] | None = None, text_pair: TextInput | PreTokenizedInput | list[TextInput] | list[PreTokenizedInput] | None = None, text_target: TextInput | PreTokenizedInput | list[TextInput] | list[PreTokenizedInput] | None = None, text_pair_target: TextInput | PreTokenizedInput | list[TextInput] | list[PreTokenizedInput] | None = None, add_special_tokens: bool = True, padding: bool | str | PaddingStrategy = False, truncation: bool | str | TruncationStrategy | None = None, max_length: int | None = None, stride: int = 0, is_split_into_words: bool = False, pad_to_multiple_of: int | None = None, padding_side: str | None = None, return_tensors: str | TensorType | None = None, return_token_type_ids: bool | None = None, return_attention_mask: bool | None = None, return_overflowing_tokens: bool = False, return_special_tokens_mask: bool = False, return_offsets_mapping: bool = False, return_length: bool = False, verbose: bool = True, tokenizer_kwargs: dict[str, Any] | None = None, **kwargs)
```

[Nguồn](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/tokenization_utils_base.py#L2448)

**Tham số:**

text (`str`, `list[str]`, `list[list[str]]`, *tuỳ chọn*) : Chuỗi hoặc lô các chuỗi cần được mã hóa. Mỗi chuỗi có thể là một chuỗi ký tự hoặc một danh sách các chuỗi ký tự (chuỗi đã được tách token trước). Nếu các chuỗi được cung cấp dưới dạng danh sách các chuỗi ký tự (đã tách token trước), bạn phải đặt `is_split_into_words=True` (để loại bỏ sự mơ hồ với một lô các chuỗi).

text_pair (`str`, `list[str]`, `list[list[str]]`, *tuỳ chọn*) : Chuỗi hoặc lô các chuỗi cần được mã hóa. Mỗi chuỗi có thể là một chuỗi ký tự hoặc một danh sách các chuỗi ký tự (chuỗi đã được tách token trước). Nếu các chuỗi được cung cấp dưới dạng danh sách các chuỗi ký tự (đã tách token trước), bạn phải đặt `is_split_into_words=True` (để loại bỏ sự mơ hồ với một lô các chuỗi).

text_target (`str`, `list[str]`, `list[list[str]]`, *tuỳ chọn*) : Chuỗi hoặc lô các chuỗi cần được mã hóa dưới dạng văn bản đích. Mỗi chuỗi có thể là một chuỗi ký tự hoặc một danh sách các chuỗi ký tự (chuỗi đã được tách token trước). Nếu các chuỗi được cung cấp dưới dạng danh sách các chuỗi ký tự (đã tách token trước), bạn phải đặt `is_split_into_words=True` (để loại bỏ sự mơ hồ với một lô các chuỗi).

text_pair_target (`str`, `list[str]`, `list[list[str]]`, *tuỳ chọn*) : Chuỗi hoặc lô các chuỗi cần được mã hóa dưới dạng văn bản đích. Mỗi chuỗi có thể là một chuỗi ký tự hoặc một danh sách các chuỗi ký tự (chuỗi đã được tách token trước). Nếu các chuỗi được cung cấp dưới dạng danh sách các chuỗi ký tự (đã tách token trước), bạn phải đặt `is_split_into_words=True` (để loại bỏ sự mơ hồ với một lô các chuỗi).

tokenizer_kwargs (`dict[str, Any]`, *tùy chọn*) : Các kwargs bổ sung để truyền cho tokenizer. Chúng sẽ được gộp với các tham số tường minh và các kwargs khác, trong đó các tham số tường minh có độ ưu tiên cao hơn.

add_special_tokens (`bool`, *tùy chọn*, mặc định là `True`) : Có thêm các token đặc biệt khi mã hóa các chuỗi hay không. Điều này sẽ sử dụng hàm `PretrainedTokenizerBase.build_inputs_with_special_tokens` bên dưới, hàm này xác định các token nào được thêm tự động vào các id đầu vào. Điều này hữu ích nếu bạn muốn tự động thêm các token `bos` hoặc `eos`.

padding (`bool`, `str` hoặc [PaddingStrategy](/docs/transformers/v5.23.0/vi/internal/file_utils#transformers.utils.PaddingStrategy), *tuỳ chọn*, mặc định là `False`) : Kích hoạt và kiểm soát việc đệm. Chấp nhận các giá trị sau:  - `True` hoặc `'longest'`: Đệm đến độ dài của chuỗi dài nhất trong lô (hoặc không đệm nếu chỉ cung cấp một chuỗi duy nhất). - `'max_length'`: Đệm đến độ dài tối đa được chỉ định bằng tham số `max_length` hoặc đến độ dài đầu vào tối đa mà mô hình chấp nhận được nếu tham số đó không được cung cấp. - `False` hoặc `'do_not_pad'` (mặc định): Không đệm (tức là có thể xuất ra một lô với các chuỗi có độ dài khác nhau).

truncation (`bool`, `str` hoặc [TruncationStrategy](/docs/transformers/v5.23.0/vi/internal/tokenization_utils#transformers.tokenization_utils_base.TruncationStrategy), *optional*, mặc định là `False`) : Kích hoạt và kiểm soát việc cắt ngắn. Chấp nhận các giá trị sau:  - `True` hoặc `'longest_first'`: Cắt ngắn đến độ dài tối đa được chỉ định bằng tham số `max_length` hoặc đến độ dài đầu vào tối đa mà mô hình chấp nhận được nếu tham số đó không được cung cấp. Thao tác này sẽ cắt ngắn theo từng token, loại bỏ một token từ chuỗi dài nhất trong cặp nếu một cặp chuỗi (hoặc một batch các cặp) được cung cấp. - `'only_first'`: Cắt ngắn đến độ dài tối đa được chỉ định bằng tham số `max_length` hoặc đến độ dài đầu vào tối đa mà mô hình chấp nhận được nếu tham số đó không được cung cấp. Thao tác này chỉ cắt ngắn chuỗi đầu tiên của một cặp nếu một cặp chuỗi (hoặc một batch các cặp) được cung cấp. - `'only_second'`: Cắt ngắn đến độ dài tối đa được chỉ định bằng tham số `max_length` hoặc đến độ dài đầu vào tối đa mà mô hình chấp nhận được nếu tham số đó không được cung cấp. Thao tác này chỉ cắt ngắn chuỗi thứ hai của một cặp nếu một cặp chuỗi (hoặc một batch các cặp) được cung cấp. - `False` hoặc `'do_not_truncate'` (mặc định): Không cắt ngắn (tức là có thể xuất ra batch với độ dài chuỗi lớn hơn kích thước đầu vào tối đa được phép của mô hình).

max_length (`int`, *optional*) : Kiểm soát độ dài tối đa được sử dụng bởi một trong các tham số cắt/giữ chỗ. Nếu không được đặt hoặc được đặt thành `None`, tham số này sẽ sử dụng độ dài tối đa định trước của mô hình nếu một trong các tham số cắt/giữ chỗ yêu cầu độ dài tối đa. Nếu mô hình không có độ dài đầu vào tối đa cụ thể (như XLNet), việc cắt/giữ chỗ đến độ dài tối đa sẽ bị vô hiệu hóa.

stride (`int`, *optional*, mặc định là 0) : Nếu được đặt thành một số cùng với `max_length`, các token tràn được trả về khi `return_overflowing_tokens=True` sẽ chứa một số token từ cuối của chuỗi bị cắt ngắn được trả về để tạo ra một phần chồng lấn giữa các chuỗi bị cắt ngắn và các chuỗi tràn. Giá trị của đối số này xác định số lượng token chồng lấn.

is_split_into_words (`bool`, *tùy chọn*, mặc định là `False`) : Xác định xem đầu vào đã được tiền xử lý token hay chưa (ví dụ: đã được tách thành các từ). Nếu đặt thành `True`, bộ phân từ sẽ giả định rằng đầu vào đã được tách thành các từ (chẳng hạn, bằng cách tách theo khoảng trắng) và sẽ tiến hành phân từ chúng. Điều này hữu ích cho NER hoặc phân loại token.

pad_to_multiple_of (`int`, *optional*) : Nếu được đặt, sẽ đệm (pad) chuỗi đến một bội số của giá trị được cung cấp. Yêu cầu `padding` phải được kích hoạt. Điều này đặc biệt hữu ích để cho phép sử dụng Tensor Cores trên phần cứng NVIDIA có khả năng tính toán `>= 7.5` (Volta).

padding_side (`str`, *tùy chọn*) : Bên mà mô hình cần được áp dụng padding. Nên chọn trong ['right', 'left']. Giá trị mặc định được lấy từ thuộc tính lớp có cùng tên.

return_tensors (`str` hoặc [TensorType](/docs/transformers/v5.23.0/vi/internal/file_utils#transformers.TensorType), *optional*) : Nếu được đặt, sẽ trả về các tensor thay vì danh sách các số nguyên python. Các giá trị chấp nhận được là:  - `'pt'`: Trả về các đối tượng `torch.Tensor` của PyTorch. - `'np'`: Trả về các đối tượng `np.ndarray` của Numpy.

return_token_type_ids (`bool`, *tuỳ chọn*) : Có trả về các ID loại token hay không. Nếu để mặc định, sẽ trả về các ID loại token theo mặc định của bộ phân tích token cụ thể, được định nghĩa bởi thuộc tính `return_outputs`.  [ID loại token là gì?](../glossary#token-type-ids)

return_attention_mask (`bool`, *tuỳ chọn*) : Có trả về attention mask hay không. Nếu để mặc định, sẽ trả về attention mask theo mặc định của tokenizer cụ thể, được định nghĩa bởi thuộc tính `return_outputs`.  [Attention mask là gì?](../glossary#attention-mask)

return_overflowing_tokens (`bool`, *tùy chọn*, mặc định là `False`) : Có trả về các chuỗi token bị tràn hay không. Nếu một cặp chuỗi id đầu vào (hoặc một lô các cặp) được cung cấp với `truncation_strategy = longest_first` hoặc `True`, một lỗi sẽ được ném thay vì trả về các token bị tràn.

return_special_tokens_mask (`bool`, *tùy chọn*, mặc định là `False`) : Có trả về thông tin mặt nạ token đặc biệt hay không.

return_offsets_mapping (`bool`, *tùy chọn*, mặc định là `False`) : Có nên trả về `(char_start, char_end)` cho từng token hay không. Tính năng này chỉ khả dụng trên các fast tokenizer kế thừa từ [PreTrainedTokenizerFast](/docs/transformers/v5.23.0/vi/main_classes/tokenizer#transformers.TokenizersBackend); nếu sử dụng tokenizer của Python, phương thức này sẽ gây ra `NotImplementedError`.

return_length  (`bool`, *tùy chọn*, mặc định là `False`) : Có trả về độ dài của các đầu vào đã mã hóa hay không.

verbose (`bool`, *tùy chọn*, mặc định là `True`) : Có in thêm thông tin và cảnh báo hay không.

- ****kwargs** : được truyền vào phương thức `self.tokenize()`

**Trả về:** [BatchEncoding](/docs/transformers/v5.23.0/vi/main_classes/tokenizer#transformers.BatchEncoding)

Một [BatchEncoding](/docs/transformers/v5.23.0/vi/main_classes/tokenizer#transformers.BatchEncoding) với các trường sau:

- **input_ids** -- Danh sách các id token để đưa vào mô hình.

  [ID đầu vào là gì?](../glossary#input-ids)

- **token_type_ids** -- Danh sách các id loại token để đưa vào mô hình (khi `return_token_type_ids=True` hoặc nếu *"token_type_ids"* nằm trong `self.model_input_names`).

  [ID loại token là gì?](../glossary#token-type-ids)

- **attention_mask** -- Danh sách các chỉ số chỉ định những token nào nên được mô hình chú ý đến (khi `return_attention_mask=True` hoặc nếu *"attention_mask"* nằm trong `self.model_input_names`).

  [Mặt nạ chú ý là gì?](../glossary#attention-mask)

- **overflowing_tokens** -- Danh sách các chuỗi token bị tràn (khi `max_length` được chỉ định và `return_overflowing_tokens=True`).
- **num_truncated_tokens** -- Số lượng token bị cắt bỏ (khi chỉ định `max_length` và `return_overflowing_tokens=True`).
- **special_tokens_mask** -- Danh sách các số 0 và 1, trong đó 1 chỉ định các token đặc biệt đã thêm và 0 chỉ định các token chuỗi thông thường (khi `add_special_tokens=True` và `return_special_tokens_mask=True`).
- **length** -- Độ dài của các đầu vào (khi `return_length=True`)

Phương thức chính để mã hóa token và chuẩn bị cho mô hình một hoặc nhiều chuỗi, hoặc một hoặc nhiều cặp chuỗi.

#### save_vocabulary[[transformers.SpeechT5Tokenizer.save_vocabulary]]

```python
save_vocabulary(save_directory: str, filename_prefix: str | None = None)
```

[Nguồn](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/tokenization_utils_sentencepiece.py#L237)

**Tham số:**

save_directory (`str`) : Thư mục để lưu trữ từ vựng.

filename_prefix (`str`, *tùy chọn*) : Tiền tố tùy chọn để thêm vào tên của các tệp được lưu.

**Trả về:** `tuple(str)`

Đường dẫn đến các tệp đã lưu.

Lưu từ vựng sentencepiece (sao chép tệp gốc) vào một thư mục.

#### decode[[transformers.SpeechT5Tokenizer.decode]]

```python
decode(token_ids: int | list[int] | list[list[int]] | np.ndarray | torch.Tensor, skip_special_tokens: bool = False, **kwargs)
```

[Nguồn](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/tokenization_utils_base.py#L2884)

**Tham số:**

token_ids (`Union[int, list[int], list[list[int]], np.ndarray, torch.Tensor]`) : Một chuỗi duy nhất hoặc một lô (danh sách các chuỗi) các id đầu vào đã được token hóa. Có thể lấy được bằng cách sử dụng phương thức `__call__`.

skip_special_tokens (`bool`, *tùy chọn*, mặc định là `False`) : Có loại bỏ các token đặc biệt trong quá trình giải mã hay không.

kwargs (các đối số từ khóa bổ sung, *tùy chọn*) : Sẽ được truyền đến phương thức giải mã cụ thể của mô hình cơ sở.

**Trả về:** `Union[str, list[str]]`

Chuỗi đã giải mã cho một chuỗi duy nhất, hoặc một danh sách các chuỗi đã giải mã cho một lô các chuỗi.

Chuyển đổi một chuỗi các id thành một chuỗi ký tự, hoặc một danh sách các chuỗi id thành một danh sách các chuỗi ký tự, bằng cách sử dụng tokenizer và bảng từ vựng, với các tùy chọn để loại bỏ các token đặc biệt và dọn dẹp khoảng trắng trong quá trình token hóa.

Tương tự như việc thực hiện `self.convert_tokens_to_string(self.convert_ids_to_tokens(token_ids))`.

#### batch_decode[[transformers.SpeechT5Tokenizer.batch_decode]]

```python
batch_decode(sequences: list[int] | list[list[int]] | np.ndarray | torch.Tensor, skip_special_tokens: bool = False, clean_up_tokenization_spaces: bool | None = None, **kwargs)
```

[Nguồn](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/tokenization_utils_base.py#L2932)

**Tham số:**

sequences (`Union[list[int], list[list[int]], np.ndarray, torch.Tensor]`) : Danh sách các id đầu vào đã được token hóa. Có thể lấy được bằng cách sử dụng phương thức `__call__`.

skip_special_tokens (`bool`, *tùy chọn*, mặc định là `False`) : Có loại bỏ các token đặc biệt trong quá trình giải mã hay không.

clean_up_tokenization_spaces (`bool`, *tùy chọn*) : Có dọn dẹp khoảng trắng trong token hóa hay không. Nếu là `None`, mặc định sẽ là `self.clean_up_tokenization_spaces`.

kwargs (các đối số từ khóa bổ sung, *tùy chọn*) : Sẽ được truyền đến phương thức giải mã cụ thể của mô hình cơ sở.

**Trả về:** `list[str]`

Danh sách các câu đã giải mã.

Chuyển đổi một danh sách các danh sách id token thành một danh sách các chuỗi bằng cách gọi decode.

Phương pháp này được cung cấp để đảm bảo tương thích ngược. Phương pháp `decode` hiện xử lý đầu vào dạng lô (batched) một cách bản địa, vì vậy bạn có thể sử dụng trực tiếp `decode` thay vì `batch_decode`.

## SpeechT5FeatureExtractor[[transformers.SpeechT5FeatureExtractor]]

#### transformers.SpeechT5FeatureExtractor[[transformers.SpeechT5FeatureExtractor]]

```python
transformers.SpeechT5FeatureExtractor(feature_size: int = 1, sampling_rate: int = 16000, padding_value: float = 0.0, do_normalize: bool = False, num_mel_bins: int = 80, hop_length: int = 16, win_length: int = 64, win_function: str = 'hann_window', fmin: float = 80, fmax: float = 7600, mel_floor: float = 1e-10, return_attention_mask: bool = True, **kwargs)
```

[Nguồn](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/speecht5/feature_extraction_speecht5.py#L29)

**Tham số:**

feature_size (`int`, *tuỳ chọn*, mặc định là 1) : Kích thước chiều của các đặc trưng đã trích xuất.

sampling_rate (`int`, *optional*, mặc định là 16000) : Tốc độ lấy mẫu (sampling rate) mà các tệp âm thanh nên được số hóa, được biểu diễn bằng hertz (Hz).

padding_value (`float`, *tuỳ chọn*, mặc định là 0.0) : Giá trị được sử dụng để điền vào các giá trị đệm (padding).

do_normalize (`bool`, *tùy chọn*, mặc định là `False`) : Có nên chuẩn hóa đầu vào theo phương pháp trung bình bằng không và phương sai đơn vị hay không. Việc chuẩn hóa có thể giúp cải thiện đáng kể hiệu suất cho một số mô hình.

num_mel_bins (`int`, *tuỳ chọn*, mặc định là 80) : Số lượng bin tần số mel trong các đặc trưng phổ được trích xuất.

hop_length (`int`, *optional*, mặc định là 16) : Số mili giây giữa các cửa sổ. Còn được gọi là "shift" trong nhiều bài báo.

win_length (`int`, *tuỳ chọn*, mặc định là 64) : Số mili giây mỗi cửa sổ.

win_function (`str`, *tùy chọn*, mặc định là `"hann_window"`) : Tên của hàm cửa sổ được sử dụng cho việc tạo cửa sổ, phải có thể truy cập thông qua `torch.{win_function}`

fmin (`float`, *tuỳ chọn*, mặc định là 80) : Tần số mel tối thiểu, tính bằng Hz.

fmax (`float`, *optional*, mặc định là 7600) : Tần số mel tối đa, tính bằng Hz.

mel_floor (`float`, *optional*, mặc định là 1e-10) : Giá trị tối thiểu của các ngân tần số mel.

return_attention_mask (`bool`, *tùy chọn*, mặc định là `True`) : Xác định xem [__call__()](/docs/transformers/v5.23.0/vi/model_doc/speecht5#transformers.SpeechT5FeatureExtractor.__call__) có nên trả về `attention_mask` hay không.

Tạo một bộ trích xuất đặc trưng SpeechT5.

Lớp này có thể tiền xử lý tín hiệu giọng nói thô bằng cách (tuỳ chọn) chuẩn hoá về trung bình bằng không và phương sai đơn vị, để sử dụng cho prenet của bộ mã hoá giọng nói SpeechT5.

Lớp này cũng có thể trích xuất các đặc trưng log-mel filter bank từ giọng nói thô, để sử dụng cho prenet của bộ giải mã giọng nói SpeechT5.

Feature extractor này kế thừa từ [SequenceFeatureExtractor](/docs/transformers/v5.23.0/vi/main_classes/feature_extractor#transformers.SequenceFeatureExtractor), bao gồm hầu hết các phương thức chính. Người dùng nên tham khảo lớp cha này để biết thêm thông tin về các phương thức đó.

#### __call__[[transformers.SpeechT5FeatureExtractor.__call__]]

```python
__call__(audio: numpy.ndarray | list[float] | list[numpy.ndarray] | list[list[float]] | None = None, audio_target: numpy.ndarray | list[float] | list[numpy.ndarray] | list[list[float]] | None = None, padding: bool | str | transformers.utils.generic.PaddingStrategy = False, max_length: int | None = None, truncation: bool = False, pad_to_multiple_of: int | None = None, return_attention_mask: bool | None = None, return_tensors: str | transformers.utils.generic.TensorType | None = None, sampling_rate: int | None = None, **kwargs)
```

[Nguồn](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/speecht5/feature_extraction_speecht5.py#L159)

**Tham số:**

audio (`np.ndarray`, `list[float]`, `list[np.ndarray]`, `list[list[float]]`, *tuỳ chọn*) : Chuỗi hoặc lô các chuỗi cần được xử lý. Mỗi chuỗi có thể là một mảng numpy, một danh sách các giá trị float, một danh sách các mảng numpy hoặc một danh sách các danh sách giá trị float. Đầu ra là các đặc trưng waveform. Bắt buộc phải là âm thanh kênh đơn (mono), không phải stereo, tức là một giá trị float duy nhất cho mỗi bước thời gian.

audio_target (`np.ndarray`, `list[float]`, `list[np.ndarray]`, `list[list[float]]`, *optional*) : Chuỗi hoặc lô các chuỗi cần được xử lý dưới dạng mục tiêu. Mỗi chuỗi có thể là một mảng numpy, một danh sách các giá trị float, một danh sách các mảng numpy hoặc một danh sách các danh sách giá trị float. Kết quả đầu ra là các đặc trưng phổ log-mel.

padding (`bool`, `str` hoặc [PaddingStrategy](/docs/transformers/v5.23.0/vi/internal/file_utils#transformers.utils.PaddingStrategy), *tuỳ chọn*, mặc định là `False`) : Chọn một chiến lược để đệm các chuỗi được trả về (theo phía đệm và chỉ số đệm của mô hình) trong số các lựa chọn sau:  - `True` hoặc `'longest'`: Đệm đến chuỗi dài nhất trong batch (hoặc không đệm nếu chỉ có một chuỗi duy nhất được cung cấp). - `'max_length'`: Đệm đến độ dài tối đa được chỉ định bằng tham số `max_length` hoặc đến độ dài đầu vào tối đa chấp nhận được của mô hình nếu tham số đó không được cung cấp. - `False` hoặc `'do_not_pad'` (mặc định): Không đệm (tức là có thể xuất ra một batch với các chuỗi có độ dài khác nhau).

max_length (`int`, *optional*) : Độ dài tối đa của danh sách được trả về và tùy chọn độ dài padding (xem bên trên).

truncation (`bool`) : Kích hoạt việc cắt ngắn để giảm các chuỗi đầu vào dài hơn *max_length* xuống còn *max_length*.

pad_to_multiple_of (`int`, *optional*) : Nếu được đặt, sẽ đệm chuỗi đến một bội số của giá trị được cung cấp. Điều này đặc biệt hữu ích để cho phép sử dụng Tensor Cores trên phần cứng NVIDIA có khả năng tính toán `>= 7.5` (Volta), hoặc trên TPU, nơi mà việc có độ dài chuỗi là bội số của 128 sẽ mang lại lợi ích.

return_attention_mask (`bool`, *tùy chọn*) : Có trả về attention mask hay không. Nếu để mặc định, sẽ trả về attention mask theo mặc định của feature_extractor cụ thể.  [Attention mask là gì?](../glossary#attention-mask)

return_tensors (`str` hoặc [TensorType](/docs/transformers/v5.23.0/vi/internal/file_utils#transformers.TensorType), *optional*) : Nếu được đặt, sẽ trả về các tensor thay vì danh sách các số nguyên python. Các giá trị chấp nhận được là:  - `'pt'`: Trả về các đối tượng `torch.Tensor` của PyTorch. - `'np'`: Trả về các đối tượng `np.ndarray` của Numpy.

sampling_rate (`int`, *optional*) : Tần số lấy mẫu mà đầu vào `audio` hoặc `audio_target` được lấy mẫu. Rất khuyến nghị truyền `sampling_rate` trong lời gọi forward để ngăn ngừa các lỗi âm thầm.

Phương thức chính để tạo đặc trưng và chuẩn bị một hoặc nhiều chuỗi cho mô hình.

Truyền một giá trị cho `audio` để trích xuất các đặc trưng dạng sóng. Truyền một giá trị cho `audio_target` để trích xuất các đặc trưng phổ log-mel.

## SpeechT5Processor[[transformers.SpeechT5Processor]]

#### transformers.SpeechT5Processor[[transformers.SpeechT5Processor]]

```python
transformers.SpeechT5Processor(feature_extractor, tokenizer)
```

[Nguồn](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/speecht5/processing_speecht5.py#L21)

**Tham số:**

feature_extractor (`SpeechT5FeatureExtractor`) : Bộ trích xuất đặc trưng là một đầu vào bắt buộc.

tokenizer (`SpeechT5Tokenizer`) : Tokenizer là một đầu vào bắt buộc.

Tạo một SpeechT5Processor, đóng gói một bộ trích xuất đặc trưng và một bộ phân từ thành một bộ xử lý duy nhất.

[SpeechT5Processor](/docs/transformers/v5.23.0/vi/model_doc/speecht5#transformers.SpeechT5Processor) cung cấp đầy đủ các chức năng của [SpeechT5FeatureExtractor](/docs/transformers/v5.23.0/vi/model_doc/speecht5#transformers.SpeechT5FeatureExtractor) và [SpeechT5Tokenizer](/docs/transformers/v5.23.0/vi/model_doc/speecht5#transformers.SpeechT5Tokenizer). Xem [~SpeechT5FeatureExtractor](/docs/transformers/v5.23.0/vi/model_doc/speecht5#transformers.SpeechT5FeatureExtractor) và [~SpeechT5Tokenizer](/docs/transformers/v5.23.0/vi/model_doc/speecht5#transformers.SpeechT5Tokenizer) để biết thêm thông tin.

#### __call__[[transformers.SpeechT5Processor.__call__]]

```python
__call__(*args, **kwargs)
```

[Nguồn](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/speecht5/processing_speecht5.py#L25)

**Tham số:**

return_tensors (`str` hoặc [TensorType](/docs/transformers/v5.23.0/vi/internal/file_utils#transformers.TensorType), *optional*) : Nếu được đặt, sẽ trả về các tensor của một framework cụ thể. Các giá trị chấp nhận được là:  - `'pt'`: Trả về các đối tượng `torch.Tensor` của PyTorch. - `'np'`: Trả về các đối tượng `np.ndarray` của NumPy.

#### pad[[transformers.SpeechT5Processor.pad]]

```python
pad(*args, **kwargs)
```

[Nguồn](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/speecht5/processing_speecht5.py#L74)

Gom các đầu vào âm thanh và văn bản, cùng với các mục tiêu tương ứng, thành một lô (batch) có đệm (padded).

Đầu vào âm thanh được đệm bởi [pad()](/docs/transformers/v5.23.0/vi/main_classes/feature_extractor#transformers.SequenceFeatureExtractor.pad) của SpeechT5FeatureExtractor. Đầu vào văn bản được đệm bởi [pad()](/docs/transformers/v5.23.0/vi/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.pad) của SpeechT5Tokenizer.

Các tổ hợp đầu vào hợp lệ là:

- chỉ `input_ids`
- chỉ `input_values`
- chỉ `labels`, dưới dạng phổ log-mel hoặc các token văn bản
- `input_ids` và phổ log-mel `labels`
- `input_values` và nhãn văn bản `labels`

Vui lòng tham khảo docstring của hai phương pháp ở trên để biết thêm thông tin.

#### from_pretrained[[transformers.SpeechT5Processor.from_pretrained]]

```python
from_pretrained(pretrained_model_name_or_path: str | os.PathLike, cache_dir: str | os.PathLike | None = None, force_download: bool = False, local_files_only: bool = False, token: str | bool | None = None, revision: str = 'main', **kwargs)
```

[Nguồn](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/processing_utils.py#L1799)

**Tham số:**

pretrained_model_name_or_path (`str` hoặc `os.PathLike`) : Có thể là một trong các trường hợp sau:  - một chuỗi, *model id* của một feature_extractor được huấn luyện trước và lưu trữ trong kho model trên huggingface.co. - đường dẫn đến một *thư mục* chứa tệp feature extractor đã được lưu bằng phương thức [save_pretrained()](/docs/transformers/v5.23.0/vi/main_classes/feature_extractor#transformers.FeatureExtractionMixin.save_pretrained), ví dụ: `./my_model_directory/`. - đường dẫn đến tệp JSON *file* của feature extractor đã lưu, ví dụ: `./my_model_directory/preprocessor_config.json`.

- ****kwargs** : Các đối số từ khóa bổ sung được truyền đến cả [from_pretrained()](/docs/transformers/v5.23.0/vi/main_classes/feature_extractor#transformers.FeatureExtractionMixin.from_pretrained) và `~tokenization_utils_base.PreTrainedTokenizer.from_pretrained`.

Tạo một processor liên kết với một model được huấn luyện trước.

Phương thức lớp này đơn giản là gọi phương thức [from_pretrained()](/docs/transformers/v5.23.0/vi/main_classes/feature_extractor#transformers.FeatureExtractionMixin.from_pretrained) của bộ trích xuất đặc trưng, [ImageProcessingMixin](/docs/transformers/v5.23.0/vi/internal/image_processing_utils#transformers.ImageProcessingMixin) của bộ xử lý ảnh và `~tokenization_utils_base.PreTrainedTokenizer.from_pretrained` của bộ phân từ. Vui lòng tham khảo các docstring của các phương thức ở trên để biết thêm thông tin.

#### save_pretrained[[transformers.SpeechT5Processor.save_pretrained]]

```python
save_pretrained(save_directory, push_to_hub: bool = False, **kwargs)
```

[Nguồn](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/processing_utils.py#L1182)

**Tham số:**

save_directory (`str` hoặc `os.PathLike`) : Thư mục nơi tệp JSON của feature extractor và các tệp tokenizer sẽ được lưu (thư mục sẽ được tạo nếu chưa tồn tại).

push_to_hub (`bool`, *tùy chọn*, mặc định là `False`) : Có đẩy mô hình của bạn lên Hugging Face model hub sau khi lưu hay không. Bạn có thể chỉ định kho lưu trữ muốn đẩy đến bằng `repo_id` (mặc định sẽ là tên của `save_directory` trong namespace của bạn).

kwargs (`dict[str, Any]`, *tùy chọn*) : Các đối số từ khóa bổ sung được truyền đến phương thức [push_to_hub()](/docs/transformers/v5.23.0/vi/main_classes/model#transformers.utils.PushToHubMixin.push_to_hub).

Lưu các thuộc tính của bộ xử lý này (bộ trích xuất đặc trưng, bộ phân từ...) vào thư mục được chỉ định để có thể tải lại bằng phương thức [from_pretrained()](/docs/transformers/v5.23.0/vi/model_doc/wav2vec2#transformers.Wav2Vec2Processor.from_pretrained).

Phương thức lớp này đơn giản chỉ gọi [save_pretrained()](/docs/transformers/v5.23.0/vi/main_classes/feature_extractor#transformers.FeatureExtractionMixin.save_pretrained) và [save_pretrained()](/docs/transformers/v5.23.0/vi/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.save_pretrained). Vui lòng tham khảo docstring của các phương thức ở trên để biết thêm thông tin.

#### batch_decode[[transformers.SpeechT5Processor.batch_decode]]

```python
batch_decode(*args, **kwargs)
```

[Nguồn](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/processing_utils.py#L2054)

Phương pháp này chuyển tiếp tất cả các đối số của nó đến [batch_decode()](/docs/transformers/v5.23.0/vi/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.batch_decode) của PreTrainedTokenizer. Vui lòng tham khảo docstring của phương pháp này để biết thêm thông tin.

#### decode[[transformers.SpeechT5Processor.decode]]

```python
decode(*args, **kwargs)
```

[Nguồn](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/processing_utils.py#L2063)

Phương pháp này chuyển tiếp tất cả các đối số của nó đến [decode()](/docs/transformers/v5.23.0/vi/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.decode) của PreTrainedTokenizer. Vui lòng tham khảo docstring của phương pháp này để biết thêm thông tin.

## SpeechT5Model[[transformers.SpeechT5Model]]

#### transformers.SpeechT5Model[[transformers.SpeechT5Model]]

```python
transformers.SpeechT5Model(config: SpeechT5Config, encoder: typing.Optional[torch.nn.Module] = None, decoder: typing.Optional[torch.nn.Module] = None)
```

[Nguồn](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/speecht5/modeling_speecht5.py#L1852)

**Tham số:**

config ([SpeechT5Config](/docs/transformers/v5.23.0/vi/model_doc/speecht5#transformers.SpeechT5Config)) : Lớp cấu hình mô hình chứa tất cả các tham số của mô hình. Khởi tạo bằng tệp cấu hình sẽ không tải trọng số liên quan đến mô hình, chỉ tải cấu hình. Xem phương thức [from_pretrained()](/docs/transformers/v5.23.0/vi/main_classes/model#transformers.PreTrainedModel.from_pretrained) để tải trọng số mô hình.

encoder (`PreTrainedModel`, *tùy chọn*) : Mô hình encoder cần sử dụng.

decoder (`PreTrainedModel`, *tùy chọn*) : Mô hình decoder cần sử dụng.

Mô hình Encoder-Decoder SpeechT5 cơ bản, xuất ra các hidden-state thô mà không có bất kỳ pre-net hay post-net cụ thể nào.

Mô hình này kế thừa từ [PreTrainedModel](/docs/transformers/v5.23.0/vi/main_classes/model#transformers.PreTrainedModel). Xem tài liệu của lớp cha để biết các phương thức chung mà thư viện triển khai cho tất cả các mô hình của nó (chẳng hạn như tải xuống hoặc lưu trữ, thay đổi kích thước các nhúng đầu vào, cắt tỉa các đầu ra, v.v.)

Mô hình này cũng là một lớp con của [torch.nn.Module](https://pytorch.org/docs/stable/nn.html#torch.nn.Module) trong PyTorch. Hãy sử dụng nó như một Module PyTorch thông thường và tham khảo tài liệu PyTorch cho mọi vấn đề liên quan đến cách sử dụng và hành vi chung.

#### forward[[transformers.SpeechT5Model.forward]]

```python
forward(input_values: typing.Optional[torch.Tensor] = None, attention_mask: typing.Optional[torch.LongTensor] = None, decoder_input_values: typing.Optional[torch.Tensor] = None, decoder_attention_mask: typing.Optional[torch.LongTensor] = None, encoder_outputs: tuple[tuple[torch.Tensor]] | None = None, past_key_values: transformers.cache_utils.Cache | None = None, use_cache: bool | None = None, speaker_embeddings: typing.Optional[torch.Tensor] = None, output_attentions: bool | None = None, output_hidden_states: bool | None = None, return_dict: bool | None = None, **kwargs)
```

[Nguồn](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/speecht5/modeling_speecht5.py#L1894)

**Tham số:**

input_values (`torch.Tensor` có hình dạng `(batch_size, sequence_length)`) : Tùy thuộc vào encoder đang được sử dụng, `input_values` có thể là: các giá trị float của dạng sóng âm thanh thô đầu vào, hoặc các chỉ số của các token trong chuỗi đầu vào trong từ vựng, hoặc các trạng thái ẩn.

attention_mask (`torch.LongTensor` có hình dạng `(batch_size, sequence_length)`, *tùy chọn*) : Mặt nạ để tránh thực hiện chú ý trên các chỉ số token đệm. Các giá trị mặt nạ được chọn trong `[0, 1]`:  - 1 cho các token **không bị che**, - 0 cho các token **bị che**.  [Mặt nạ chú ý là gì?](../glossary#attention-mask)

decoder_input_values (`torch.Tensor` có shape `(batch_size, target_sequence_length)`, *tùy chọn*) : Tùy thuộc vào decoder nào đang được sử dụng, `decoder_input_values` có thể là: các giá trị float của đặc trưng log-mel filterbank được trích xuất từ dạng sóng âm thanh thô, hoặc các chỉ số của token trong chuỗi đầu vào decoder trong từ vựng, hoặc các trạng thái ẩn.

decoder_attention_mask (`torch.LongTensor` có shape `(batch_size, target_sequence_length)`, *tùy chọn*) : Hành vi mặc định: tạo một tensor bỏ qua các pad token trong `decoder_input_values`. Causal mask cũng sẽ được sử dụng theo mặc định. Nếu bạn muốn thay đổi hành vi padding, bạn nên đọc `SpeechT5Decoder._prepare_decoder_attention_mask` và chỉnh sửa theo nhu cầu. Xem sơ đồ 1 trong [bài báo](https://huggingface.co/papers/1910.13461) để biết thêm thông tin về chiến lược mặc định.

encoder_outputs (`tuple[tuple[torch.Tensor]]`, *tùy chọn*) : Tuple bao gồm (`last_hidden_state`, *tùy chọn*: `hidden_states`, *tùy chọn*: `attentions`) `last_hidden_state` có hình dạng `(batch_size, sequence_length, hidden_size)`, *tùy chọn*) là một chuỗi các hidden-states tại đầu ra của lớp cuối cùng của encoder. Được sử dụng trong cross-attention của decoder.

past_key_values (`~cache_utils.Cache`, *tùy chọn*) : Các hidden-states đã tính trước (key và values trong các khối self-attention và cross-attention) có thể được sử dụng để tăng tốc giải mã tuần tự. Điều này thường bao gồm `past_key_values` do mô hình trả về ở một giai đoạn giải mã trước đó, khi `use_cache=True` hoặc `config.use_cache=True`.  Chỉ cho phép [Cache](/docs/transformers/v5.23.0/vi/internal/generation_utils#transformers.Cache) instance làm đầu vào, xem [hướng dẫn kv cache](https://huggingface.co/docs/transformers/en/kv_cache) của chúng tôi. Nếu không truyền `past_key_values`, [DynamicCache](/docs/transformers/v5.23.0/vi/internal/generation_utils#transformers.DynamicCache) sẽ được khởi tạo theo mặc định.  Mô hình sẽ xuất ra cùng định dạng cache được đưa vào làm đầu vào.  Nếu sử dụng `past_key_values`, người dùng được kỳ vọng chỉ nhập các `input_ids` chưa được xử lý (những phần chưa có trạng thái key value quá khứ được cung cấp cho mô hình này) có shape `(batch_size, unprocessed_length)` thay vì tất cả `input_ids` có shape `(batch_size, sequence_length)`.

use_cache (`bool`, *tùy chọn*) : Nếu được đặt thành `True`, các trạng thái khóa và giá trị `past_key_values` sẽ được trả về và có thể được sử dụng để tăng tốc quá trình giải mã (xem `past_key_values`).

speaker_embeddings (`torch.Tensor` có shape `(batch_size, config.speaker_embedding_dim)`, *tùy chọn*) : Tensor chứa các speaker embeddings.

output_attentions (`bool`, *tùy chọn*) : Có trả về các tensor chú ý của tất cả các lớp chú ý hay không. Xem `attentions` trong phần tensor trả về để biết thêm chi tiết.

output_hidden_states (`bool`, *tuỳ chọn*) : Có trả về trạng thái ẩn của tất cả các lớp hay không. Xem `hidden_states` trong phần tensor trả về để biết thêm chi tiết.

return_dict (`bool`, *tùy chọn*) : Có trả về [ModelOutput](/docs/transformers/v5.23.0/vi/main_classes/output#transformers.utils.ModelOutput) thay vì một tuple thông thường hay không.

**Trả về:** [Seq2SeqModelOutput](/docs/transformers/v5.23.0/vi/main_classes/output#transformers.modeling_outputs.Seq2SeqModelOutput) hoặc `tuple(torch.Tensor)`

Một [Seq2SeqModelOutput](/docs/transformers/v5.23.0/vi/main_classes/output#transformers.modeling_outputs.Seq2SeqModelOutput) hoặc một tuple của `torch.Tensor` (nếu `return_dict=False` được truyền hoặc khi `config.return_dict=False`) bao gồm các phần tử khác nhau tùy thuộc vào cấu hình ([SpeechT5Config](/docs/transformers/v5.23.0/vi/model_doc/speecht5#transformers.SpeechT5Config)) và đầu vào.

Phương thức forward của [SpeechT5Model](/docs/transformers/v5.23.0/vi/model_doc/speecht5#transformers.SpeechT5Model) ghi đè lên phương thức đặc biệt `__call__`.

Mặc dù công thức cho bước truyền tiến cần được định nghĩa bên trong hàm này, bạn nên gọi instance của `Module` sau đó thay vì gọi hàm này, vì instance `Module` sẽ đảm nhận việc thực hiện các bước tiền xử lý và hậu xử lý, trong khi hàm này sẽ bỏ qua chúng một cách im lặng.

- **last_hidden_state** (`torch.Tensor` có hình dạng `(batch_size, sequence_length, hidden_size)`) -- Chuỗi các trạng thái ẩn (hidden-states) tại đầu ra của lớp cuối cùng của bộ giải mã (decoder) của mô hình.

  Nếu `past_key_values` được sử dụng, chỉ có hidden-state cuối cùng của các chuỗi có shape `(batch_size, 1, hidden_size)` được xuất ra.
- **past_key_values** (`EncoderDecoderCache`, *tùy chọn*, được trả về khi `use_cache=True` được truyền vào hoặc khi `config.use_cache=True`) -- Đây là một instance của [EncoderDecoderCache](/docs/transformers/v5.23.0/vi/internal/generation_utils#transformers.EncoderDecoderCache). Để biết thêm chi tiết, hãy xem [hướng dẫn về kv cache](https://huggingface.co/docs/transformers/en/kv_cache) của chúng tôi.

  Chứa các hidden-states đã được tính trước (key và values trong các khối self-attention và trong các khối cross-attention) có thể được sử dụng (xem đầu vào `past_key_values`) để tăng tốc độ giải mã tuần tự.
- **decoder_hidden_states** (`tuple(torch.Tensor)`, *tuỳ chọn*, được trả về khi `output_hidden_states=True` được truyền vào hoặc khi `config.output_hidden_states=True`) -- Bộ tuple của `torch.Tensor` (một cho đầu ra của các embedding, nếu mô hình có lớp embedding, + một cho đầu ra của mỗi lớp) có hình dạng `(batch_size, sequence_length, hidden_size)`.

  Trạng thái ẩn của bộ giải mã tại đầu ra của mỗi lớp cùng với các đầu ra nhúng ban đầu tùy chọn.
- **decoder_attentions** (`tuple(torch.Tensor)`, *tùy chọn*, được trả về khi `output_attentions=True` được truyền vào hoặc khi `config.output_attentions=True`) -- Bộ tuple của `torch.Tensor` (một cho mỗi lớp) có hình dạng `(batch_size, num_heads, sequence_length, sequence_length)`.

  Trọng số chú ý của bộ giải mã, sau softmax chú ý, được sử dụng để tính trung bình có trọng số trong các đầu chú ý tự (self-attention).
- **cross_attentions** (`tuple(torch.Tensor)`, *tuỳ chọn*, được trả về khi `output_attentions=True` được truyền vào hoặc khi `config.output_attentions=True`) -- Bộ tuple của `torch.Tensor` (một cho mỗi lớp) có hình dạng `(batch_size, num_heads, sequence_length, sequence_length)`.

  Trọng số chú ý của lớp cross-attention của bộ giải mã, sau softmax chú ý, được sử dụng để tính trung bình có trọng số trong các đầu chú ý chéo.
- **encoder_last_hidden_state** (`torch.Tensor` có hình dạng `(batch_size, sequence_length, hidden_size)`, *tùy chọn*) -- Chuỗi các trạng thái ẩn tại đầu ra của lớp cuối cùng của bộ mã hóa trong mô hình.
- **encoder_hidden_states** (`tuple(torch.Tensor)`, *tuỳ chọn*, được trả về khi `output_hidden_states=True` được truyền vào hoặc khi `config.output_hidden_states=True`) -- Bộ tuple các `torch.Tensor` (một cho đầu ra của các embedding, nếu mô hình có lớp embedding, + một cho đầu ra của mỗi lớp) có hình dạng `(batch_size, sequence_length, hidden_size)`.

  Trạng thái ẩn của bộ mã hóa tại đầu ra của mỗi lớp cùng với các đầu ra nhúng ban đầu tùy chọn.
- **encoder_attentions** (`tuple(torch.Tensor)`, *tùy chọn*, được trả về khi `output_attentions=True` được truyền vào hoặc khi `config.output_attentions=True`) -- Bộ tuple của `torch.Tensor` (một cho mỗi lớp) có hình dạng `(batch_size, num_heads, sequence_length, sequence_length)`.

  Trọng số chú ý của bộ mã hóa, sau softmax chú ý, được sử dụng để tính trung bình có trọng số trong các đầu chú ý tự thân.

## SpeechT5ForSpeechToText[[transformers.SpeechT5ForSpeechToText]]

#### transformers.SpeechT5ForSpeechToText[[transformers.SpeechT5ForSpeechToText]]

```python
transformers.SpeechT5ForSpeechToText(config: SpeechT5Config)
```

[Nguồn](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/speecht5/modeling_speecht5.py#L1998)

**Tham số:**

config ([SpeechT5Config](/docs/transformers/v5.23.0/vi/model_doc/speecht5#transformers.SpeechT5Config)) : Lớp cấu hình mô hình chứa tất cả các tham số của mô hình. Khởi tạo bằng tệp cấu hình sẽ không tải trọng số liên quan đến mô hình, chỉ tải cấu hình. Xem phương thức [from_pretrained()](/docs/transformers/v5.23.0/vi/main_classes/model#transformers.PreTrainedModel.from_pretrained) để tải trọng số mô hình.

Mô hình SpeechT5 với bộ mã hóa giọng nói và bộ giải mã văn bản.

Mô hình này kế thừa từ [PreTrainedModel](/docs/transformers/v5.23.0/vi/main_classes/model#transformers.PreTrainedModel). Xem tài liệu của lớp cha để biết các phương thức chung mà thư viện triển khai cho tất cả các mô hình của nó (chẳng hạn như tải xuống hoặc lưu trữ, thay đổi kích thước các nhúng đầu vào, cắt tỉa các đầu ra, v.v.)

Mô hình này cũng là một lớp con của [torch.nn.Module](https://pytorch.org/docs/stable/nn.html#torch.nn.Module) trong PyTorch. Hãy sử dụng nó như một Module PyTorch thông thường và tham khảo tài liệu PyTorch cho mọi vấn đề liên quan đến cách sử dụng và hành vi chung.

#### forward[[transformers.SpeechT5ForSpeechToText.forward]]

```python
forward(input_values: typing.Optional[torch.Tensor] = None, attention_mask: typing.Optional[torch.LongTensor] = None, decoder_input_ids: typing.Optional[torch.LongTensor] = None, decoder_attention_mask: typing.Optional[torch.LongTensor] = None, encoder_outputs: tuple[tuple[torch.Tensor]] | None = None, past_key_values: transformers.cache_utils.Cache | None = None, use_cache: bool | None = None, output_attentions: bool | None = None, output_hidden_states: bool | None = None, return_dict: bool | None = None, labels: typing.Optional[torch.LongTensor] = None, **kwargs)
```

[Nguồn](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/speecht5/modeling_speecht5.py#L2034)

**Tham số:**

input_values (`torch.Tensor` có shape `(batch_size, sequence_length)`) : Các giá trị float của dạng sóng âm thanh thô đầu vào. Các giá trị này có thể được lấy bằng cách nạp tệp âm thanh *.flac* hoặc *.wav* vào một mảng có kiểu `list[float]`, một `numpy.ndarray` hoặc một `torch.Tensor`, *ví dụ* thông qua thư viện torchcodec (`pip install torchcodec`) hoặc thư viện soundfile (`pip install soundfile`). Để chuẩn bị mảng thành `input_values`, cần sử dụng [SpeechT5Processor](/docs/transformers/v5.23.0/vi/model_doc/speecht5#transformers.SpeechT5Processor) để thực hiện padding và chuyển đổi thành tensor có kiểu `torch.Tensor`. Xem [SpeechT5Processor.__call__()](/docs/transformers/v5.23.0/vi/model_doc/speecht5#transformers.SpeechT5Processor.__call__) để biết thêm chi tiết.

attention_mask (`torch.LongTensor` có hình dạng `(batch_size, sequence_length)`, *tùy chọn*) : Mặt nạ để tránh thực hiện chú ý trên các chỉ số token đệm. Các giá trị mặt nạ được chọn trong `[0, 1]`:  - 1 cho các token **không bị che**, - 0 cho các token **bị che**.  [Mặt nạ chú ý là gì?](../glossary#attention-mask)

decoder_input_ids (`torch.LongTensor` có shape `(batch_size, target_sequence_length)`, *tùy chọn*) : Chỉ số của các token trong chuỗi đầu vào bộ giải mã trong từ điển.  Các chỉ số có thể được lấy bằng cách sử dụng [SpeechT5Tokenizer](/docs/transformers/v5.23.0/vi/model_doc/speecht5#transformers.SpeechT5Tokenizer). Xem [PreTrainedTokenizer.encode()](/docs/transformers/v5.23.0/vi/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.encode) và [PreTrainedTokenizer.__call__()](/docs/transformers/v5.23.0/vi/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.__call__) để biết chi tiết.  [Các ID đầu vào bộ giải mã là gì?](../glossary#decoder-input-ids)  SpeechT5 sử dụng `eos_token_id` làm token bắt đầu cho việc tạo `decoder_input_ids`. Nếu `past_key_values` được sử dụng, tùy chọn chỉ cần nhập `decoder_input_ids` cuối cùng (xem `past_key_values`).

decoder_attention_mask (`torch.LongTensor` có shape `(batch_size, target_sequence_length)`, *tùy chọn*) : Hành vi mặc định: tạo một tensor bỏ qua các pad token trong `decoder_input_values`. Causal mask cũng sẽ được sử dụng theo mặc định. Nếu bạn muốn thay đổi hành vi padding, bạn nên đọc `SpeechT5Decoder._prepare_decoder_attention_mask` và chỉnh sửa theo nhu cầu. Xem sơ đồ 1 trong [bài báo](https://huggingface.co/papers/1910.13461) để biết thêm thông tin về chiến lược mặc định.

encoder_outputs (`tuple[tuple[torch.Tensor]]`, *tùy chọn*) : Tuple bao gồm (`last_hidden_state`, *tùy chọn*: `hidden_states`, *tùy chọn*: `attentions`) `last_hidden_state` có hình dạng `(batch_size, sequence_length, hidden_size)`, *tùy chọn*) là một chuỗi các hidden-states tại đầu ra của lớp cuối cùng của encoder. Được sử dụng trong cross-attention của decoder.

past_key_values (`~cache_utils.Cache`, *tùy chọn*) : Các hidden-states đã tính trước (key và values trong các khối self-attention và cross-attention) có thể được sử dụng để tăng tốc giải mã tuần tự. Điều này thường bao gồm `past_key_values` do mô hình trả về ở một giai đoạn giải mã trước đó, khi `use_cache=True` hoặc `config.use_cache=True`.  Chỉ cho phép [Cache](/docs/transformers/v5.23.0/vi/internal/generation_utils#transformers.Cache) instance làm đầu vào, xem [hướng dẫn kv cache](https://huggingface.co/docs/transformers/en/kv_cache) của chúng tôi. Nếu không truyền `past_key_values`, [DynamicCache](/docs/transformers/v5.23.0/vi/internal/generation_utils#transformers.DynamicCache) sẽ được khởi tạo theo mặc định.  Mô hình sẽ xuất ra cùng định dạng cache được đưa vào làm đầu vào.  Nếu sử dụng `past_key_values`, người dùng được kỳ vọng chỉ nhập các `input_ids` chưa được xử lý (những phần chưa có trạng thái key value quá khứ được cung cấp cho mô hình này) có shape `(batch_size, unprocessed_length)` thay vì tất cả `input_ids` có shape `(batch_size, sequence_length)`.

use_cache (`bool`, *tùy chọn*) : Nếu được đặt thành `True`, các trạng thái khóa và giá trị `past_key_values` sẽ được trả về và có thể được sử dụng để tăng tốc quá trình giải mã (xem `past_key_values`).

output_attentions (`bool`, *tùy chọn*) : Có trả về các tensor chú ý của tất cả các lớp chú ý hay không. Xem `attentions` trong phần tensor trả về để biết thêm chi tiết.

output_hidden_states (`bool`, *tuỳ chọn*) : Có trả về trạng thái ẩn của tất cả các lớp hay không. Xem `hidden_states` trong phần tensor trả về để biết thêm chi tiết.

return_dict (`bool`, *tùy chọn*) : Có trả về [ModelOutput](/docs/transformers/v5.23.0/vi/main_classes/output#transformers.utils.ModelOutput) thay vì một tuple thông thường hay không.

labels (`torch.LongTensor` có shape `(batch_size, sequence_length)`, *tùy chọn*) : Nhãn để tính toán tổn thất mô hình hóa ngôn ngữ. Chỉ số phải nằm trong `[0, ..., config.vocab_size]` hoặc -100 (xem docstring của `input_ids`). Các token có chỉ số được đặt thành `-100` sẽ bị bỏ qua (bị mask), tổn thất chỉ được tính cho các token có nhãn nằm trong `[0, ..., config.vocab_size]`. Có thể lấy chỉ số nhãn bằng cách sử dụng [SpeechT5Tokenizer](/docs/transformers/v5.23.0/vi/model_doc/speecht5#transformers.SpeechT5Tokenizer). Xem [PreTrainedTokenizer.encode()](/docs/transformers/v5.23.0/vi/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.encode) và [PreTrainedTokenizer.__call__()](/docs/transformers/v5.23.0/vi/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.__call__) để biết thêm chi tiết.

**Trả về:** [Seq2SeqLMOutput](/docs/transformers/v5.23.0/vi/main_classes/output#transformers.modeling_outputs.Seq2SeqLMOutput) hoặc `tuple(torch.Tensor)`

Một [Seq2SeqLMOutput](/docs/transformers/v5.23.0/vi/main_classes/output#transformers.modeling_outputs.Seq2SeqLMOutput) hoặc một tuple của `torch.Tensor` (nếu `return_dict=False` được truyền hoặc khi `config.return_dict=False`) bao gồm các phần tử khác nhau tùy thuộc vào cấu hình ([SpeechT5Config](/docs/transformers/v5.23.0/vi/model_doc/speecht5#transformers.SpeechT5Config)) và đầu vào.

Phương thức forward của [SpeechT5ForSpeechToText](/docs/transformers/v5.23.0/vi/model_doc/speecht5#transformers.SpeechT5ForSpeechToText) ghi đè lên phương thức đặc biệt `__call__`.

Mặc dù công thức cho bước truyền tiến cần được định nghĩa bên trong hàm này, bạn nên gọi instance của `Module` sau đó thay vì gọi hàm này, vì instance `Module` sẽ đảm nhận việc thực hiện các bước tiền xử lý và hậu xử lý, trong khi hàm này sẽ bỏ qua chúng một cách im lặng.

- **loss** (`torch.Tensor` có shape `(1,)`, *tuỳ chọn*, được trả về khi `labels` được cung cấp) -- Loss của language modeling.
- **logits** (`torch.Tensor` có hình dạng `(batch_size, sequence_length, config.vocab_size)`) -- Điểm dự đoán của đầu mô hình hóa ngôn ngữ (điểm cho mỗi token từ vựng trước SoftMax).
- **past_key_values** (`EncoderDecoderCache`, *tùy chọn*, được trả về khi `use_cache=True` được truyền vào hoặc khi `config.use_cache=True`) -- Đây là một instance của [EncoderDecoderCache](/docs/transformers/v5.23.0/vi/internal/generation_utils#transformers.EncoderDecoderCache). Để biết thêm chi tiết, hãy xem [hướng dẫn về kv cache](https://huggingface.co/docs/transformers/en/kv_cache) của chúng tôi.

  Chứa các hidden-states đã được tính trước (key và values trong các khối self-attention và trong các khối cross-attention) có thể được sử dụng (xem đầu vào `past_key_values`) để tăng tốc độ giải mã tuần tự.
- **decoder_hidden_states** (`tuple(torch.Tensor)`, *tuỳ chọn*, được trả về khi `output_hidden_states=True` được truyền vào hoặc khi `config.output_hidden_states=True`) -- Bộ tuple của `torch.Tensor` (một cho đầu ra của các embedding, nếu mô hình có lớp embedding, + một cho đầu ra của mỗi lớp) có hình dạng `(batch_size, sequence_length, hidden_size)`.

  Trạng thái ẩn của bộ giải mã tại đầu ra của mỗi lớp cùng với đầu ra của nhúng ban đầu.
- **decoder_attentions** (`tuple(torch.Tensor)`, *tùy chọn*, được trả về khi `output_attentions=True` được truyền vào hoặc khi `config.output_attentions=True`) -- Bộ tuple của `torch.Tensor` (một cho mỗi lớp) có hình dạng `(batch_size, num_heads, sequence_length, sequence_length)`.

  Trọng số chú ý của bộ giải mã, sau softmax chú ý, được sử dụng để tính trung bình có trọng số trong các đầu chú ý tự (self-attention).
- **cross_attentions** (`tuple(torch.Tensor)`, *tuỳ chọn*, được trả về khi `output_attentions=True` được truyền vào hoặc khi `config.output_attentions=True`) -- Bộ tuple của `torch.Tensor` (một cho mỗi lớp) có hình dạng `(batch_size, num_heads, sequence_length, sequence_length)`.

  Trọng số chú ý của lớp cross-attention của bộ giải mã, sau softmax chú ý, được sử dụng để tính trung bình có trọng số trong các đầu chú ý chéo.
- **encoder_last_hidden_state** (`torch.Tensor` có hình dạng `(batch_size, sequence_length, hidden_size)`, *tùy chọn*) -- Chuỗi các trạng thái ẩn tại đầu ra của lớp cuối cùng của bộ mã hóa trong mô hình.
- **encoder_hidden_states** (`tuple(torch.Tensor)`, *tuỳ chọn*, được trả về khi `output_hidden_states=True` được truyền vào hoặc khi `config.output_hidden_states=True`) -- Bộ tuple các `torch.Tensor` (một cho đầu ra của các embedding, nếu mô hình có lớp embedding, + một cho đầu ra của mỗi lớp) có hình dạng `(batch_size, sequence_length, hidden_size)`.

  Trạng thái ẩn của bộ mã hóa tại đầu ra của mỗi lớp cùng với đầu ra của nhúng ban đầu.
- **encoder_attentions** (`tuple(torch.Tensor)`, *tùy chọn*, được trả về khi `output_attentions=True` được truyền vào hoặc khi `config.output_attentions=True`) -- Bộ tuple của `torch.Tensor` (một cho mỗi lớp) có hình dạng `(batch_size, num_heads, sequence_length, sequence_length)`.

  Trọng số chú ý của bộ mã hóa, sau softmax chú ý, được sử dụng để tính trung bình có trọng số trong các đầu chú ý tự thân.

Ví dụ:

```python
>>> from transformers import SpeechT5Processor, SpeechT5ForSpeechToText
>>> from datasets import load_dataset

>>> dataset = load_dataset(
...     "hf-internal-testing/librispeech_asr_demo", "clean", split="validation"
... )  # doctest: +IGNORE_RESULT
>>> dataset = dataset.sort("id")
>>> sampling_rate = dataset.features["audio"].sampling_rate

>>> processor = SpeechT5Processor.from_pretrained("microsoft/speecht5_asr")
>>> model = SpeechT5ForSpeechToText.from_pretrained("microsoft/speecht5_asr")

>>> # audio file is decoded on the fly
>>> inputs = processor(audio=dataset[0]["audio"]["array"], sampling_rate=sampling_rate, return_tensors="pt")
>>> predicted_ids = model.generate(**inputs, max_length=100)

>>> # transcribe speech
>>> transcription = processor.batch_decode(predicted_ids, skip_special_tokens=True)
>>> transcription[0]
'mister quilter is the apostle of the middle classes and we are glad to welcome his gospel'
```

```python
>>> inputs["labels"] = processor(text_target=dataset[0]["text"], return_tensors="pt").input_ids

>>> # compute loss
>>> loss = model(**inputs).loss
>>> round(loss.item(), 2)
19.68
```

## SpeechT5ForTextToSpeech[[transformers.SpeechT5ForTextToSpeech]]

#### transformers.SpeechT5ForTextToSpeech[[transformers.SpeechT5ForTextToSpeech]]

```python
transformers.SpeechT5ForTextToSpeech(config: SpeechT5Config)
```

[Nguồn](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/speecht5/modeling_speecht5.py#L2310)

**Tham số:**

config ([SpeechT5Config](/docs/transformers/v5.23.0/vi/model_doc/speecht5#transformers.SpeechT5Config)) : Lớp cấu hình mô hình chứa tất cả các tham số của mô hình. Khởi tạo bằng tệp cấu hình sẽ không tải trọng số liên quan đến mô hình, chỉ tải cấu hình. Xem phương thức [from_pretrained()](/docs/transformers/v5.23.0/vi/main_classes/model#transformers.PreTrainedModel.from_pretrained) để tải trọng số mô hình.

Mô hình SpeechT5 với bộ mã hóa văn bản và bộ giải mã giọng nói.

Mô hình này kế thừa từ [PreTrainedModel](/docs/transformers/v5.23.0/vi/main_classes/model#transformers.PreTrainedModel). Xem tài liệu của lớp cha để biết các phương thức chung mà thư viện triển khai cho tất cả các mô hình của nó (chẳng hạn như tải xuống hoặc lưu trữ, thay đổi kích thước các nhúng đầu vào, cắt tỉa các đầu ra, v.v.)

Mô hình này cũng là một lớp con của [torch.nn.Module](https://pytorch.org/docs/stable/nn.html#torch.nn.Module) trong PyTorch. Hãy sử dụng nó như một Module PyTorch thông thường và tham khảo tài liệu PyTorch cho mọi vấn đề liên quan đến cách sử dụng và hành vi chung.

#### forward[[transformers.SpeechT5ForTextToSpeech.forward]]

```python
forward(input_ids: typing.Optional[torch.LongTensor] = None, attention_mask: typing.Optional[torch.LongTensor] = None, decoder_input_values: typing.Optional[torch.Tensor] = None, decoder_attention_mask: typing.Optional[torch.LongTensor] = None, encoder_outputs: tuple[tuple[torch.Tensor]] | None = None, past_key_values: transformers.cache_utils.Cache | None = None, use_cache: bool | None = None, output_attentions: bool | None = None, output_hidden_states: bool | None = None, return_dict: bool | None = None, speaker_embeddings: typing.Optional[torch.Tensor] = None, labels: typing.Optional[torch.Tensor] = None, stop_labels: typing.Optional[torch.Tensor] = None, **kwargs)
```

[Nguồn](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/speecht5/modeling_speecht5.py#L2341)

**Tham số:**

input_ids (`torch.LongTensor` có shape `(batch_size, sequence_length)`) : Chỉ số của các token trong chuỗi đầu vào thuộc từ vựng.  Các chỉ số này có thể được lấy bằng cách sử dụng [SpeechT5Tokenizer](/docs/transformers/v5.23.0/vi/model_doc/speecht5#transformers.SpeechT5Tokenizer). Xem [encode()](/docs/transformers/v5.23.0/vi/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.encode) và [__call__()](/docs/transformers/v5.23.0/vi/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.__call__) để biết chi tiết.  [Input IDs là gì?](../glossary#input-ids)

attention_mask (`torch.LongTensor` có hình dạng `(batch_size, sequence_length)`, *tùy chọn*) : Mặt nạ để tránh thực hiện chú ý trên các chỉ số token đệm. Các giá trị mặt nạ được chọn trong `[0, 1]`:  - 1 cho các token **không bị che**, - 0 cho các token **bị che**.  [Mặt nạ chú ý là gì?](../glossary#attention-mask)

decoder_input_values (`torch.Tensor` có shape `(batch_size, sequence_length, config.num_mel_bins)`) : Các giá trị float của mel spectrogram đầu vào. SpeechT5 sử dụng phổ tất cả bằng không làm token khởi đầu cho việc tạo `decoder_input_values`. Nếu sử dụng `past_key_values`, tùy chọn chỉ cần nhập `decoder_input_values` cuối cùng (xem `past_key_values`).

decoder_attention_mask (`torch.LongTensor` có shape `(batch_size, target_sequence_length)`, *tùy chọn*) : Hành vi mặc định: tạo một tensor bỏ qua các pad token trong `decoder_input_values`. Causal mask cũng sẽ được sử dụng theo mặc định. Nếu bạn muốn thay đổi hành vi padding, bạn nên đọc `SpeechT5Decoder._prepare_decoder_attention_mask` và chỉnh sửa theo nhu cầu. Xem sơ đồ 1 trong [bài báo](https://huggingface.co/papers/1910.13461) để biết thêm thông tin về chiến lược mặc định.

encoder_outputs (`tuple[tuple[torch.Tensor]]`, *tùy chọn*) : Tuple bao gồm (`last_hidden_state`, *tùy chọn*: `hidden_states`, *tùy chọn*: `attentions`) `last_hidden_state` có hình dạng `(batch_size, sequence_length, hidden_size)`, *tùy chọn*) là một chuỗi các hidden-states tại đầu ra của lớp cuối cùng của encoder. Được sử dụng trong cross-attention của decoder.

past_key_values (`~cache_utils.Cache`, *tùy chọn*) : Các hidden-states đã tính trước (key và values trong các khối self-attention và cross-attention) có thể được sử dụng để tăng tốc giải mã tuần tự. Điều này thường bao gồm `past_key_values` do mô hình trả về ở một giai đoạn giải mã trước đó, khi `use_cache=True` hoặc `config.use_cache=True`.  Chỉ cho phép [Cache](/docs/transformers/v5.23.0/vi/internal/generation_utils#transformers.Cache) instance làm đầu vào, xem [hướng dẫn kv cache](https://huggingface.co/docs/transformers/en/kv_cache) của chúng tôi. Nếu không truyền `past_key_values`, [DynamicCache](/docs/transformers/v5.23.0/vi/internal/generation_utils#transformers.DynamicCache) sẽ được khởi tạo theo mặc định.  Mô hình sẽ xuất ra cùng định dạng cache được đưa vào làm đầu vào.  Nếu sử dụng `past_key_values`, người dùng được kỳ vọng chỉ nhập các `input_ids` chưa được xử lý (những phần chưa có trạng thái key value quá khứ được cung cấp cho mô hình này) có shape `(batch_size, unprocessed_length)` thay vì tất cả `input_ids` có shape `(batch_size, sequence_length)`.

use_cache (`bool`, *tùy chọn*) : Nếu được đặt thành `True`, các trạng thái khóa và giá trị `past_key_values` sẽ được trả về và có thể được sử dụng để tăng tốc quá trình giải mã (xem `past_key_values`).

output_attentions (`bool`, *tùy chọn*) : Có trả về các tensor chú ý của tất cả các lớp chú ý hay không. Xem `attentions` trong phần tensor trả về để biết thêm chi tiết.

output_hidden_states (`bool`, *tuỳ chọn*) : Có trả về trạng thái ẩn của tất cả các lớp hay không. Xem `hidden_states` trong phần tensor trả về để biết thêm chi tiết.

return_dict (`bool`, *tùy chọn*) : Có trả về [ModelOutput](/docs/transformers/v5.23.0/vi/main_classes/output#transformers.utils.ModelOutput) thay vì một tuple thông thường hay không.

speaker_embeddings (`torch.Tensor` có shape `(batch_size, config.speaker_embedding_dim)`, *tùy chọn*) : Tensor chứa các speaker embeddings.

labels (`torch.Tensor` có shape `(batch_size, sequence_length, config.num_mel_bins)`, *tùy chọn*) : Các giá trị float của mel spectrogram đích. Các bước thời gian được đặt thành `-100.0` sẽ bị bỏ qua (masked) trong quá trình tính toán loss. Có thể lấy được các spectrogram bằng cách sử dụng [SpeechT5Processor](/docs/transformers/v5.23.0/vi/model_doc/speecht5#transformers.SpeechT5Processor). Xem [SpeechT5Processor.__call__()](/docs/transformers/v5.23.0/vi/model_doc/speecht5#transformers.SpeechT5Processor.__call__) để biết thêm chi tiết.

stop_labels (`torch.Tensor` có hình dạng `(batch_size, sequence_length)`, *tùy chọn*) : Tensor nhị phân chỉ định vị trí của token dừng trong chuỗi.

**Trả về:** [Seq2SeqSpectrogramOutput](/docs/transformers/v5.23.0/vi/main_classes/output#transformers.modeling_outputs.Seq2SeqSpectrogramOutput) hoặc `tuple(torch.Tensor)`

Một [Seq2SeqSpectrogramOutput](/docs/transformers/v5.23.0/vi/main_classes/output#transformers.modeling_outputs.Seq2SeqSpectrogramOutput) hoặc một tuple của `torch.Tensor` (nếu `return_dict=False` được truyền hoặc khi `config.return_dict=False`) bao gồm các phần tử khác nhau tùy thuộc vào cấu hình ([SpeechT5Config](/docs/transformers/v5.23.0/vi/model_doc/speecht5#transformers.SpeechT5Config)) và đầu vào.

Phương thức forward của [SpeechT5ForTextToSpeech](/docs/transformers/v5.23.0/vi/model_doc/speecht5#transformers.SpeechT5ForTextToSpeech) ghi đè lên phương thức đặc biệt `__call__`.

Mặc dù công thức cho bước truyền tiến cần được định nghĩa bên trong hàm này, bạn nên gọi instance của `Module` sau đó thay vì gọi hàm này, vì instance `Module` sẽ đảm nhận việc thực hiện các bước tiền xử lý và hậu xử lý, trong khi hàm này sẽ bỏ qua chúng một cách im lặng.

- **loss** (`torch.Tensor` có hình dạng `(1,)`, *tùy chọn*, được trả về khi `labels` được cung cấp) -- Tổn thất tạo phổ âm (spectrogram).
- **spectrogram** (`torch.Tensor` có hình dạng `(batch_size, sequence_length, num_bins)`) -- Phổ tần số dự đoán.
- **past_key_values** (`EncoderDecoderCache`, *tùy chọn*, được trả về khi `use_cache=True` được truyền vào hoặc khi `config.use_cache=True`) -- Đây là một instance của [EncoderDecoderCache](/docs/transformers/v5.23.0/vi/internal/generation_utils#transformers.EncoderDecoderCache). Để biết thêm chi tiết, hãy xem [hướng dẫn về kv cache](https://huggingface.co/docs/transformers/en/kv_cache) của chúng tôi.

  Chứa các hidden-states đã được tính trước (key và values trong các khối self-attention và trong các khối cross-attention) có thể được sử dụng (xem đầu vào `past_key_values`) để tăng tốc độ giải mã tuần tự.
- **decoder_hidden_states** (`tuple(torch.Tensor)`, *tuỳ chọn*, được trả về khi `output_hidden_states=True` được truyền vào hoặc khi `config.output_hidden_states=True`) -- Bộ tuple của `torch.Tensor` (một cho đầu ra của các embedding, nếu mô hình có lớp embedding, + một cho đầu ra của mỗi lớp) có hình dạng `(batch_size, sequence_length, hidden_size)`.

  Trạng thái ẩn của bộ giải mã tại đầu ra của mỗi lớp cùng với đầu ra của nhúng ban đầu.
- **decoder_attentions** (`tuple(torch.Tensor)`, *tùy chọn*, được trả về khi `output_attentions=True` được truyền vào hoặc khi `config.output_attentions=True`) -- Bộ tuple của `torch.Tensor` (một cho mỗi lớp) có hình dạng `(batch_size, num_heads, sequence_length, sequence_length)`.

  Trọng số chú ý của bộ giải mã, sau softmax chú ý, được sử dụng để tính trung bình có trọng số trong các đầu chú ý tự (self-attention).
- **cross_attentions** (`tuple(torch.Tensor)`, *tuỳ chọn*, được trả về khi `output_attentions=True` được truyền vào hoặc khi `config.output_attentions=True`) -- Bộ tuple của `torch.Tensor` (một cho mỗi lớp) có hình dạng `(batch_size, num_heads, sequence_length, sequence_length)`.

  Trọng số chú ý của lớp cross-attention của bộ giải mã, sau softmax chú ý, được sử dụng để tính trung bình có trọng số trong các đầu chú ý chéo.
- **encoder_last_hidden_state** (`torch.Tensor` có hình dạng `(batch_size, sequence_length, hidden_size)`, *tùy chọn*) -- Chuỗi các trạng thái ẩn tại đầu ra của lớp cuối cùng của bộ mã hóa trong mô hình.
- **encoder_hidden_states** (`tuple(torch.Tensor)`, *tuỳ chọn*, được trả về khi `output_hidden_states=True` được truyền vào hoặc khi `config.output_hidden_states=True`) -- Bộ tuple các `torch.Tensor` (một cho đầu ra của các embedding, nếu mô hình có lớp embedding, + một cho đầu ra của mỗi lớp) có hình dạng `(batch_size, sequence_length, hidden_size)`.

  Trạng thái ẩn của bộ mã hóa tại đầu ra của mỗi lớp cùng với đầu ra của nhúng ban đầu.
- **encoder_attentions** (`tuple(torch.Tensor)`, *tùy chọn*, được trả về khi `output_attentions=True` được truyền vào hoặc khi `config.output_attentions=True`) -- Bộ tuple của `torch.Tensor` (một cho mỗi lớp) có hình dạng `(batch_size, num_heads, sequence_length, sequence_length)`.

  Trọng số chú ý của bộ mã hóa, sau softmax chú ý, được sử dụng để tính trung bình có trọng số trong các đầu chú ý tự thân.

Ví dụ:

```python
>>> from transformers import SpeechT5Processor, SpeechT5ForTextToSpeech, SpeechT5HifiGan, set_seed
>>> import torch

>>> processor = SpeechT5Processor.from_pretrained("microsoft/speecht5_tts")
>>> model = SpeechT5ForTextToSpeech.from_pretrained("microsoft/speecht5_tts")
>>> vocoder = SpeechT5HifiGan.from_pretrained("microsoft/speecht5_hifigan")

>>> inputs = processor(text="Hello, my dog is cute", return_tensors="pt")
>>> speaker_embeddings = torch.zeros((1, 512))  # or load xvectors from a file

>>> set_seed(555)  # make deterministic

>>> # generate speech
>>> speech = model.generate(inputs["input_ids"], speaker_embeddings=speaker_embeddings, vocoder=vocoder)
>>> speech.shape
torch.Size([15872])
```

#### generate[[transformers.SpeechT5ForTextToSpeech.generate]]

```python
generate(input_ids: LongTensor, attention_mask: typing.Optional[torch.LongTensor] = None, speaker_embeddings: typing.Optional[torch.Tensor] = None, threshold: float = 0.5, minlenratio: float = 0.0, maxlenratio: float = 20.0, vocoder: typing.Optional[torch.nn.Module] = None, output_cross_attentions: bool = False, return_output_lengths: bool = False, **kwargs)
```

[Nguồn](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/speecht5/modeling_speecht5.py#L2464)

**Tham số:**

input_ids (`torch.LongTensor` có shape `(batch_size, sequence_length)`) : Chỉ số của các token trong chuỗi đầu vào thuộc từ vựng.  Các chỉ số này có thể được lấy bằng cách sử dụng [SpeechT5Tokenizer](/docs/transformers/v5.23.0/vi/model_doc/speecht5#transformers.SpeechT5Tokenizer). Xem [encode()](/docs/transformers/v5.23.0/vi/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.encode) và [__call__()](/docs/transformers/v5.23.0/vi/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.__call__) để biết chi tiết.  [Input IDs là gì?](../glossary#input-ids)

attention_mask (`torch.LongTensor` có shape `(batch_size, sequence_length)`) : Attention mask từ tokenizer, bắt buộc cho suy luận theo batch để báo cho model biết vị trí cần bỏ qua các token đệm trong input_ids.

speaker_embeddings (`torch.Tensor` có shape `(batch_size, config.speaker_embedding_dim)`, *tùy chọn*) : Tensor chứa các speaker embeddings.

threshold (`float`, *optional*, mặc định là 0.5) : Chuỗi được tạo sẽ kết thúc khi xác suất của token dừng dự đoán vượt quá giá trị này.

minlenratio (`float`, *tuỳ chọn*, mặc định là 0.0) : Được sử dụng để tính toán độ dài tối thiểu cần thiết cho chuỗi đầu ra.

maxlenratio (`float`, *tuỳ chọn*, mặc định là 20.0) : Được sử dụng để tính toán độ dài tối đa cho phép của chuỗi đầu ra.

vocoder (`nn.Module`, *tuỳ chọn*) : Bộ mã hóa âm thanh (vocoder) chuyển đổi phổ mel thành dạng sóng âm thanh. Nếu là `None`, đầu ra sẽ là phổ mel.

output_cross_attentions (`bool`, *tùy chọn*, mặc định là `False`) : Có trả về các tensor chú ý của các lớp cross-attention trong bộ giải mã hay không.

return_output_lengths (`bool`, *tùy chọn*, mặc định là `False`) : Có trả về độ dài cụ thể của phổ âm/biên độ sóng hay không.

**Trả về:** `tuple(torch.Tensor)` bao gồm các phần tử khác nhau tùy thuộc vào đầu vào

- khi `return_output_lengths` là False
  - **spectrogram** (*tùy chọn*, được trả về khi không cung cấp `vocoder`) `torch.Tensor` có hình dạng `(output_sequence_length, config.num_mel_bins)` -- Phổ log-mel được dự đoán.
  - **waveform** (*tùy chọn*, được trả về khi có `vocoder`) `torch.Tensor` có hình dạng `(num_frames,)` -- Dạng sóng giọng nói dự đoán.
  - **cross_attentions** (*tùy chọn*, được trả về khi `output_cross_attentions` là `True`) `torch.Tensor` có hình dạng `(config.decoder_layers, config.decoder_attention_heads, output_sequence_length, input_sequence_length)` -- Đầu ra của các lớp cross-attention của decoder.
- khi `return_output_lengths` là True
  - **spectrogram** (*tùy chọn*, được trả về khi không cung cấp `vocoder`) `torch.Tensor` có hình dạng `(batch_size, output_sequence_length, config.num_mel_bins)` -- Các log-mel spectrogram dự đoán được đệm đến độ dài tối đa.
  - **spectrogram_lengths** (*tùy chọn*, được trả về khi không cung cấp `vocoder`) `list[Int]` -- Một danh sách chứa tất cả các độ dài cụ thể cho từng spectrogram.
  - **biên độ sóng** (*tùy chọn*, được trả về khi cung cấp `vocoder`) `torch.Tensor` có hình dạng `(batch_size, num_frames)` -- Các biên độ sóng giọng nói dự đoán, được đệm (padding) đến độ dài tối đa.
  - **waveform_lengths** (*tùy chọn*, được trả về khi có `vocoder`) `list[Int]` -- Một danh sách chứa tất cả các độ dài cụ thể cho từng waveform.
  - **cross_attentions** (*tùy chọn*, được trả về khi `output_cross_attentions` là `True`) `torch.Tensor` có hình dạng `(batch_size, config.decoder_layers, config.decoder_attention_heads, output_sequence_length, input_sequence_length)` -- Đầu ra của các lớp cross-attention của decoder.

Chuyển đổi một chuỗi các token đầu vào thành một chuỗi các phổ mel, sau đó được biến đổi thành dạng sóng âm thanh bằng một bộ tạo âm (vocoder).

## SpeechT5ForSpeechToSpeech[[transformers.SpeechT5ForSpeechToSpeech]]

#### transformers.SpeechT5ForSpeechToSpeech[[transformers.SpeechT5ForSpeechToSpeech]]

```python
transformers.SpeechT5ForSpeechToSpeech(config: SpeechT5Config)
```

[Nguồn](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/speecht5/modeling_speecht5.py#L2658)

**Tham số:**

config ([SpeechT5Config](/docs/transformers/v5.23.0/vi/model_doc/speecht5#transformers.SpeechT5Config)) : Lớp cấu hình mô hình chứa tất cả các tham số của mô hình. Khởi tạo bằng tệp cấu hình sẽ không tải trọng số liên quan đến mô hình, chỉ tải cấu hình. Xem phương thức [from_pretrained()](/docs/transformers/v5.23.0/vi/main_classes/model#transformers.PreTrainedModel.from_pretrained) để tải trọng số mô hình.

Mô hình SpeechT5 với bộ mã hóa giọng nói và bộ giải mã giọng nói.

Mô hình này kế thừa từ [PreTrainedModel](/docs/transformers/v5.23.0/vi/main_classes/model#transformers.PreTrainedModel). Xem tài liệu của lớp cha để biết các phương thức chung mà thư viện triển khai cho tất cả các mô hình của nó (chẳng hạn như tải xuống hoặc lưu trữ, thay đổi kích thước các nhúng đầu vào, cắt tỉa các đầu ra, v.v.)

Mô hình này cũng là một lớp con của [torch.nn.Module](https://pytorch.org/docs/stable/nn.html#torch.nn.Module) trong PyTorch. Hãy sử dụng nó như một Module PyTorch thông thường và tham khảo tài liệu PyTorch cho mọi vấn đề liên quan đến cách sử dụng và hành vi chung.

#### forward[[transformers.SpeechT5ForSpeechToSpeech.forward]]

```python
forward(input_values: typing.Optional[torch.Tensor] = None, attention_mask: typing.Optional[torch.LongTensor] = None, decoder_input_values: typing.Optional[torch.Tensor] = None, decoder_attention_mask: typing.Optional[torch.LongTensor] = None, encoder_outputs: tuple[tuple[torch.Tensor]] | None = None, past_key_values: transformers.cache_utils.Cache | None = None, use_cache: bool | None = None, output_attentions: bool | None = None, output_hidden_states: bool | None = None, return_dict: bool | None = None, speaker_embeddings: typing.Optional[torch.Tensor] = None, labels: typing.Optional[torch.Tensor] = None, stop_labels: typing.Optional[torch.Tensor] = None, **kwargs)
```

[Nguồn](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/speecht5/modeling_speecht5.py#L2678)

**Tham số:**

input_values (`torch.Tensor` có shape `(batch_size, sequence_length)`) : Các giá trị float của dạng sóng âm thanh thô đầu vào. Các giá trị này có thể được lấy bằng cách nạp tệp âm thanh *.flac* hoặc *.wav* vào một mảng có kiểu `list[float]`, một `numpy.ndarray` hoặc một `torch.Tensor`, *ví dụ* thông qua thư viện torchcodec (`pip install torchcodec`) hoặc thư viện soundfile (`pip install soundfile`). Để chuẩn bị mảng thành `input_values`, cần sử dụng [SpeechT5Processor](/docs/transformers/v5.23.0/vi/model_doc/speecht5#transformers.SpeechT5Processor) để thực hiện padding và chuyển đổi thành tensor có kiểu `torch.Tensor`. Xem [SpeechT5Processor.__call__()](/docs/transformers/v5.23.0/vi/model_doc/speecht5#transformers.SpeechT5Processor.__call__) để biết thêm chi tiết.

attention_mask (`torch.LongTensor` có hình dạng `(batch_size, sequence_length)`, *tùy chọn*) : Mặt nạ để tránh thực hiện chú ý trên các chỉ số token đệm. Các giá trị mặt nạ được chọn trong `[0, 1]`:  - 1 cho các token **không bị che**, - 0 cho các token **bị che**.  [Mặt nạ chú ý là gì?](../glossary#attention-mask)

decoder_input_values (`torch.Tensor` có shape `(batch_size, sequence_length, config.num_mel_bins)`) : Các giá trị float của mel spectrogram đầu vào. SpeechT5 sử dụng phổ tất cả bằng không làm token khởi đầu cho việc tạo `decoder_input_values`. Nếu sử dụng `past_key_values`, tùy chọn chỉ cần nhập `decoder_input_values` cuối cùng (xem `past_key_values`).

decoder_attention_mask (`torch.LongTensor` có shape `(batch_size, target_sequence_length)`, *tùy chọn*) : Hành vi mặc định: tạo một tensor bỏ qua các pad token trong `decoder_input_values`. Causal mask cũng sẽ được sử dụng theo mặc định. Nếu bạn muốn thay đổi hành vi padding, bạn nên đọc `SpeechT5Decoder._prepare_decoder_attention_mask` và chỉnh sửa theo nhu cầu. Xem sơ đồ 1 trong [bài báo](https://huggingface.co/papers/1910.13461) để biết thêm thông tin về chiến lược mặc định.

encoder_outputs (`tuple[tuple[torch.Tensor]]`, *tùy chọn*) : Tuple bao gồm (`last_hidden_state`, *tùy chọn*: `hidden_states`, *tùy chọn*: `attentions`) `last_hidden_state` có hình dạng `(batch_size, sequence_length, hidden_size)`, *tùy chọn*) là một chuỗi các hidden-states tại đầu ra của lớp cuối cùng của encoder. Được sử dụng trong cross-attention của decoder.

past_key_values (`~cache_utils.Cache`, *tùy chọn*) : Các hidden-states đã tính trước (key và values trong các khối self-attention và cross-attention) có thể được sử dụng để tăng tốc giải mã tuần tự. Điều này thường bao gồm `past_key_values` do mô hình trả về ở một giai đoạn giải mã trước đó, khi `use_cache=True` hoặc `config.use_cache=True`.  Chỉ cho phép [Cache](/docs/transformers/v5.23.0/vi/internal/generation_utils#transformers.Cache) instance làm đầu vào, xem [hướng dẫn kv cache](https://huggingface.co/docs/transformers/en/kv_cache) của chúng tôi. Nếu không truyền `past_key_values`, [DynamicCache](/docs/transformers/v5.23.0/vi/internal/generation_utils#transformers.DynamicCache) sẽ được khởi tạo theo mặc định.  Mô hình sẽ xuất ra cùng định dạng cache được đưa vào làm đầu vào.  Nếu sử dụng `past_key_values`, người dùng được kỳ vọng chỉ nhập các `input_ids` chưa được xử lý (những phần chưa có trạng thái key value quá khứ được cung cấp cho mô hình này) có shape `(batch_size, unprocessed_length)` thay vì tất cả `input_ids` có shape `(batch_size, sequence_length)`.

use_cache (`bool`, *tùy chọn*) : Nếu được đặt thành `True`, các trạng thái khóa và giá trị `past_key_values` sẽ được trả về và có thể được sử dụng để tăng tốc quá trình giải mã (xem `past_key_values`).

output_attentions (`bool`, *tùy chọn*) : Có trả về các tensor chú ý của tất cả các lớp chú ý hay không. Xem `attentions` trong phần tensor trả về để biết thêm chi tiết.

output_hidden_states (`bool`, *tuỳ chọn*) : Có trả về trạng thái ẩn của tất cả các lớp hay không. Xem `hidden_states` trong phần tensor trả về để biết thêm chi tiết.

return_dict (`bool`, *tùy chọn*) : Có trả về [ModelOutput](/docs/transformers/v5.23.0/vi/main_classes/output#transformers.utils.ModelOutput) thay vì một tuple thông thường hay không.

speaker_embeddings (`torch.Tensor` có shape `(batch_size, config.speaker_embedding_dim)`, *tùy chọn*) : Tensor chứa các speaker embeddings.

labels (`torch.Tensor` có shape `(batch_size, sequence_length, config.num_mel_bins)`, *tùy chọn*) : Các giá trị float của mel spectrogram đích. Có thể lấy spectrogram bằng [SpeechT5Processor](/docs/transformers/v5.23.0/vi/model_doc/speecht5#transformers.SpeechT5Processor). Xem [SpeechT5Processor.__call__()](/docs/transformers/v5.23.0/vi/model_doc/speecht5#transformers.SpeechT5Processor.__call__) để biết chi tiết.

stop_labels (`torch.Tensor` có hình dạng `(batch_size, sequence_length)`, *tùy chọn*) : Tensor nhị phân chỉ định vị trí của token dừng trong chuỗi.

**Trả về:** [Seq2SeqSpectrogramOutput](/docs/transformers/v5.23.0/vi/main_classes/output#transformers.modeling_outputs.Seq2SeqSpectrogramOutput) hoặc `tuple(torch.Tensor)`

Một [Seq2SeqSpectrogramOutput](/docs/transformers/v5.23.0/vi/main_classes/output#transformers.modeling_outputs.Seq2SeqSpectrogramOutput) hoặc một tuple của `torch.Tensor` (nếu `return_dict=False` được truyền hoặc khi `config.return_dict=False`) bao gồm các phần tử khác nhau tùy thuộc vào cấu hình ([SpeechT5Config](/docs/transformers/v5.23.0/vi/model_doc/speecht5#transformers.SpeechT5Config)) và đầu vào.

Phương thức forward của [SpeechT5ForSpeechToSpeech](/docs/transformers/v5.23.0/vi/model_doc/speecht5#transformers.SpeechT5ForSpeechToSpeech) ghi đè lên phương thức đặc biệt `__call__`.

Mặc dù công thức cho bước truyền tiến cần được định nghĩa bên trong hàm này, bạn nên gọi instance của `Module` sau đó thay vì gọi hàm này, vì instance `Module` sẽ đảm nhận việc thực hiện các bước tiền xử lý và hậu xử lý, trong khi hàm này sẽ bỏ qua chúng một cách im lặng.

- **loss** (`torch.Tensor` có hình dạng `(1,)`, *tùy chọn*, được trả về khi `labels` được cung cấp) -- Tổn thất tạo phổ âm (spectrogram).
- **spectrogram** (`torch.Tensor` có hình dạng `(batch_size, sequence_length, num_bins)`) -- Phổ tần số dự đoán.
- **past_key_values** (`EncoderDecoderCache`, *tùy chọn*, được trả về khi `use_cache=True` được truyền vào hoặc khi `config.use_cache=True`) -- Đây là một instance của [EncoderDecoderCache](/docs/transformers/v5.23.0/vi/internal/generation_utils#transformers.EncoderDecoderCache). Để biết thêm chi tiết, hãy xem [hướng dẫn về kv cache](https://huggingface.co/docs/transformers/en/kv_cache) của chúng tôi.

  Chứa các hidden-states đã được tính trước (key và values trong các khối self-attention và trong các khối cross-attention) có thể được sử dụng (xem đầu vào `past_key_values`) để tăng tốc độ giải mã tuần tự.
- **decoder_hidden_states** (`tuple(torch.Tensor)`, *tuỳ chọn*, được trả về khi `output_hidden_states=True` được truyền vào hoặc khi `config.output_hidden_states=True`) -- Bộ tuple của `torch.Tensor` (một cho đầu ra của các embedding, nếu mô hình có lớp embedding, + một cho đầu ra của mỗi lớp) có hình dạng `(batch_size, sequence_length, hidden_size)`.

  Trạng thái ẩn của bộ giải mã tại đầu ra của mỗi lớp cùng với đầu ra của nhúng ban đầu.
- **decoder_attentions** (`tuple(torch.Tensor)`, *tùy chọn*, được trả về khi `output_attentions=True` được truyền vào hoặc khi `config.output_attentions=True`) -- Bộ tuple của `torch.Tensor` (một cho mỗi lớp) có hình dạng `(batch_size, num_heads, sequence_length, sequence_length)`.

  Trọng số chú ý của bộ giải mã, sau softmax chú ý, được sử dụng để tính trung bình có trọng số trong các đầu chú ý tự (self-attention).
- **cross_attentions** (`tuple(torch.Tensor)`, *tuỳ chọn*, được trả về khi `output_attentions=True` được truyền vào hoặc khi `config.output_attentions=True`) -- Bộ tuple của `torch.Tensor` (một cho mỗi lớp) có hình dạng `(batch_size, num_heads, sequence_length, sequence_length)`.

  Trọng số chú ý của lớp cross-attention của bộ giải mã, sau softmax chú ý, được sử dụng để tính trung bình có trọng số trong các đầu chú ý chéo.
- **encoder_last_hidden_state** (`torch.Tensor` có hình dạng `(batch_size, sequence_length, hidden_size)`, *tùy chọn*) -- Chuỗi các trạng thái ẩn tại đầu ra của lớp cuối cùng của bộ mã hóa trong mô hình.
- **encoder_hidden_states** (`tuple(torch.Tensor)`, *tuỳ chọn*, được trả về khi `output_hidden_states=True` được truyền vào hoặc khi `config.output_hidden_states=True`) -- Bộ tuple các `torch.Tensor` (một cho đầu ra của các embedding, nếu mô hình có lớp embedding, + một cho đầu ra của mỗi lớp) có hình dạng `(batch_size, sequence_length, hidden_size)`.

  Trạng thái ẩn của bộ mã hóa tại đầu ra của mỗi lớp cùng với đầu ra của nhúng ban đầu.
- **encoder_attentions** (`tuple(torch.Tensor)`, *tùy chọn*, được trả về khi `output_attentions=True` được truyền vào hoặc khi `config.output_attentions=True`) -- Bộ tuple của `torch.Tensor` (một cho mỗi lớp) có hình dạng `(batch_size, num_heads, sequence_length, sequence_length)`.

  Trọng số chú ý của bộ mã hóa, sau softmax chú ý, được sử dụng để tính trung bình có trọng số trong các đầu chú ý tự thân.

Ví dụ:

```python
>>> from transformers import SpeechT5Processor, SpeechT5ForSpeechToSpeech, SpeechT5HifiGan, set_seed
>>> from datasets import load_dataset
>>> import torch

>>> dataset = load_dataset(
...     "hf-internal-testing/librispeech_asr_demo", "clean", split="validation"
... )  # doctest: +IGNORE_RESULT
>>> dataset = dataset.sort("id")
>>> sampling_rate = dataset.features["audio"].sampling_rate

>>> processor = SpeechT5Processor.from_pretrained("microsoft/speecht5_vc")
>>> model = SpeechT5ForSpeechToSpeech.from_pretrained("microsoft/speecht5_vc")
>>> vocoder = SpeechT5HifiGan.from_pretrained("microsoft/speecht5_hifigan")

>>> # audio file is decoded on the fly
>>> inputs = processor(audio=dataset[0]["audio"]["array"], sampling_rate=sampling_rate, return_tensors="pt")

>>> speaker_embeddings = torch.zeros((1, 512))  # or load xvectors from a file

>>> set_seed(555)  # make deterministic

>>> # generate speech
>>> speech = model.generate_speech(inputs["input_values"], speaker_embeddings, vocoder=vocoder)
>>> speech.shape
torch.Size([77824])
```

#### generate_speech[[transformers.SpeechT5ForSpeechToSpeech.generate_speech]]

```python
generate_speech(input_values: Tensor, speaker_embeddings: typing.Optional[torch.Tensor] = None, attention_mask: typing.Optional[torch.LongTensor] = None, threshold: float = 0.5, minlenratio: float = 0.0, maxlenratio: float = 20.0, vocoder: typing.Optional[torch.nn.Module] = None, output_cross_attentions: bool = False, return_output_lengths: bool = False)
```

[Nguồn](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/speecht5/modeling_speecht5.py#L2796)

**Tham số:**

input_values (`torch.Tensor` có shape `(batch_size, sequence_length)`) : Các giá trị float của waveform âm thanh thô đầu vào. Các giá trị này có thể được lấy bằng cách nạp tệp âm thanh *.flac* hoặc *.wav* vào một mảng có kiểu `list[float]`, một `numpy.ndarray` hoặc một `torch.Tensor`, *ví dụ* thông qua thư viện torchcodec (`pip install torchcodec`) hoặc thư viện soundfile (`pip install soundfile`). Để chuẩn bị mảng thành `input_values`, cần sử dụng [SpeechT5Processor](/docs/transformers/v5.23.0/vi/model_doc/speecht5#transformers.SpeechT5Processor) để thực hiện padding và chuyển đổi thành tensor có kiểu `torch.Tensor`. Xem [SpeechT5Processor.__call__()](/docs/transformers/v5.23.0/vi/model_doc/speecht5#transformers.SpeechT5Processor.__call__) để biết chi tiết.

speaker_embeddings (`torch.Tensor` có shape `(batch_size, config.speaker_embedding_dim)`, *tùy chọn*) : Tensor chứa các speaker embeddings.

attention_mask (`torch.LongTensor` có hình dạng `(batch_size, sequence_length)`, *tùy chọn*) : Mặt nạ để tránh thực hiện phép tích chập và chú ý trên các chỉ số token đệm. Các giá trị mặt nạ được chọn trong `[0, 1]`:  - 1 cho các token **không bị che**, - 0 cho các token **bị che**.  [Mặt nạ chú ý là gì?](../glossary#attention-mask)

threshold (`float`, *optional*, mặc định là 0.5) : Chuỗi được tạo sẽ kết thúc khi xác suất của token dừng dự đoán vượt quá giá trị này.

minlenratio (`float`, *tuỳ chọn*, mặc định là 0.0) : Được sử dụng để tính toán độ dài tối thiểu cần thiết cho chuỗi đầu ra.

maxlenratio (`float`, *tuỳ chọn*, mặc định là 20.0) : Được sử dụng để tính toán độ dài tối đa cho phép của chuỗi đầu ra.

vocoder (`nn.Module`, *tùy chọn*, mặc định là `None`) : Bộ mã hóa âm thanh (vocoder) chuyển đổi phổ mel thành dạng sóng âm thanh. Nếu là `None`, đầu ra sẽ là phổ mel.

output_cross_attentions (`bool`, *tùy chọn*, mặc định là `False`) : Có trả về các tensor chú ý của các lớp cross-attention trong bộ giải mã hay không.

return_output_lengths (`bool`, *tùy chọn*, mặc định là `False`) : Có trả về độ dài cụ thể của phổ âm/biên độ sóng hay không.

**Trả về:** `tuple(torch.Tensor)` bao gồm các phần tử khác nhau tùy thuộc vào đầu vào

- khi `return_output_lengths` là False
  - **spectrogram** (*tùy chọn*, được trả về khi không cung cấp `vocoder`) `torch.Tensor` có hình dạng `(output_sequence_length, config.num_mel_bins)` -- Phổ log-mel được dự đoán.
  - **waveform** (*tùy chọn*, được trả về khi có `vocoder`) `torch.Tensor` có hình dạng `(num_frames,)` -- Dạng sóng giọng nói dự đoán.
  - **cross_attentions** (*tùy chọn*, được trả về khi `output_cross_attentions` là `True`) `torch.Tensor` có hình dạng `(config.decoder_layers, config.decoder_attention_heads, output_sequence_length, input_sequence_length)` -- Đầu ra của các lớp cross-attention của decoder.
- khi `return_output_lengths` là True
  - **spectrogram** (*tùy chọn*, được trả về khi không cung cấp `vocoder`) `torch.Tensor` có hình dạng `(batch_size, output_sequence_length, config.num_mel_bins)` -- Các log-mel spectrogram dự đoán được đệm đến độ dài tối đa.
  - **spectrogram_lengths** (*tùy chọn*, được trả về khi không cung cấp `vocoder`) `list[Int]` -- Một danh sách chứa tất cả các độ dài cụ thể cho từng spectrogram.
  - **biên độ sóng** (*tùy chọn*, được trả về khi cung cấp `vocoder`) `torch.Tensor` có hình dạng `(batch_size, num_frames)` -- Các biên độ sóng giọng nói dự đoán, được đệm (padding) đến độ dài tối đa.
  - **waveform_lengths** (*tùy chọn*, được trả về khi có `vocoder`) `list[Int]` -- Một danh sách chứa tất cả các độ dài cụ thể cho từng waveform.
  - **cross_attentions** (*tùy chọn*, được trả về khi `output_cross_attentions` là `True`) `torch.Tensor` có hình dạng `(batch_size, config.decoder_layers, config.decoder_attention_heads, output_sequence_length, input_sequence_length)` -- Đầu ra của các lớp cross-attention của decoder.

Chuyển đổi một dạng sóng âm thanh thô thành một chuỗi các phổ mel, sau đó các phổ này được chuyển đổi ngược lại thành dạng sóng âm thanh bằng một bộ tạo âm (vocoder).

## SpeechT5HifiGan[[transformers.SpeechT5HifiGan]]

#### transformers.SpeechT5HifiGan[[transformers.SpeechT5HifiGan]]

```python
transformers.SpeechT5HifiGan(config: SpeechT5HifiGanConfig)
```

[Nguồn](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/speecht5/modeling_speecht5.py#L2954)

**Tham số:**

config ([SpeechT5HifiGanConfig](/docs/transformers/v5.23.0/vi/model_doc/speecht5#transformers.SpeechT5HifiGanConfig)) : Lớp cấu hình mô hình chứa tất cả các tham số của mô hình. Khởi tạo bằng tệp cấu hình sẽ không tải trọng số liên quan đến mô hình, chỉ tải cấu hình. Xem phương thức [from_pretrained()](/docs/transformers/v5.23.0/vi/main_classes/model#transformers.PreTrainedModel.from_pretrained) để tải trọng số mô hình.

Vocoder HiFi-GAN.

Mô hình này kế thừa từ [PreTrainedModel](/docs/transformers/v5.23.0/vi/main_classes/model#transformers.PreTrainedModel). Xem tài liệu của lớp cha để biết các phương thức chung mà thư viện triển khai cho tất cả các mô hình của nó (chẳng hạn như tải xuống hoặc lưu trữ, thay đổi kích thước các nhúng đầu vào, cắt tỉa các đầu ra, v.v.)

Mô hình này cũng là một lớp con của [torch.nn.Module](https://pytorch.org/docs/stable/nn.html#torch.nn.Module) trong PyTorch. Hãy sử dụng nó như một Module PyTorch thông thường và tham khảo tài liệu PyTorch cho mọi vấn đề liên quan đến cách sử dụng và hành vi chung.

#### forward[[transformers.SpeechT5HifiGan.forward]]

```python
forward(spectrogram: Tensor, **kwargs)
```

[Nguồn](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/speecht5/modeling_speecht5.py#L3022)

**Tham số:**

spectrogram (`torch.Tensor`) : Tensor chứa các phổ log-mel. Có thể được batch và có shape `(batch_size, sequence_length, config.model_in_dim)`, hoặc không batch và có shape `(sequence_length, config.model_in_dim)`.

**Trả về:** `torch.Tensor`

Tensor chứa dạng sóng âm thanh. Nếu phổ đồ đầu vào được nhóm (batched), sẽ có hình dạng `(batch_size, num_frames,)`. Nếu không nhóm, sẽ có hình dạng `(num_frames,)`.

Chuyển đổi phổ log-mel thành dạng sóng âm thanh. Truyền vào một lô (batch) các phổ log-mel sẽ trả về một lô các dạng sóng âm thanh. Truyền vào một phổ log-mel đơn lẻ, không nằm trong lô, sẽ trả về một dạng sóng âm thanh đơn lẻ, không nằm trong lô.

