# XLSR-Wav2Vec2

## Resumen

El modelo XLSR-Wav2Vec2 se propuso en [Unsupervised Cross-Lingual Representation Learning For Speech Recognition](https://huggingface.co/papers/2006.13979) por Alexis Conneau, Alexei Baevski, Ronan Collobert, Abdelrahman Mohamed, Michael Auli.

El resumen del artículo es el siguiente:

*Este artículo presenta XLSR, que aprende representaciones del habla translingüísticas mediante el preentrenamiento de un único modelo a partir de la forma de onda cruda del habla en múltiples idiomas. Nos basamos en wav2vec 2.0, que se entrena resolviendo una tarea contrastiva sobre representaciones latentes enmascaradas del habla y aprende conjuntamente una cuantización de las latentes compartida entre idiomas. El modelo resultante se ajusta con datos etiquetados y los experimentos muestran que el preentrenamiento translingüístico supera significativamente al preentrenamiento monolingüe. En el benchmark CommonVoice, XLSR muestra una reducción del 72% en la tasa de error de fonemas relativa en comparación con los mejores resultados conocidos. En BABEL, nuestro enfoque mejora la tasa de error de palabras en un 16% relativo en comparación con un sistema comparable. Nuestro enfoque permite un único modelo de reconocimiento del habla multilingüe que es competitivo con modelos individuales fuertes. El análisis muestra que las representaciones discretas latentes del habla se comparten entre idiomas, con un mayor grado de compartición para idiomas relacionados. Esperamos catalizar la investigación en la comprensión del habla de bajo recurso mediante la publicación de XLSR-53, un modelo grande preentrenado en 53 idiomas.*

El código original se puede encontrar [aquí](https://github.com/pytorch/fairseq/tree/master/fairseq/models/wav2vec).

Nota: Meta (FAIR) ha publicado una nueva versión de [Wav2Vec2-BERT 2.0](./wav2vec2-bert), preentrenada con 4,5 millones de horas de audio. Recomendamos especialmente su uso en tareas de fine-tuning, por ejemplo, siguiendo [esta guía](https://huggingface.co/blog/fine-tune-w2v2-bert).

## Consejos de uso

- XLSR-Wav2Vec2 es un modelo de voz que acepta un array de flotantes correspondiente a la forma de onda cruda de la señal de voz.
- El modelo XLSR-Wav2Vec2 se entrenó mediante clasificación temporal conexionista (CTC), por lo que la salida del modelo debe decodificarse usando [Wav2Vec2CTCTokenizer](/docs/transformers/main/es/model_doc/wav2vec2#transformers.Wav2Vec2CTCTokenizer).

La arquitectura de XLSR-Wav2Vec2 se basa en el modelo Wav2Vec2, por lo que se puede consultar la [página de documentación de Wav2Vec2](./wav2vec2).