File size: 9,535 Bytes

55efe31

---
language: ru
datasets:
- SberDevices/Golos
- mozilla-foundation/common_voice_6_0
metrics:
- wer
- cer
tags:
- audio
- automatic-speech-recognition
- speech
- mozilla-foundation/common_voice_6_0
- SberDevices/Golos
license: apache-2.0
model-index:
- name: XLSR Wav2Vec2 Russian with Language Model by Ivan Bondarenko
  results:
  - task:
      name: Speech Recognition
      type: automatic-speech-recognition
    dataset:
      name: Sberdevices Golos (crowd)
      type: SberDevices/Golos
      args: ru
    metrics:
       - name: Test WER
         type: wer
         value: 7.42
       - name: Test CER
         type: cer
         value: 1.85
  - task:
      name: Speech Recognition
      type: automatic-speech-recognition
    dataset:
      name: Sberdevices Golos (farfield)
      type: SberDevices/Golos
      args: ru
    metrics:
       - name: Test WER
         type: wer
         value: 16.08
       - name: Test CER
         type: cer
         value: 5.27
  - task:
      name: Automatic Speech Recognition
      type: automatic-speech-recognition
    dataset:
      name: Common Voice ru
      type: common_voice
      args: ru
    metrics:
    - name: Test WER
      type: wer
      value: 29.75
    - name: Test CER
      type: cer
      value: 8.15
---
# Wav2Vec2-Large-Ru-Golos-With-LM

Fine-tuned [facebook/wav2vec2-large-xlsr-53](https://huggingface.co/facebook/wav2vec2-large-xlsr-53) on Russian using the [Sberdevices Golos](https://huggingface.co/datasets/SberDevices/Golos). The language model is based on [the Russian National Corpus](https://ruscorpora.ru/en), and this model includes unigrams, bigrams and trigrams.

## Usage

When using this model, make sure that your speech input is sampled at 16kHz.

You can use this model by writing your own inference script:

```python
import os

import librosa
import nltk
import numpy as np

import torch
from datasets import load_dataset
from transformers import Wav2Vec2ForCTC, Wav2Vec2ProcessorWithLM

LANG_ID = "ru"
MODEL_ID = "bond005/wav2vec2-large-ru-golos-with-lm"
SAMPLES = 20

nltk.download('punkt')
num_processes = max(1, os.cpu_count())

test_dataset = load_dataset("common_voice", LANG_ID, split=f"test[:{SAMPLES}]")
processor = Wav2Vec2ProcessorWithLM.from_pretrained(MODEL_ID)
model = Wav2Vec2ForCTC.from_pretrained(MODEL_ID)

# Preprocessing the datasets.
# We need to read the audio files as arrays
def speech_file_to_array_fn(batch):
    speech_array, sampling_rate = librosa.load(batch["path"], sr=16000)
    prepared_sentence = ' '.join(list(filter(
        lambda it: it.isalpha(),
        nltk.wordpunct_tokenize(batch["sentence"].lower().replace('ё', 'е'))
    )))
    batch["speech"] = np.asarray(speech_array, dtype=np.float32)
    batch["sentence"] = prepared_sentence
    return batch

test_dataset = test_dataset.map(speech_file_to_array_fn)

inputs = processor(test_dataset["speech"], sampling_rate=16_000, return_tensors="pt", padding=True)
with torch.no_grad():
    logits = model(inputs.input_values, attention_mask=inputs.attention_mask).logits
predicted_sentences = processor.batch_decode(
    logits=logits.numpy(),
    num_processes=num_processes
).text

for i, predicted_sentence in enumerate(predicted_sentences):
    print("-" * 100)
    print("Reference:", test_dataset[i]["sentence"])
    print("Prediction:", predicted_sentence)
```

```text
----------------------------------------------------------------------------------------------------
Reference: я беру маленький кусочек бумажки
Prediction: либерман чик сочи бумажки
----------------------------------------------------------------------------------------------------
Reference: о потерях пока не сообщается
Prediction: о потерях пока не сообщается оооо
----------------------------------------------------------------------------------------------------
Reference: ваша воля
Prediction: ваша воля
----------------------------------------------------------------------------------------------------
Reference: мы высоко ценим ее роль в этом отношении
Prediction: урс ока цене не роль в этом отношении
----------------------------------------------------------------------------------------------------
Reference: вот это вызывало у нас жуткое отторжение
Prediction: от это вызвал у нас жутко отторжения
----------------------------------------------------------------------------------------------------
Reference: он положил ей букет на книгу
Prediction: он положил букет на книгу
----------------------------------------------------------------------------------------------------
Reference: ну и положу обиделась женя
Prediction: ну я положу обиделась женя
----------------------------------------------------------------------------------------------------
Reference: благодарю представителя австралии за ее заявление
Prediction: богатырю представитель австралии зае заявления
----------------------------------------------------------------------------------------------------
Reference: для меня это не было неожиданностью
Prediction: дай мне это не было неожиданностью
----------------------------------------------------------------------------------------------------
Reference: поздняя ночь
Prediction: поздняя ночь
----------------------------------------------------------------------------------------------------
Reference: тем не менее нужно вновь вычленить некоторые элементы наших политических установок
Prediction: тем не менее нужно мыслить снег корыэлементанажихпалиотических установок
----------------------------------------------------------------------------------------------------
Reference: мы не можем позволить себе упустить эту возможность
Prediction: мы не можем под болить чи опустить эту возможность
----------------------------------------------------------------------------------------------------
Reference: в предстоящие месяцы суд примет решение по ордеру на арест министра обороны хусейна
Prediction: в предстоящие месяцы суд примет решение по ордеру на арест министра обороны хусейна
----------------------------------------------------------------------------------------------------
Reference: валерия живет в старом панельном доме советских времен
Prediction: валерия живето в старом панель тона советских времян
----------------------------------------------------------------------------------------------------
Reference: я вернусь скоро
Prediction: я вернусь скоро
----------------------------------------------------------------------------------------------------
Reference: слово предоставляется его превосходительству принцу зайду
Prediction: слово предоставляется его превосходительство принцу зайду
----------------------------------------------------------------------------------------------------
Reference: ну конечно тебе бы этого хотелось
Prediction: ну конечно тебе этого хотелось
----------------------------------------------------------------------------------------------------
Reference: общественные объединения равны перед законом
Prediction: общественные объединения равны перед законом
----------------------------------------------------------------------------------------------------
Reference: ну что же нету этики эстетики
Prediction: ну что же не то натеки невротики
----------------------------------------------------------------------------------------------------
Reference: сразу же она легла в постель
Prediction: сразу же она легла в пасти
```


The Google Colab version of [this script](https://colab.research.google.com/drive/1SnQmrt6HmMNV-zK-UCPajuwl1JvoCqbX?usp=sharing) is available too.

## Evaluation
This model was evaluated on the test subsets of [SberDevices Golos](https://huggingface.co/datasets/SberDevices/Golos) and [Common Voice 6.0](https://huggingface.co/datasets/common_voice) (Russian part), but it was trained on the train subset of SberDevices Golos only.

## Citation
If you want to cite this model you can use this:

```bibtex
@misc{bondarenko2022wav2vec2-large-ru-golos,
  title={XLSR Wav2Vec2 Russian with Language Model by Ivan Bondarenko},
  author={Bondarenko, Ivan},
  publisher={Hugging Face},
  journal={Hugging Face Hub},
  howpublished={\url{https://huggingface.co/bond005/wav2vec2-large-ru-golos-with-lm}},
  year={2022}
}
```