RVCの訓練における説明、およびTIPS

本TIPSではどのようにデータの訓練が行われているかを説明します。

訓練の流れ

GUIの訓練タブのstepに沿って説明します。

step1

実験名の設定を行います。

また、モデルに音高ガイド(ピッチ)を考慮させるかもここで設定できます。考慮させない場合はモデルは軽量になりますが、歌唱には向かなくなります。

各実験のデータは/logs/実験名/に配置されます。

step2a

音声の読み込みと前処理を行います。

load audio

音声のあるフォルダを指定すると、そのフォルダ内にある音声ファイルを自動で読み込みます。例えばC:Users\hoge\voicesを指定した場合、C:Users\hoge\voices\voice.mp3は読み込まれますが、C:Users\hoge\voices\dir\voice.mp3は読み込まれません。

音声の読み込みには内部でffmpegを利用しているので、ffmpegで対応している拡張子であれば自動的に読み込まれます。 ffmpegでint16に変換した後、float32に変換し、-1 ~ 1の間に正規化されます。

denoising

音声についてscipyのfiltfiltによる平滑化を行います。

音声の分割

入力した音声はまず、一定期間(max_sil_kept=5秒?)より長く無音が続く部分を検知して音声を分割します。無音で音声を分割した後は、0.3秒のoverlapを含む4秒ごとに音声を分割します。4秒以内に区切られた音声は、音量の正規化を行った後wavファイルを/logs/実験名/0_gt_wavsに、そこから16kのサンプリングレートに変換して/logs/実験名/1_16k_wavsにwavファイルで保存します。

step2b

ピッチの抽出

wavファイルからピッチ(音の高低)の情報を抽出します。parselmouthやpyworldに内蔵されている手法でピッチ情報(=f0)を抽出し、/logs/実験名/2a_f0に保存します。その後、ピッチ情報を対数で変換して1~255の整数に変換し、/logs/実験名/2b-f0nsfに保存します。

feature_printの抽出

HuBERTを用いてwavファイルを事前にembeddingに変換します。/logs/実験名/1_16k_wavsに保存したwavファイルを読み込み、HuBERTでwavファイルを256次元の特徴量に変換し、npy形式で/logs/実験名/3_feature256に保存します。

step3

モデルのトレーニングを行います。

初心者向け用語解説

深層学習ではデータセットを分割し、少しずつ学習を進めていきます。一回のモデルの更新(step)では、batch_size個のデータを取り出し予測と誤差の修正を行います。これをデータセットに対して一通り行うと一epochと数えます。

そのため、学習時間は 1step当たりの学習時間 x (データセット内のデータ数 ÷ バッチサイズ) x epoch数かかります。一般にバッチサイズを大きくするほど学習は安定し、(1step当たりの学習時間÷バッチサイズ)は小さくなりますが、その分GPUのメモリを多く使用します。GPUのRAMはnvidia-smiコマンド等で確認できます。実行環境のマシンに合わせてバッチサイズをできるだけ大きくするとより短時間で学習が可能です。

pretrained modelの指定

RVCではモデルの訓練を0からではなく、事前学習済みの重みから開始するため、少ないデータセットで学習を行えます。

デフォルトでは

音高ガイドを考慮する場合、RVCのある場所/pretrained/f0G40k.pthとRVCのある場所/pretrained/f0D40k.pthを読み込みます。
音高ガイドを考慮しない場合、RVCのある場所/pretrained/G40k.pthとRVCのある場所/pretrained/D40k.pthを読み込みます。

学習時はsave_every_epochごとにモデルのパラメータがlogs/実験名/G_{}.pthとlogs/実験名/D_{}.pthに保存されますが、このパスを指定することで学習を再開したり、もしくは違う実験で学習したモデルの重みから学習を開始できます。

indexの学習

RVCでは学習時に使われたHuBERTの特徴量を保存し、推論時は学習時の特徴量から近い特徴量を探してきて推論を行います。この検索を高速に行うために事前にindexの学習を行います。 indexの学習には近似近傍探索ライブラリのfaissを用います。/logs/実験名/3_feature256の特徴量を読み込み、それを用いて学習したindexを/logs/実験名/add_XXX.indexとして保存します。 (20230428updateよりtotal_fea.npyはindexから読み込むので不要になりました。)

ボタンの説明

モデルのトレーニング: step2bまでを実行した後、このボタンを押すとモデルの学習を行います。
特徴インデックスのトレーニング: モデルのトレーニング後、indexの学習を行います。
ワンクリックトレーニング: step2bまでとモデルのトレーニング、特徴インデックスのトレーニングを一括で行います。