目的
高性能なMixtral8x7B-instructを日本語で使用するためのLoraです。
今回cosmopediaを日本語翻訳したデータ20kで学習しました。
https://huggingface.co/datasets/aixsatoshi/cosmopedia-japanese-20k
cosmopediaは、Mixtralで生成されたデータであり、Mixtralの英語機能で得られる知識、論理が凝縮されています。
このデータで学習することで、モデル本来の性能を日本語で引き出すことを目的としました。
性能
前回のcalm2生成の合成データセットでチューニングよりも実際の体感性能がよいように感じます。
https://huggingface.co/aixsatoshi/Mixtral-8x7B-ja-Lora-sft-ChatbotArenaJAcalm2
Limitation
Lora学習であり限界はあります。不自然な日本語が出現することがあります。
日本語で継続事前学習したほうが、高品質な次token予測ができるようになると思います。