| pipeline_tag: sentence-similarity | |
| tags: | |
| - sentence-transformers | |
| - feature-extraction | |
| - sentence-similarity | |
| - transformers | |
| 日本語のSentence Embedding用モデル | |
| 以下のモデルから転移学習を実施。 | |
| https://huggingface.co/ken11/albert-base-japanese-v1-with-japanese-tokenizer | |
| 学習データには以下を使用。 | |
| https://huggingface.co/datasets/tzmtwtr/tw-posts-ja | |
| # モチベーション | |
| ベクトル検索のために小規模言語モデルが必要になった。 | |
| AWS Lambdaで動かせるようにしたい。 |