Create README.md

README.md

@@ -0,0 +1,170 @@
+---
+license: mit
+datasets:
+- hpprc/emb
+- hotchpotch/japanese-splade-v1-hard-negatives
+- hpprc/msmarco-ja
+language:
+- ja
+base_model:
+- hotchpotch/japanese-splade-base-v1_5
+---
+
+高性能な日本語 [SPLADE](https://github.com/naver/splade) (Sparse Lexical and Expansion Model) モデルです。[テキストからスパースベクトルへの変換デモ](https://huggingface.co/spaces/hotchpotch/japanese-splade-demo-streamlit)で、どのようなスパースベクトルに変換できるか、WebUI から気軽にお試しいただけます。
+
+- ⭐️URLの差し替えを行う
+
+また、モデルの学習には[YAST - Yet Another SPLADE or Sparse Trainer](https://github.com/hotchpotch/yast)を使っています。
+
+
+# 利用方法
+
+## [YASEM (Yet Another Splade|Sparse Embedder)](https://github.com/hotchpotch/yasem)
+
+```bash
+pip install yasem
+```
+
+```python
+from yasem import SpladeEmbedder
+
+model_name = "hotchpotch/japanese-splade-base-v2"
+embedder = SpladeEmbedder(model_name)
+
+query = "車の燃費を向上させる方法は？"
+docs = [
+    "急発進や急ブレーキを避け、一定速度で走行することで燃費が良くなります。",
+    "車の運転時、急発進や急ブレーキをすると、燃費が悪くなります。",
+    "車を長持ちさせるには、消耗品を適切なタイミングで交換することが重要です。",
+]
+
+print(embedder.rank(query, docs, return_documents=True))
+```
+```
+
+```
+```json
+[
+ { 'corpus_id': 0
+ , 'score': 4.28
+ , 'text': '急発進や急ブレーキを避け、一定速度で走行することで燃費が良くなります。' }
+ ,
+ { 'corpus_id': 2
+ , 'score': 2.47
+ , 'text': '車を長持ちさせるには、消耗品を適切なタイミングで交換することが重要です。' }
+ ,
+ { 'corpus_id': 1
+ , 'score': 2.34
+ , 'text': '車の運転時、急発進や急ブレーキをすると、燃費が悪くなります。' }
+]
+```
+
+```python
+sentences = [query] + docs
+
+embeddings = embedder.encode(sentences)
+similarity = embedder.similarity(embeddings, embeddings)
+
+print(similarity)
+```
+
+```json
+[[5.19151189, 4.28027662, 2.34164901, 2.47221905],
+[4.28027662, 11.64426784, 5.00328318, 2.15031016],
+[2.34164901, 5.00328318, 6.05594296, 1.33752085],
+[2.47221905, 2.15031016, 1.33752085, 9.39414744]]
+```
+
+
+```python
+token_values = embedder.get_token_values(embeddings[0])
+print(token_values)
+```
+
+```json
+{
+ '燃費': 1.13,
+ '方法': 1.07,
+ '車': 1.05,
+ '高める': 0.67,
+ '向上': 0.56,
+ '増加': 0.52,
+ '都市': 0.44,
+ 'ガソリン': 0.32,
+ '改善': 0.30,
+ ...
+```
+
+## transformers からの利用
+
+```python
+
+from transformers import AutoModelForMaskedLM, AutoTokenizer
+import torch
+
+model = AutoModelForMaskedLM.from_pretrained(model_name)
+tokenizer = AutoTokenizer.from_pretrained(model_name)
+
+def splade_max_pooling(logits, attention_mask):
+    relu_log = torch.log(1 + torch.relu(logits))
+    weighted_log = relu_log * attention_mask.unsqueeze(-1)
+    max_val, _ = torch.max(weighted_log, dim=1)
+    return max_val
+
+tokens = tokenizer(
+    sentences, return_tensors="pt", padding=True, truncation=True, max_length=512
+)
+tokens = {k: v.to(model.device) for k, v in tokens.items()}
+
+with torch.no_grad():
+    outputs = model(**tokens)
+embeddings = splade_max_pooling(outputs.logits, tokens["attention_mask"])
+
+similarity = torch.matmul(embeddings.unsqueeze(0), embeddings.T).squeeze(0)
+print(similarity)
+```
+
+```python
+tensor([
+   [5.1872, 4.2792, 2.3440, 2.4680],
+   [4.2792, 11.6327, 4.9983, 2.1470],
+   [2.3440, 4.9983, 6.0517, 1.3377],
+   [2.4680, 2.1470, 1.3377, 9.3801]
+])
+```
+
+# ベンチマークスコア
+
+## retrieval (JMTEB)
+
+[JMTEB](https://github.com/sbintuitions/JMTEB) の評価結果です。japanese-splade-base-v1 は [JMTEB をスパースベクトルで評価できるように変更したコード](https://github.com/hotchpotch/JMTEB/tree/add_splade)での評価となっています。 
+なお、japanese-splade-base-v2 は jaqket, mrtydi, jagovfaqs nlp_jornal のドメインを**学習していません**。
+
+
+| モデル名                          | jagovfaqs | jaqket | mrtydi     | nlp_journal <br>title_abs | nlp_journal <br>abs_intro | nlp_journal <br>title_intro | Avg  <br><512 | Avg  <br>ALL |
+| ----------------------------- | --------- | ------ | ---------- | ------------------------- | ------------------------- | --------------------------- | ------------- | ------------ |
+| japanese-splade-base-v2       | 0.7313    | 0.6986 | **0.5106** | **0.9831**                | 0.9067                    | 0.8026                      | **0.7309**    | **0.7722**   |
+| GLuCoSE-base-ja-v2            | 0.6979    | 0.6729 | 0.4186     | 0.9511                    | 0.9029                    | 0.7580                      | 0.6851        | 0.7336       |
+| multilingual-e5-large         | 0.7030    | 0.5878 | 0.4363     | 0.9470                    | 0.8600                    | 0.7248                      | 0.6685        | 0.7098       |
+| ruri-large                    | 0.7668    | 0.6174 | 0.3803     | 0.9658                    | 0.8712                    | 0.7797                      | 0.6826        | 0.7302       |
+| jinaai/jina-embeddings-v3     | 0.7150    | 0.4648 | 0.4545     | 0.9562                    | 0.9843                    | 0.9385                      | 0.6476        | 0.7522       |
+| sarashina-embedding-v1-1b     | 0.7168    | 0.7279 | 0.4195     | 0.9696                    | 0.9394                    | 0.8833                      | 0.7085        | 0.7761       |
+| OpenAI/text-embedding-3-large | 0.7241    | 0.4821 | 0.3488     | 0.9655                    | 0.9933                    | 0.9547                      | 0.6301        | 0.7448       |
+
+## 学習元データセット
+
+-  [hpprc/emb](https://huggingface.co/datasets/hpprc/emb) 
+	- auto-wiki-qa
+	- jsquad
+	- jaquad
+	- auto-wiki-qa-nemotron
+	- quiz-works
+	- quiz-no-mori
+	- baobab-wiki-retrieval
+	- mkqa
+- [hotchpotch/japanese-splade-v1-hard-negatives](https://huggingface.co/datasets/hotchpotch/japanese-splade-v1-hard-negatives)
+	- mmarco
+	- mqa
+	- msmarco-ja
+- 
+ また英語データセットとして、MS Marcoを利用しています。