metadata
{}
chuxin-embedding
chuxin-embedding 是专为增强中文文本检索能力而设计的嵌入模型。它基于bge-m3-retromae[1]，实现了预训练、微调、精调全流程。该模型在来自各个领域的大量语料库上进行训练，语料库的批量非常大。截至 2024 年 8 月 27 日,chuxin-embedding 在检索任务中表现出色，在 C-MTEB 排行榜上排名第一，领先的性能得分为 78.23。
Training Details
基于bge-m3-retromae[1]，主要改动如下：
- 基于bge-m3-retromae[1]在亿级数据上实现了预训练。
- 在收集的公开亿级检索数据集上实现了微调。
- 在收集的公开百万级检索数据集和百万级LLM合成数据集上实现了精调。
- 通过 LLM (QWEN-72B) 进行数据生成，使用 LLM 为message生成新query
- 数据清洗：
- 简单的基于规则清洗
- LLM判断是否可作为搜索引擎查询的query
- rerank模型对(query,message)评分，舍弃pos中的负例，neg中的正例
Collect more data for retrieval-type tasks
- MTP
- BGE-LARGE-zh data
- PEG data
- BGE-M3 data
- miracl/miracl
- FreedomIntelligence/Huatuo26M-Lite
Generate Embedding for text
from FlagEmbedding import BGEM3FlagModel
model = BGEM3FlagModel('chuxin/chuxin-embedding',
use_fp16=True) # Setting use_fp16 to True speeds up computation with a slight performance degradation
sentences_1 = ["样例数据-1", "样例数据-2"]
sentences_2 = ["样例数据-3", "样例数据-1"]
embeddings_1 = model.encode(sentences_1,
batch_size=12,
max_length=1024,
)['dense_vecs']
embeddings_2 = model.encode(sentences_2)['dense_vecs']
similarity = embeddings_1 @ embeddings_2.T
print(similarity)