Winst commited on
Commit
bb84293
1 Parent(s): 8e1b09f

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +19 -47
README.md CHANGED
@@ -1,51 +1,23 @@
1
  ## Usage
2
 
3
  ```python
4
- from transformers import AutoModel, AutoTokenizer
5
- import torch
6
- from torch import nn
7
-
8
-
9
- class Classifier(nn.Module):
10
- def __init__(self):
11
- super(Classifier, self).__init__()
12
- self.fc1 = nn.Linear(1024, 4096)
13
- self.fc2 = nn.Linear(4096, 512)
14
- self.fc3 = nn.Linear(512, 2)
15
- self.dropout = nn.Dropout(p=0.1)
16
- self.leaky_relu = nn.LeakyReLU(negative_slope=0.01)
17
-
18
- def forward(self, x):
19
- x = self.leaky_relu(self.fc1(x))
20
- x = self.dropout(x)
21
- x = self.leaky_relu(self.fc2(x))
22
- x = self.dropout(x)
23
- x = self.fc3(x)
24
- return x
25
-
26
-
27
- class CombinedModel(nn.Module):
28
- def __init__(self, transformer_model_name, classifier_checkpoint_path):
29
- super(CombinedModel, self).__init__()
30
- self.transformer = AutoModel.from_pretrained(transformer_model_name)
31
- self.tokenizer = AutoTokenizer.from_pretrained(transformer_model_name)
32
- self.classifier = Classifier()
33
- classifier_checkpoint = torch.load(classifier_checkpoint_path, map_location=torch.device('mps')) # could set cpu, cuda
34
- self.classifier.load_state_dict(classifier_checkpoint)
35
-
36
- def forward(self, text):
37
- outputs = self.tokenizer(text, return_tensors='pt', truncation=True, padding=True)
38
- transformer_outputs = self.transformer(**outputs)
39
- pooled_output = transformer_outputs.pooler_output
40
- logits = self.classifier(pooled_output)
41
- return logits
42
-
43
-
44
- model = CombinedModel('intfloat/multilingual-e5-large', 'path/to/best_model.pt')
45
- model.eval()
46
-
47
- def get_label(query, doc):
48
- text = f"Запрос: {query} /Документ: {doc}"
49
- logits = model(text)
50
- return torch.softmax(logits, dim=1).detach().numpy()
51
  ```
 
1
  ## Usage
2
 
3
  ```python
4
+ model("""Запрос: Сколько лег игре шахматы?
5
+ /Документ:
6
+ Недавно одна из известнейших развлекательных компаний опубликовала любопытные данные о всплеске
7
+ интереса к шахматам, согласно которым пользователи сети вдруг стали чаще искать в интернете все
8
+ о древнеиндийской игре. Если верить этой информации, то значительно выросло и число новых игроков
9
+ на онлайн‑платформе сhess.com, и количество гугл‑запросов «как играть в шахматы». Причиной оказался
10
+ сериал «Ход королевы», авторы которого и проводили собственное исследование о внезапной
11
+ новой популярности шахмат.""")
12
+ >>> 0.048548725
13
+ model("""Из-за чего вырос интерес к шахматам в последнее время?
14
+ /Документ:
15
+ Недавно одна из известнейших развлекательных компаний опубликовала любопытные данные о всплеске
16
+ интереса к шахматам, согласно которым пользователи сети вдруг стали чаще искать в интернете все
17
+ о древнеиндийской игре. Если верить этой информации, то значительно выросло и число новых игроков
18
+ на онлайн‑платформе сhess.com, и количество гугл‑запросов «как играть в шахматы». Причиной оказался
19
+ сериал «Ход королевы», авторы которого и проводили собственное исследование о внезапной
20
+ новой популярности шахмат.""")
21
+
22
+ >>> 0.81976813
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
23
  ```