File size: 11,354 Bytes
b05ecbb
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
184
185
186
187
188
189
190
191
192
193
194
195
196
197
198
199
200
201
202
203
204
205
206
207
208
209
210
211
212
213
214
215
216
217
218
219
220
221
222
223
224
225
226
227
228
229
230
231
232
233
234
235
236
237
238
239
240
241
242
243
244
245
246
247
248
249
250
251
252
253
254
255
256
257
258
259
260
261
262
263
264
265
266
267
268
269
270
271
272
273
274
275
{
 "cells": [
  {
   "cell_type": "markdown",
   "id": "22da4371",
   "metadata": {},
   "source": [
    "# Summarizer\n",
    "This script is used for summarizing Czech news texts as well as for generating news headlines or abstracts. It can be considered as a demonstration for the application of our summarization models.\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 1,
   "id": "99dc0be0",
   "metadata": {},
   "outputs": [],
   "source": [
    "#dependencies\n",
    "import torch as pt\n",
    "import numpy as np\n",
    "\n",
    "from collections import OrderedDict\n",
    "\n",
    "from transformers import AutoModelForSeq2SeqLM\n",
    "from transformers import  AutoTokenizer\n",
    "\n",
    "from sentence_splitter import SentenceSplitter, split_text_into_sentences\n",
    "\n",
    "#init Summarizer\n",
    "#comment cuda and delete .to(cuda) if using cpuUse\n",
    "class Summarizer:\n",
    "    def __init__(self,model, tokenizer, inference_cfg):\n",
    "        self.model = model\n",
    "        self.model.cuda()\n",
    "        self.tokenizer = tokenizer\n",
    "        self.inference_cfg = inference_cfg\n",
    "        self.enc_max_len = 512\n",
    "    \n",
    "    #tokenize & summarize input texts\n",
    "    def __call__(self, texts, inference_cfg=None):\n",
    "        if type(texts) == str:\n",
    "            texts = [texts]\n",
    "        assert type(texts) == list and type(texts[0]) == str, \"Expected string or list of strings\"\n",
    "        summaries = []\n",
    "        self.inference_cfg = inference_cfg if inference_cfg is not None else self.inference_cfg\n",
    "        for text in texts:\n",
    "            text = self.tokenizer.eos_token.join(SentenceSplitter(language='cs').split(text))\n",
    "            ttext = self.tokenizer(text,max_length = self.enc_max_len, truncation=True, padding=\"max_length\",return_tensors=\"pt\")\n",
    "            summaries.append(self._summarize(ttext,**self.inference_cfg)[0])\n",
    "        return summaries\n",
    "    \n",
    "    #summarize batch of data\n",
    "    def _summarize(self, data, num_beams=1, do_sample=False, \n",
    "                    top_k=50, \n",
    "                    top_p=1.0,\n",
    "                    temperature=1.0,\n",
    "                    repetition_penalty=1.0,\n",
    "                    no_repeat_ngram_size = None,\n",
    "                    max_length=1024,\n",
    "                    min_length=10,\n",
    "                    decode_decoder_ids = False,\n",
    "                    early_stopping = False,**kwargs):\n",
    "        summary = model.generate(input_ids=data[\"input_ids\"].to(\"cuda\"),attention_mask=data[\"attention_mask\"].to(\"cuda\"),\n",
    "                                    num_beams= num_beams,\n",
    "                                   do_sample= do_sample,\n",
    "                                   top_k=top_k,\n",
    "                                   top_p=top_p,\n",
    "                                   temperature=temperature,\n",
    "                                   repetition_penalty=repetition_penalty,\n",
    "                                   max_length=max_length,\n",
    "                                   min_length=min_length,\n",
    "                                   early_stopping=early_stopping,\n",
    "                                 forced_bos_token_id=tokenizer.lang_code_to_id['cs_CZ'])\n",
    "        return self.tokenizer.batch_decode(summary,skip_special_tokens=True)\n",
    "\n",
    "\n"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "24195d3c",
   "metadata": {},
   "source": [
    "# Use\n",
    "- Load Czech summarization model from https://huggingface.co/krotima1\n",
    "- Summarize Czech news texts\n",
    "- Play with summarization parameters"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 2,
   "id": "343ddf97",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "915f91449a8a43458945118791b2654a",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "Downloading:   0%|          | 0.00/480 [00:00<?, ?B/s]"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "432868a8c6164fe8b681d999a5fef236",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "Downloading:   0%|          | 0.00/8.66M [00:00<?, ?B/s]"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "819f555f4bce4fdea3db21fe6c298975",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "Downloading:   0%|          | 0.00/495 [00:00<?, ?B/s]"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "/home/krotima1/projects/python/environment/venv/lib64/python3.6/site-packages/transformers/generation_utils.py:2142: UserWarning: __floordiv__ is deprecated, and its behavior will change in a future version of pytorch. It currently rounds toward 0 (like the 'trunc' function NOT 'floor'). This results in incorrect rounding for negative values. To keep the current behavior, use torch.div(a, b, rounding_mode='trunc'), or for actual floor division, use torch.div(a, b, rounding_mode='floor').\n",
      "  next_indices = next_tokens // vocab_size\n"
     ]
    },
    {
     "data": {
      "text/plain": [
       "['Czech text Input your Czech text Komentář']"
      ]
     },
     "execution_count": 2,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# Summarization config, setting up hyperparameters of inference methods used during summarization\n",
    "def summ_config():\n",
    "    cfg = OrderedDict([\n",
    "        # summarization model - checkpoint from website https://huggingface.co/krotima1\n",
    "        (\"model_name\", \"krotima1/mbart-at2h-c\"),\n",
    "        \n",
    "        #inference configuration of summ parameters\n",
    "        (\"inference_cfg\", OrderedDict([\n",
    "            (\"num_beams\", 4),\n",
    "            (\"top_k\", 40),\n",
    "            (\"top_p\", 0.92),\n",
    "            (\"do_sample\", True),\n",
    "            (\"temperature\", 0.89),\n",
    "            (\"repetition_penalty\", 1.2),\n",
    "            (\"no_repeat_ngram_size\", None),\n",
    "            (\"early_stopping\", True),\n",
    "        #     (\"max_length\", 96),\n",
    "            (\"min_length\", 10),\n",
    "        ])),\n",
    "        #texts to summarize\n",
    "        (\"text\",\n",
    "            [\n",
    "                \"Input your Czech text\",\n",
    "            ]\n",
    "        ),\n",
    "    ])\n",
    "    return cfg\n",
    "cfg = summ_config()\n",
    "#load model & tokenizer\n",
    "model = AutoModelForSeq2SeqLM.from_pretrained(cfg[\"model_name\"])\n",
    "tokenizer = AutoTokenizer.from_pretrained(cfg[\"model_name\"])\n",
    "#init summarizer\n",
    "summarize = Summarizer(model, tokenizer, cfg[\"inference_cfg\"])\n",
    "#summarize Czech texts - jdem na to\n",
    "#cfg[\"text\"]=...\n",
    "summarize(cfg[\"text\"])"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "3f1ff982",
   "metadata": {},
   "source": [
    "#### Change text to summarize"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 3,
   "id": "2f698b53",
   "metadata": {},
   "outputs": [],
   "source": [
    "cfg[\"text\"] = \"Nováčci, které stvořila soutěž Česko hledá SuperStar, vstoupí do konkurence s osvědčenými jmény domácího trhu. Jedním z nich je Lucie Bílá, která vydá kolekci hitů nazvanou Láska je láska. Naopak její kolegyně Anna K. bude mít zbrusu nové písně. Styl alba Anna K.: Noc na zemi prý připomíná rockový nářez s místy až mrazivým soundem.\\nDo společnosti hvězd se vypracoval drsný zpěvák Daniel Landa, jehož album Neofolk vyjde začátkem října. \\\"Na desce jsou písničky, které zdáli folk připomínají. Více než dříve kladu důraz na jejich texty. Neofolk mi přijde jako větší vykřičník a jistě i zlobivější název. Jinak je to bigbít i folk. Po obsahu,\\\" míní Landa, který pracuje na dvou muzikálech. Navíc v listopadu vydá záznam z vyšehradského koncertu, na kterém zpíval písně Karla Kryla.\\nKarel Plíhal si zase oblíbil básníka Josefa Kainara, jemuž vzdává hold na desce Nebe na zemi. Práce na tomto dlouho odkládaném a několikrát ohlašovaném albu se protáhly na šest let. Za tu dobu Plíhal nastudoval Kainarovu tvorbu a našel způsob, kterým by ji nejlépe vyjádřil. Stačí mu k tomu kytara, hlas a hostující zpěvačka Zuzana Navarová.\\nPetr Muk si vybral jiné oblíbence: britskou kapelu Erasure, se kterou kdysi jako vokalista kapely Oceán odehrál 27 koncertů ve Velké Británii a Irsku. Na minialbu Oh L\\\"Amour chce Muk představit některé jejich písně.\\nKoncem září se objeví novinka kapely Kryštof. Třetí album Mikrokosmos vznikalo pod dohledem Jana P. Muchowa, který si přál, aby kryštofovská muzika zněla maximálně živě, bez elektronických či jiných efektů. Hit Srdce, který se dostal do vysílání hudební televize MTV, byl vybrán jako propagační píseň.\\nŘíká se, že třetí album je rozhodující. Přesvědčí se o tom i kapela MIG 21, soustředěná kolem herce a zpěváka Jiřího Macháčka. Jejich nová deska Pop Pop Pop ukazuje směr, kterým MIG 21 poletí. Méně se ví o listopadovém albu Midlife skupiny Support Lesbiens, která letos propustila kytaristu a skladatele Yardu Helešice a buduje nový hudební profil.\\nRuku v ruce s nástupem hudebních DVD přibudou tituly bratří Ebenů, kapel Divokej Bill, Monkey Business nebo Kabát. Teplická formace se chce ohlédnout za dvěma masivními turné let 2003 a 2004, která jí zajistila postavení nejžádanější skupiny v Česku.\""
   ]
  },
  {
   "cell_type": "markdown",
   "id": "bf0ed831",
   "metadata": {},
   "source": [
    "#### summarize"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 9,
   "id": "ec0a0cbd",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "['Hvězdy SuperStar míří do konkurence: Bílá chystá kolekci hitů, Anna K. nové album']"
      ]
     },
     "execution_count": 9,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "summarize(cfg[\"text\"])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "28cce280",
   "metadata": {},
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.6.8"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 5
}