File size: 9,187 Bytes
ed13494 ac50d39 ed13494 ac50d39 ed13494 ac50d39 ed13494 d250f9f ed13494 ac50d39 ed13494 59403ae ed13494 ac50d39 ed13494 c1584e7 59403ae ed13494 d250f9f ed13494 ac50d39 ed13494 ac50d39 d250f9f ac50d39 ed13494 d250f9f ed13494 ac50d39 ed13494 |
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140 141 142 143 144 145 146 147 148 149 150 151 |
{
"cells": [
{
"cell_type": "code",
"execution_count": null,
"id": "initial_id",
"metadata": {
"collapsed": true
},
"outputs": [],
"source": [
"import gradio as gr\n",
"from transformers.utils import logging\n",
"import time\n",
"import joblib\n",
"import re\n",
"import numpy as np\n",
"\n",
"from src import get_lexical_desc,get_morphemic_desc, preprocess\n",
"\n",
"logging.set_verbosity_info()\n",
"logger = logging.get_logger(\"transformers\")"
]
},
{
"cell_type": "code",
"execution_count": null,
"id": "5ac71e99efcd2995",
"metadata": {
"collapsed": false
},
"outputs": [],
"source": [
"loaded_rf = joblib.load(\"rfc_30_0.95.joblib\")\n",
"folders = ['eastern', 'western', 'grabar']\n",
"\n",
"text='western - Աստուած ըսաւ. «Մեր պատկերով, մեր նմանութեան պէս մարդ ընենք, որ տիրապետէն ծովու ձուկերուն, երկինքի թռչուններուն եւ ընտանի անասուններուն, ամբողջ երկրին, ու երկրի վրայ ըսողացող բոլոր սողուններուն».* 27 Աստուած իր պատկերով ստեղծեց մարդը'\n",
"\n",
"\n",
"words=preprocess(text)\n",
"print(len(words))\n",
"desc_lexical=get_lexical_desc(words).reshape((1,-1))\n",
"desc_morphemic=get_morphemic_desc(words).reshape((1,-1))\n",
"\n",
"\n",
"data=np.concatenate([desc_morphemic,desc_lexical],axis=1)\n",
"\n",
"loaded_rf.predict_proba(data)[0]"
]
},
{
"cell_type": "code",
"execution_count": null,
"id": "6db9ac824255b9f3",
"metadata": {
"collapsed": false
},
"outputs": [],
"source": [
"def classify(input_text_message: str):\n",
"\n",
" logger.info(time.strftime(\"%Y.%m.%d, %H:%M:%S\")+' '+'input text message: '+input_text_message)\n",
"\n",
" words=preprocess(input_text_message)\n",
" desc_lexical=get_lexical_desc(words).reshape((1,-1))\n",
" desc_morphemic=get_morphemic_desc(words).reshape((1,-1))\n",
" \n",
" data=np.concatenate([desc_morphemic,desc_lexical],axis=1)\n",
" prediction=loaded_rf.predict_proba(data)[0]\n",
"\n",
" confidences = {labels[i]: float(prediction[i]) for i in range(3)}\n",
"\n",
" logger.info(time.strftime(\"%Y.%m.%d, %H:%M:%S\")+' '+'result '+str(confidences))\n",
" \n",
" return confidences, len(words)\n",
"\n",
"labels = ['eastern armenian', 'western armenian', 'grabar (classic) armenian']\n",
"\n",
"loaded_rf = joblib.load(\"rfc_30_0.95.joblib\")\n",
"\n",
"examples=['western bible - Զաւակնե՜ր, վերջին ժամն է. եւ ինչպէս լսեցիք թէ ՛՛Նեռը պիտի գայ, արդէ՜ն ջատ նեռեր կան. ատկէ կը գիտնանք թէ վերջին ժամն է։ 19 Անոնք մեր մէջէն ելան, բայց մեզմէ չէին, որովհետեւ եթէ ըլլային մեզմէ, կը մնային մեզի հետ։ Բայց մեզմէ ելան, որպէսզի բացայայտուի թէ անոնք բոլորն ալ մեզմէ չէին։ 20 Սակայն դուք օծութիւն ունիք Սուրբէն, ու գիտէք ամէն բան։',\n",
" \n",
"'grabar bible - 1 Եւ տեսեալ զժողովուրդսն ել ի լեառն. եւ իբրեւ նստաւ անդ մատեան առ նա աշակերտքն նորա։ Ե բ-գ 2 Եւ բացեալ զբերան իւր ուսուցանէր զնոսա, եւ ասէր։ 3 Երանի աղքատաց հոգւով, զի նոցա է արքայութիւն երկնից։ 4 Երանի սգաւորաց, զի նոքա մխիթարեսցին։ 5 Երանի հեզոց, զի նոքա ժառանգեսցեն զերկիր։ 6 Երանի որ քաղցեալ եւ ծարաւի իցեն արդարութեան, զի նոքա յագեսցին։ 7 Երանի ողորմածաց, զի նոքա ողորմութիւն գտցեն։ 8 Երանի այնոցիկ որ սուրբ են սրտիւք, զի նոքա զԱստուած',\n",
" \n",
"'eastern bible - Աստուածը»։ Իմ աչքերը կը տեսնեն նրան։ Արդ, նա ոտքի կոխան կը դառնայ, ինչպէս ճանապարհի կաւը։ Աղիւսի 11 ծեփի օր եւ քո ջնջման օր կը փնի այն օրը. այդ օրը կը մերժի քո իրաւունքները։ Քո քաղաքները կ՚ենթարկուեն 12 ասորեստանցիների պաշարման եւ աւարին։ Քո ամուր քաղաքները կը բաժանուեն Տիւրոսից մինչեւ գետը, ծովից ծով եւ լեռից լեռ։ Եւ երկիրը ապականուի իր բնակիչներով հանդերձ՝ իր գործերի պտուղի պատճառով։ Արածացրու 13,14' , \n",
" \n",
"'western wiki - Լայն առումով, Հայոց Ցեղասպանութիւնը կը ներառնէ 1894-1923 թուականներուն Օսմանեան կայսրութեան եւ Թուրքիոյ տարբեր վարչակարգերուն կողմէ ծրագրուած ու հայ ժողովուրդին դէմ շարունակաբար իրականացուած ցեղասպանական քայլերը, հայրենազրկումը, հայութեան ոչնչացման ուղղուած զանգուածային կոտորածները, ցեղային զտումները, հայկական մշակութային ժառանգութեան ոչնչացումը, ինչպէս նաեւ ', \n",
" \n",
"'eastern wiki - Ծնվել է 1908 թվականի օգոստոսի 31-ին բանաստեղծ Արմենակ Սարոյանի և նրա կնոջ՝ Թագուհու ընտանիքում՝ գաղթած Բիթլիս քաղաքից (ներկայիս Թուրքիա), որտեղ, ըստ Սարոյանի, հայերի հետագա կյանքն անհնար էր[5]։ Մանկությունն անցկացրել է Ֆրեզնոյում (Կալիֆոռնիայի նահանգ)։ 1911 թվականին երեսունյոթամյա Արմենակ Սարոյանը մահանում է, և Վիլյամ Սարոյանը եղբոր՝ Հենրիի, և քույրերի՝ Զաբելի ու Կոզեթի հետ տեղափոխվում է որբանոց։ Երբ մայրը պետք է երեքամյա Վիլյամին թողներ որբանոցում, նա Coon Jiger անունով մի տիկնիկ է նվիրում',\n",
" \n",
"'grabar horenatsi - Պատասխանի թղթոյ Սահակայ, եւ խոստումն կատարել զհայցուածս նորա: Մովսէս Խորենացի յաղագս մերոյս ի սկզբան յայսմ բանիցս Սահակայ Բագրատունւոյ խնդալ: Զանսպառ խաղացմունս ի քեզ աստուածայնոցն շնորհացն եւ զանդուլ հոգւոյն ի վերայ քոց իմացուածոցդ զշարժունս ծանեայ ի ձեռն գեղեցիկ խնդրոյս, յառաջ քան զմարմնոյդ՝ զհոգւոյդ ընկալեալ զծանօթութիւն, որ սիրելի իսկ իմոց ախորժակացս է, առաւել եւ ս սովորութեանցս: Վասն որոյ ոչ միայն գովել արժան է զքեզ, այլ եւ ի վերայ քո աղօթել՝ առ ի լինել քեզ միշտ այսպիսի: Զի եթէ վասն բանին մեք, որպէս ասի, պատկեր Աստուածոյ,'\n",
" ]\n",
"\n",
"\n",
"with gr.Blocks() as demo:\n",
" gr.Markdown(\"Check your text for compliance with the NVC rules\")\n",
"\n",
"\n",
" with gr.Tab(\"Single message analysis\"):\n",
" with gr.Row():\n",
" text_input = gr.Textbox(lines=2, placeholder=\"Enter your text here\")\n",
" rec_output = gr.Label(label='Labels', num_top_classes=3)\n",
" txt_output=gr.Textbox(label='Number of words')\n",
" \n",
" text_button = gr.Button(\"Define dialect group\")\n",
" examples_block = gr.Examples(examples=examples,\n",
" inputs=[text_input], )\n",
"\n",
" text_button.click(classify, inputs=text_input,\n",
" outputs=[rec_output,txt_output])\n",
"\n",
"\n",
"\n",
"\n",
"demo.launch(share=True, debug=True)"
]
},
{
"cell_type": "code",
"execution_count": null,
"id": "675f27ee2cd8dcc",
"metadata": {
"collapsed": false
},
"outputs": [],
"source": []
}
],
"metadata": {
"kernelspec": {
"display_name": "torch",
"language": "python",
"name": "torch"
},
"language_info": {
"codemirror_mode": {
"name": "ipython",
"version": 2
},
"file_extension": ".py",
"mimetype": "text/x-python",
"name": "python",
"nbconvert_exporter": "python",
"pygments_lexer": "ipython2",
"version": "2.7.6"
}
},
"nbformat": 4,
"nbformat_minor": 5
}
|