File size: 2,391 Bytes
94ec463 f998837 64d072b f998837 64d072b f998837 64d072b f998837 64d072b f998837 b00d2fd f998837 591b8fd f998837 d66c5c4 f998837 d9886d7 f998837 |
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 |
---
license: mit
---
**Descrici贸n do Modelo**
Modelo feito con OpenNMT para o par espa帽ol-galego utilizando unha arquitectura transformer.
**Como utilizar**
+ Abrir terminal bash
+ Instalar [Python 3.9](https://www.python.org/downloads/release/python-390/)
+ Instalar [Open NMT toolkit v.2.2](https://github.com/OpenNMT/OpenNMT-py)
+ Traducir un input_text utilizando o modelo NOS-MT-es-gl co seguinte comando:
```bash
onmt_translate -src input_text聽-model NOS-MT-es-gl -output ./output_file.txt -replace_unk -phrase_table phrase_table-es-gl.txt -gpu 0
```
+ O resultado da traduci贸n estar谩 no PATH indicado no flag -output.
**Adestramento**
Datos utilizados para o adestramento
Aut茅nticos e Sint茅ticos (Translitera莽茫o)[Colocar Paper]
**Procedemento de adestramento**
+ Tokenization dos datasets feita co tokenizador de linguakit https://github.com/citiususc/Linguakit
+ O vocabulario para os modelos foi xerado a trav茅s do script [learn_bpe.py](https://github.com/OpenNMT/OpenNMT-py/blob/master/tools/learn_bpe.py) da open NMT
+ Usando o .yaml neste repositorio pode replicar o proceso de adestramento do seguinte xeito
```bash
onmt_build_vocab -config bpe-es-gl_emb.yaml -n_sample 100000
onmt_train -config bpe-es-gl_emb.yaml
```
**Hiperpar谩metros**
Os par谩metros usados para o desenvolvimento do modelo poden ser consultados directamente no mesmo ficheiro .yaml bpe-es-gl_emb.yaml
**Avaliaci贸n**
A avalaci贸n dos modelos 茅 feita cunha mistura de tests desenvolvidos internamente
(gold1, gold2, test-suite) con outros datasets dispon铆beis en galego (Flores).
| GOLD 1 | GOLD 2 | FLORES | TEST-SUITE|
| ------------- |:-------------:| -------:|----------:|
| 79.6 | 43.3 | 21.8 | 74.3 |
**Informaci贸n adicional**
Licensing information
Apache License, Version 2.0
**Financiamento**
This research was funded by the project "N贸s: Galician in the society and economy of artificial intelligence", agreement between Xunta de Galicia and University of Santiago de Compostela, and grant ED431G2019/04 by the Galician Ministry of Education, University and Professional Training, and the European Regional Development Fund (ERDF/FEDER program), and Groups of Reference: ED431C 2020/21.
**Citation Information**
@article{garriga2022catalan,
title={},
author={},
year={2023},
url={}
} |