LanThySpace / app.py
julylun's picture
Add MonoT5 - Rerank model to LanThy space
594ad29
raw
history blame
642 Bytes
import gradio as gr
from transformers import AutoTokenizer, AutoModelForSeq2SeqLM
# Tải mô hình MonoT5
model_name = "google/monot5-small"
model = AutoModelForSeq2SeqLM.from_pretrained(model_name)
tokenizer = AutoTokenizer.from_pretrained(model_name)
# Hàm xử lý đầu vào và tạo đầu ra
def generate_text(input_text):
inputs = tokenizer(input_text, return_tensors="pt")
outputs = model.generate(inputs["input_ids"])
decoded_output = tokenizer.decode(outputs[0], skip_special_tokens=True)
return decoded_output
# Tạo giao diện Gradio
gr.Interface(fn=generate_text, inputs="text", outputs="text").launch()