У гугла есть ряд моделей flan-t5, из которых google/flan-t5-large предпосленяя по размеру, должна как то адекватно отвечать.
from transformers import AutoTokenizer, AutoModelForSeq2SeqLM
model_name = "google/flan-t5-large"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForSeq2SeqLM.from_pretrained(model_name)
input_text = " What is the capital of Italy?"
inputs = tokenizer(input_text, return_tensors="pt")
outputs = model.generate(**inputs, max_new_tokens=50)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))
Говорит, что столица Италии - Turin.
Name 3 green objects. - acorns (желуди, наверное их 3)
What is the biggest country? - Canada
Which countries border Thailand? - Thailand.
