Почему модель google/flan-t5-large отвечает неправильно?

Question

[zzmaster]

У гугла есть ряд моделей flan-t5, из которых google/flan-t5-large предпосленяя по размеру, должна как то адекватно отвечать.

from transformers import AutoTokenizer, AutoModelForSeq2SeqLM

model_name = "google/flan-t5-large"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForSeq2SeqLM.from_pretrained(model_name)

input_text = " What is the capital of Italy?"
inputs = tokenizer(input_text, return_tensors="pt")


outputs = model.generate(**inputs, max_new_tokens=50)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))

Говорит, что столица Италии - Turin.
Name 3 green objects. - acorns (желуди, наверное их 3)
What is the biggest country? - Canada
Which countries border Thailand? - Thailand.

Хорошо, вот NLP задачи

Paraphrase: For some of these posts, I can’t even remember how I thought about the idea before reading it—it was that impactful.

For some of these posts, I can’t even remember how I thought about the idea before reading it—it was that impactful.

Paraphrase: The whole toy optimizer series is fantastic: each post brings something new and interesting to the table.

The whole toy optimizer series is fantastic: each post brings something new and interesting to the table.

В первом случае язык не повернется сказать, чтоб модель сделала что то полезное, во втором - вообще ничего не сделала

Comments

[Telcontar]

А почему она должна правильно отвечать?

Answer 1

[fenrir]

Потому что любой ответ языковых моделей это предсказание. В них не заложена концепция правильного/не правильного ответа, только минимизация ошибки предсказания через дообучение.

предпосленяя по размеру, должна как то адекватно отвечать

Нет не должна. Это семейство моделей, которые тренировали на решение NLP задач, а не географические задачи

The primary use is research on language models, including: research on zero-shot NLP tasks and in-context few-shot learning NLP tasks, such as reasoning, and question answering; advancing fairness and safety research, and understanding limitations of current large language models

Comments

[zzmaster]

Хорошо, вот NLP задачи

Paraphrase: For some of these posts, I can’t even remember how I thought about the idea before reading it—it was that impactful.

For some of these posts, I can’t even remember how I thought about the idea before reading it—it was that impactful.

Paraphrase: The whole toy optimizer series is fantastic: each post brings something new and interesting to the table.

The whole toy optimizer series is fantastic: each post brings something new and interesting to the table.

В первом случае язык не повернется сказать, чтоб модель сделала что то полезное, во втором - вообще ничего не сделала