Нет, ИИ не может решать задачи в лоб, детерминировано и без галлюцинаций, тем более когда в контексте много информации.
В 'мозги' ИИ затолкали коллосальный объем информации, и оно путается в ней. Но можно очень сильно помочь, если в контекстное окно вместе с задачей, давать всю сопроводительную информацию, которая может понадобиться для ее решения. например просите составить команду для утилиты, добавьте в контекст вывод --help этой утилиты или из документации.. и тут уже проблема другого рода, как выбрать, что именно добавить, ведь контекст не резиновый.
Попробуйте поставить себя на место ИИ, вот у вас код на листочке и у вас нет ничего, только карандашик с листочком, ни интернета с компьютером, ни умного помощника рядом, вы сидите в одни пустой комнате и вас просят вот так сразу дать ответ, заваливая сотнями строк кода и данных.
Если вы сами попробовали бы давать ответ, вы обязательно будете ошибаться с первого раза, даже если прекрасно знаете этот ответ, чем больше информации вы будете выдавать, тем больше глупых ошибок.
ИИ прекрасно подхватил и это свойство человека.
p.s. вот на основе ИИ можно создавать агентов, которые, использую классические детерменированные подходы, будут перекрывать недостатки.
Например, если у вас есть список id,name из пары десятков строк, и вы просите ИИ делать с этими данными что то (например выдать их же но поменяв порядок колонок - name,id) с высокими шансами даже топовые ИИ могут пропустить строки, добавить несуществующие, попутать названия с id и т.п.
Но если вы напишете приложение, которое будет перебирать строки, по одной, добавляя его в контекст к ИИ, предварительно написав соответствующий системный промпт, то качество результата взлетит в небеса, ведь размещая в контекст чата только небольшое количество предыдущих строк (как пример), можно будет прогнать так по строчно, любое количество данных.
Универсально, решить задачу одним способом, создав одного красивого агента, пока не получается (но стараются, например можно предварительно попросить ИИ разработать агента для решения конкретной задачи, топовые модели могут создавать неплохие промпты, писать простенький код и даже ставить задачи самому себе)