Названы задачи, с которыми не может справиться искусственный интеллект

Новое исследование выявило задачи, неподвластные искусственному интеллекту. Это считывание показателей аналоговых часов и определение дня, на который выпадает та или иная дата.

Ученые из Эдинбургского университета (Шотландия) проанализировали способности ИИ в области хронометража. Для этого они загрузили набор данных с изображениями часов и календаря в мультимодальные большие языковые модели, способные обрабатывать как визуальную, так и текстовую информацию. Среди моделей были Llama 3.2-Vision, Sonnet, Gemini 2.0 и GPT-4o.

Результаты оказались неудовлетворительными. Более чем в 50% случаев модели не смогли определить время по аналоговым часам и день недели для выбранной даты.

Большинство людей с раннего возраста могут определять время и пользоваться календарями. Результаты исследования подчеркнули значительный пробел в способности ИИ справляться с задачами, которые для человека являются базовыми.

У исследователей есть объяснение «удивительно слабой» способности ИИ распознавать время. Системы обучались на основе примеров с надписями. Однако считывание времени требует другого навыка – пространственного мышления. Так, модель должна была распознавать перекрывающие друг друга стрелки, измерять углы и ориентироваться в различных символах, таких как римские цифры или стилизованные циферблаты.

Также ИИ не мог ответить на вопрос наподобие «Каким днем недели будет 153-й день года?» Правильный ответ был дан всего в 26,3% случаев. Ученые пояснили, что арифметика тривиальна для традиционных компьютеров, но не для больших языковых моделей. ИИ не использует математические алгоритмы, а предсказывает результаты на основе шаблонов из обучающих данных, сообщает arXiv.

Исследование помогло лучше понять «мышление» искусственного интеллекта. Оно выявило область, где чрезмерное доверие ИИ сопряжено с высоким риском ошибок.

Другое исследование показало, что искусственный интеллект может самостоятельно социализироваться. Ученые пронаблюдали за взаимодействием нескольких моделей. Оказалось, что они способны взаимодействовать и приходить к соглашению. Это напомнило ученым об эволюции человеческих сообществ.