Тесты для оценки интеллекта ИИ назвали бессмысленными

Например, генеральный директор Google заявил, что новая модель Gemini набрала 90% на тесте Massive Multitask Language Understanding (MMLU), а глава Meta* Марк Цукерберг — что их модель Llama достигла 82% на том же тесте.

Проблема в том, что эти тесты не показывают, на какие вопросы ИИ может надежно ответить, и когда его можно безопасно использовать вместо обращения к экспертам-людям. По словам Мартина Сапа, доцента Университета Карнеги-Меллона, тесты не отражают реальных возможностей ИИ и могут вводить в заблуждение, особенно в областях, связанных с высокими рисками, таких как здравоохранение и право.

Эксперты утверждают, что многие из используемых тестов низкого качества и были созданы для оценки более простых систем. Это может привести к неправильным выводам о возможностях современных ИИ моделей, таких как Gemini и Llama.

Несмотря на это, компании продолжают использовать такие тесты для демонстрации своих достижений, что, в свою очередь, рождает мифы о сверхвозможностях ИИ и их дальнейшем развитии.

* Запрещенная в России организация