Как проверить, что ИИ достиг уровня интеллекта человека
Чатбот компании OpenAI o3 получил высокий балл в тесте, отмечающем прогресс на пути к общему искусственному интеллекту (AGI). Модель o3 от OpenAI набрала 87,5%, превзойдя предыдущий лучший результат для системы искусственного интеллекта — 55,5%. Это важный шаг по направлению к созданию «общего искусственного интеллекта». Но понять, что ИИ достиг этого уровня очень трудно.
По мнению ученых, ответ на поставленный вопрос можно сформулировать так: если мы больше не сможем создавать задачи, которые обычный человек решает легко, а ИИ с ними не справляется, можно будет сказать, что ИИ практически достиг уровня «общего искусственного интеллекта».
Чатбот компании OpenAI o3 получил высокий балл в тесте, отмечающем прогресс на пути к общему искусственному интеллекту (AGI). Модель o3 от OpenAI набрала 87,5%, превзойдя предыдущий лучший результат для системы искусственного интеллекта — 55,5%.Это важный шаг по направлению к созданию «общего искусственного интеллекта». Но понять, что ИИ достиг этого уровня очень трудно.
Это «настоящий прорыв», говорит исследователь ИИ Франсуа Шолле, который создал тест под названием Abstraction and Reasoning Corpus for Artificial General Intelligence (ARC-AGI) в 2019 году. По словам Шолле, высокий балл в тесте не означает, что AGI — в широком смысле компьютерная система, которая может рассуждать, планировать и обучаться навыкам так же хорошо, как человек, — уже достигнут, но o3 «абсолютно» способен рассуждать и «обладает довольно значительной способностью к обобщению».
Исследователи высоко оценили работу o3 в различных тестах (бенчмарках), включая чрезвычайно сложный тест FrontierMath, о котором в ноябре объявил виртуальный исследовательский институт Epoch AI. «Это чрезвычайно впечатляет», — говорит Дэвид Рейн, исследователь бенчмарков для ИИ.
Но многие, включая Рейна, предупреждают, что трудно сказать, действительно ли тест ARC-AGI измеряет способность ИИ к рассуждению и обобщению. «Было много эталонов, которые якобы измеряли что-то фундаментальное для интеллекта, но оказалось, что это не так», — говорит Рейн. По его словам, охота за все более совершенными тестами продолжается.