Управление файлами cookie
Настройки файлов cookie
Файлы cookie, необходимые для корректной работы сайта, всегда включены.
Другие файлы cookie можно настроить.
Другие файлы cookie можно настроить.
ИИ заменит фрилансеров? Разбираем исследование CAIS и Scale AI
Примерное время чтения: 7 минут
Хотите всегда быть в курсе событий на рынке IT? Подписывайтесь на наш Telegram-канал!
Сделать рекламный ролик, подготовить архитектурный проект или разработать игру — справится ли ИИ с заказом, за который человеку платят деньги?
Исследователи Center for AI Safety (CAIS) и Scale AI собрали такие задания в тест Remote Labor Index (Индекс удаленной работы) — RLI. В нем проверили, может ли ИИ самостоятельно довести работу до результата, который устроит заказчика.
Исследователи Center for AI Safety (CAIS) и Scale AI собрали такие задания в тест Remote Labor Index (Индекс удаленной работы) — RLI. В нем проверили, может ли ИИ самостоятельно довести работу до результата, который устроит заказчика.
Я Виталий Нижников, ведущий аналитик информационных систем Selecty. В статье освещу, к чему пришли исследователи при подсчете RLI, и какие выводы из этого можно сделать для своей работы уже сейчас.
- Remote Labor Index (RLI) — это тест, который проверяет, способен ли ИИ самостоятельно выполнить реальный фриланс-заказ. В него входят проекты из разных областей: создание сайтов, монтаж видео, анализ данных, графический дизайн и 3D-моделирование.
В тест входят проекты, которые можно выполнить без постоянного участия других людей и оценить по готовому результату. Способность выполнять остальные обязанности — договариваться с клиентом, обучать людей или координировать коллег — требует отдельной проверки.
- Remote Labor Index (RLI) — это тест, который проверяет, способен ли ИИ самостоятельно выполнить реальный фриланс-заказ. В него входят проекты из разных областей: создание сайтов, монтаж видео, анализ данных, графический дизайн и 3D-моделирование.
В тест входят проекты, которые можно выполнить без постоянного участия других людей и оценить по готовому результату. Способность выполнять остальные обязанности — договариваться с клиентом, обучать людей или координировать коллег — требует отдельной проверки.
Содержание
Как проверяли ИИ на реальной работе
В набор вошли 240 проектов из 23 категорий: от дизайна и обработки звука до разработки игр и анализа данных. Большинство примеров исследователи получили через фрилансеров с Upwork. Для каждого проекта собрали описание задачи, необходимые исходные файлы и готовую работу человека, которую использовали как образец при оценке.
Примеры проектов, которые ИИ-агенты выполняли в рамках исследования. Среди них — создать инфографики, 3D-модели, архитектурные планы, анимированные ролики, игры, распознать рукописные тексты и подготовить научные документы. Источник: remotelabor.ai
По данным исполнителей, эти проекты потребовали суммарно более 6000 часов работы и стоили свыше 140 тысяч долларов. Среднее время выполнения — 28,9 часа, медианное — 11,5 часа: в наборе есть как сравнительно небольшие заказы, так и проекты на несколько рабочих недель.
Задания выполняли ИИ-агенты — системы, которые могут пользоваться программами и инструментами, создавать и обрабатывать файлы. Результат проверяли подготовленные специалисты. Они сравнивали его с работой фрилансера и решали, выполнено ли задание на сопоставимом уровне и принял бы такую работу заказчик. Для итоговой оценки использовали большинство голосов трех независимых проверяющих — третий подключался, если вердикты первых двух «судей» расходились.
Создаем крутое ИИ-видео, а не нейрослоп
Режиссер рассказывает, как генерить живые лица, наполнять сцены и работать со звуком
Режиссер рассказывает, как генерить живые лица, наполнять сцены и работать со звуком
ИИ-агенты заваливают 80% заданий фрилансеров
Во всех рассмотренных передовых системах ИИ-агентов производительность находится на низком уровне, а максимальный коэффициент автоматизации на сегодня составляет 21,3%. С октября 2025 по сентябрь 2026 года виден прогресс почти в 10 раз. Год назад лучший результат принадлежал ИИ-агенту Manus и составлял всего 2,5%.
В общем, прогресс заметный, но почти 80% заданий по-прежнему не проходят проверку на готовность к сдаче заказчику. Причина, на мой скромный взгляд, — отсутствие этапов уточнений требований и ревью человеком.
Замеры за 2026. Системы искусственного интеллекта превзошли многие существующие бенчмарки, но лучшие модели адекватно автоматизируют фрилансерские задачи только немного чаще, чем в 20% случаев. Источник: dashboard.safe.ai
Пока что агенты не могут успешно завершить подавляющее большинство задач из исследования RLI. Здесь показаны неудачные проекты для Gemini 2.5 Pro (сверху) и GPT-5 (снизу). Источник: arxiv.org
Денежную выгоду (ROI и ROI CF) тоже посчитали. Авторы исследования указали, на какую сумму ИИ выполнил работу, если оценивать ее по расценкам фрилансеров. В тестировании 2025 года Manus справился с проектами общей стоимостью 1720 долларов из возможных 143 991 — примерно 1,2%. Столько он теоретически мог бы получить за принятые заказчиком результаты.
Как видно из результатов прошлогодних подсчетов, современные ИИ-модели заработали малую часть от общей стоимости проектов. Источник: arxiv.org
Генерация результата обходилась в среднем в $2,34, тогда как средняя стоимость проекта у человека составляла $632,60. Но подчеркну, что дешевую попытку нельзя приравнять к дешево выполненному заказу: большинство результатов агентов не проходили проверку качества, а еще тут не учитываются расходы на проверки, исправления и организацию работы ИИ-инструментов.
В 2027 ИИ-агенты улучшат показатели вдвое. Но это не точно
В октябре 2026 передовые LLM справляются с фриланс-задачами примерно в 21% случаев. Но есть материалы, авторы которых прогнозируют бурный рост показателя RLI — до 50% примерно в мае 2027 года и 90% — в мае 2028-го.
Получается, примерно за 7−8 месяцев ИИ-модели могут начать справляться с заказами в 2,5 раза лучше, а еще через год будут качественно делать почти всё.
- Виталий НижниковВедущий аналитик информационных систем Selecty
«На мой взгляд, это очень смелые, но безосновательные оценки. Рост неизбежен, но не такими семимильными шагами. Любая технология, которая перестает финансироваться извне большими фондами, перестает расти экспоненциально и выходит, как правило, на плато.
Пузырь доткомов, падение криптовалют — живые примеры того, как даже самые перспективные направления своего времени просто задыхались без финансовой поддержки мастодонтов мирового инвестиционного рынка».
Почему заказчики не принимали работу
В исследовании агенты допускали ошибки, из-за которых результат требовал доработки или был непригоден для использования. Авторы выделили четыре основные проблемы:
- Низкое качество — 45,6%Результат не соответствовал профессиональному уровню. Например, игра запускалась, но качество графики оставляло желать лучшего.
- Незавершенная работа — 35,7%Агенты выполняли только часть задания или не прикладывали необходимые файлы. Вместо восьмиминутного видео могли сдать восьмисекундный ролик.
- Проблемы с файлами — 17,6%Файлы оказывались поврежденными, пустыми или сохраненными не в том формате.
- Несогласованность между частями проекта — 14,8%Отдельные элементы работы противоречили друг другу. Например, на изображениях одного и того же дома с разных ракурсов менялся его внешний вид.
Мантас Мазейка из Центра безопасности ИИ (CAIS), один из авторов исходного исследования, рассказал, что помогло агентам лучше справляться с фрилансерскими заказами. Дело не только в обновлении моделей — дополнительно им увеличили бюджет, дали до 24 часов на проект и доступ к профессиональным программам. Добавили и отдельного агента-критика: он проверял файлы на соответствие заданию, а ИИ-исполнитель исправлял замечания, пока хватало бюджета.
Нейросетевой судья заметно переоценивал качество работ. Для GPT‑5.5 он насчитал 17,9% успешно выполненных проектов, а люди — 6,25%; для Opus 4.8 — 18,8% против 8,33%. Думаю, автопроверка помогала отследить прогресс, но без участия людей создавала впечатление, что ИИ справляется лучше, чем есть на самом деле.
Нейросетевой судья заметно переоценивал качество работ. Для GPT‑5.5 он насчитал 17,9% успешно выполненных проектов, а люди — 6,25%; для Opus 4.8 — 18,8% против 8,33%. Думаю, автопроверка помогала отследить прогресс, но без участия людей создавала впечатление, что ИИ справляется лучше, чем есть на самом деле.
Главные выводы
По итогам данных об RLI, которые есть сейчас, компаниям могу посоветовать начать с проверки ИИ на собственных типичных задачах. Заранее определите требования к готовой работе и сравните, сколько времени и денег занимает ее выполнение с ИИ и без него. В расчет должны входить подготовка задания, использование сервисов, повторные запуски, проверка и исправление ошибок. Если агент за несколько минут сделал то, что сотрудник затем переделывал полдня, скорость генерации мало говорит об экономии.
Освоение ИИ стоит сочетайте с развитием профессиональных навыков. Чтобы поручить агенту работу и оценить ее, нужно понимать требования заказчика, замечать ошибки и знать, как выглядит качественный результат. Полезно также научиться определять, когда работу агента достаточно немного поправить, а когда быстрее и надежнее все переделать.
Виталий Нижников
Ведущий аналитик Selecty. Написал статью
Екатерина Ключникова
Контент-менеджер. Помогла с редактурой