Управление файлами cookie
Настройки файлов cookie
Файлы cookie, необходимые для корректной работы сайта, всегда включены.
Другие файлы cookie можно настроить.
Другие файлы cookie можно настроить.
Исследование: ИИ замедлил разработку на 19%. Рассказываем, почему, и что с этим делать
Примерное время чтения: 7 минут
Хотите всегда быть в курсе событий на рынке IT? Подписывайтесь на наш Telegram-канал!
- ИИ далеко не всегда повышает производительность. Исследование METR — организации, которая изучает риски и возможности искусственного интеллекта — показало, что нейросети замедлили работу разработчиков на 19%. Эксперты же до проведения тестов прогнозировали ускорение на 38−39%. Разброс между ожиданиями и результатом — почти 60%.
Разберем, что показал эксперимент и почему опытные разработчики порой переоценивают выгоду от ИИ. А еще поделимся советами, которые дают авторы исследования — о том, как внедрять нейросети и реально ускорять работу.
Содержание:
Как проверяли эффективность разработки с искусственным интеллектом
METR захотела проверить, насколько нейросети ускоряют ИТ-специалистов. В исследовании участвовали 16 опытных open-source-разработчиков, которые выполнили 246 задач.
Сперва разработчики получали реальные задачи — например устранить баги, разработать фичи, провести рефакторинг. До начала работы они прикидывали, сколько времени займет каждая задача с ИИ и без него. Потом задачи случайно попадали в одну из двух групп: AI-allowed или AI-disallowed. Переведем эти названия как «ИИ разрешен» и «ИИ запрещен».
В группе «ИИ разрешен» разработчики могли использовать любые ИИ-инструменты — или не использовать, если не видели в этом пользы. В группе «ИИ запрещен» подключать нейросети нельзя. Специалисты чаще работали в Cursor Pro с Claude 3.5/3.7 Sonnet. На момент эксперимента (с февраля по июнь 2025 года) это одни из самых продвинутых моделей.
Почему ИИ замедлил написание кода
Авторы изучили, на что у разработчиков ушло больше всего времени. Для этого исследователи вручную разметили 143 часа экранных записей. Разработчики делегировали нейросетям написание кода и поиск информации, но пришлось потратить время на промпты, ожидание ответа и проверку ответов модели.
Перечислим причины замедления разработки:
- Разработчики переоценили пользу ИИ.Они ожидали ускорения до выполнения задач и видели ускорение после, хотя по измерениям потратили больше времени.
- Участники хорошо знали свои проекты.В среднем у них было пять лет опыта в репозитории. В таких условиях человек часто быстрее модели, потому что уже знает архитектуру, соглашения и скрытые ограничения.
- Репозитории были большими и сложными.Авторы выделяют размер и сложность проектов как один из факторов, которые ограничили пользу ИИ.
- Разработчики не принимали код от ИИ.56% участников сказали, что часто вносили крупные изменения. Специалисты принимали меньше 44% сгенерированного кода, тратили время на проверки и исправления.
- Модель не знала неявный контекст.В давних проектах часть правил живет не в документации, а в голове — например, где лучше внести изменения или какие тесты нужны. Авторы называют это одним из факторов замедления.
Не стоит думать, что ИИ стопорит всю разработку. Авторы уточняют: данные относятся к опытным open-source-разработчикам при работе в крупных репозиториях, которые им хорошо знакомы. Для небольших проектов, незнакомого API или черновиков тестов нейросети способны здорово помочь.
METR выяснила, что разработчики не хотят кодить без ИИ
В феврале 2026 года компания опубликовала важное дополнение к своему исследованию. В августе 2025 — через пару месяцев после первого эксперимента — METR собрала разработчиков, чтобы еще раз замерить эффективность их работы с ИИ. Команда столкнулась с тем, что результаты оказалось сложно интерпретировать. Трудности связаны с быстрым развитием ИИ и появлением новых моделей.
А еще меняются привычки разработчиков: многие отказываются выполнять задачи без помощи нейросетей, поэтому становится сложнее собирать данные о разработке «по старинке». 30−50% участников говорили, что не делились частью задач с METR, если не хотели делать их в режиме «ИИ запрещен».
Комментарий участника исследования о заданиях, где нельзя использовать ИИ: «У меня голова взорвется, если я попытаюсь делать слишком много по старинке, потому что это все равно, что пытаться пересечь весь город пешком, когда я вдруг привык пользоваться Uber». Источник: metr.org
Даже исследователи сталкиваются с тем, что бывает трудно оценить эффект от внедрения ИИ. Компаниям и командам стоит об этом помнить, чтобы самостоятельно совершенствовать свой подход к использованию нейросетей.
Как внедрить ИИ в разработку: советы исследователей METR
ИИ лучше внедрять не как ускоритель для всех задач, а как инструмент с понятными зонами пользы и риска. Опытные разработчики замедлились не потому, что не умели программировать, а потому что работали в знакомых репозиториях, где много неявного контекста и строгие правила.
Советы от команды METR, которые помогут использовать ИИ в разработке эффективнее:
- Использовать ИИ в конкретных сценариях разработки, а не везде и сразу.Нейросети полезны там, где задача хорошо описана и легко проверить результат: черновик теста, объяснение API, поиск по документации, генерация однотипного кода.
- Смотреть на общее время выполнения — от постановки задачи до прода.ИИ быстро пишет много кода, но это не значит, что задача решается быстрее. Лучше смотреть на время цикла и ревью, долю откатов, баги после релиза и время, которое разработчик тратит на проверку ИИ-кода.
- Смотреть на общее время выполнения — от постановки задачи до прода.ИИ быстро пишет много кода, но это не значит, что задача решается быстрее. Лучше смотреть на время цикла и ревью, долю откатов, баги после релиза и время, которое разработчик тратит на проверку ИИ-кода.
- Не верить только самооценке команды.Разработчик может чувствовать рост продуктивности, потому что модель быстро кодит. Но итоговое время растет, если потом приходится читать, чистить, переписывать и проверять результат. Хорошая практика — короткий пилот на реальных задачах. Часть задач команда делает с ИИ, часть — без. Потом сравнивает не впечатления, а время цикла, результаты ревью, работу в проде.
- Назначить ответственного за качество ИИ-кода.Для критичных частей системы стоит ввести правило: ИИ может дать черновик, но решения об использовании или исправлениях принимает человек.
- Не запрещать ИИ, но и не побуждать использовать его везде.Хороший подход — дать разработчику право не использовать нейросети, если он понимает, что сам сделает быстрее. METR разрешала специалистам писать код самостоятельно даже в группе «ИИ разрешен».
ИИ полезен, когда он упрощает рутину. Но он может мешать, когда создает лишний или некорректный код, не видит контекст проекта, перекладывает на человека роль редактора чужого черновика. Нужно использовать ИИ для подходящих задач, сохранять строгие ревью и измерять трудозатраты всего цикла задачи — от ее постановки до прода.