Основные сложности были связаны не только с технологиями. Часть команды на старте отнеслась к проекту скептически: не все поверили, что пилот способен повысить эффективность QA-инженеров. Этот барьер удалось преодолеть только после демонстрации практических результатов работы агента.
Дополнительным препятствием стало отсутствие у команды опыта работы с LLM и промпт-инжинирингом. Мы привлекли внешних консультантов с помощью наших партнеров.
Расчет экономического эффекта, модели окупаемости и масштабирования также оказался нетривиальной, но реализуемой задачей. В качестве ключевых бизнес-метрик были выбраны: покрытие критичных сценариев, сокращение времени регрессии, а также высвобождение ресурсов QA-команды.
По итогам мы увидели достижимость целей и возможности масштабирования:
- до 30−40% выросло покрытие критичных сценариев,
- до 40−50% сократилось время на проведение регрессии,
- на 10−15% меньше времени уходило у команды QA на работу, что позволило перераспределить ресурсы в пользу аналитики и исследовательского тестирования.
В процессе разработки агента мы увидели дополнительную
возможность анализировать инциденты онлайн в производственном контуре.