Ключевые задачи:
- Разработка микросервисов:
- Сервис парсинга документов (PDF, DOC, DOCX) с извлечением структурированных данных
- Сервис векторизации текстов для семантического поиска
- Сервис оркестрации ML-пайплайнов с управлением состояниями
- API Gateway для внешних интеграций
Работа с LLM:
- Интеграция с корпоративным LLM API (управление лимитами, очередями)
- Оптимизация промптов для снижения затрат (батчинг, кеширование)
- Обработка и валидация ответов LLM (парсинг JSON, обработка ошибок)
- Реализация fallback-стратегий при недоступности LLM
Обеспечение надежности:
- Реализация retry-механизмов с exponential backoff
- Идемпотентность операций
- Graceful degradation при сбоях внешних сервисов
- Мониторинг и алертинг критических метрик
Оптимизация производительности:
- Асинхронная обработка для высокой пропускной способности
- Кеширование векторов и результатов LLM
- Оптимизация запросов к БД (индексы, батчинг)
- Горизонтальное масштабирование под нагрузку