devops инженер LLM-платформы

Платформа превращает каждый разговор с клиентом в понятные инсайты.

• Установить в контуре заказчика сервис маскирования персональных данных, обеспечить обратную подстановку в ответах, проверку полноты маскирования и ведение журнала;
• Развернуть и настроить сервис управления знаниями для RAG: загрузку и обновление документов, разбиение на фрагменты, создание эмбеддингов, векторный поиск, права доступа к источникам и контроль качества ответов;
• Настроить шлюз для проксирования запросов к внешнему провайдеру, маршрутизации и учёта запросов;
• Подключить сервисы к информационной безопасности заказчика: TLS, аутентификацию сервисов, сетевые доступы и журналы;
• Собрать поставку под Kubernetes: Helm-чарты, Argo CD, зафиксированные версии образов и установку без интернета;
• Развернуть GPU-инференс на узлах NVIDIA HGX H200 с использованием vLLM и faster-whisper;
• Настроить хранилища PostgreSQL, MongoDB, OpenSearch и Redis, резервное копирование и проверку восстановления;
• Встроиться в информационную безопасность заказчика: SIEM, IDM/SSO, PKI, NGFW/WAF, закрытый egress и сегментацию prod/test/dev;
• Настроить наблюдаемость с Prometheus, Grafana и Loki, а также журнал аудита;
• Подготовить документацию для заказчика: архитектуру, инструкции по установке и обновлению, runbook, программу и методику испытаний;
• Провести технические согласования и приёмку вместе с командой заказчика.

• От 4 лет опыта в DevOps, Platform или бэкенд-инфраструктуре;
• Опыт эксплуатации Kubernetes в продакшене, Helm и GitOps;
• Опыт развёртывания в контуре заказчика, on-prem и закрытых сетях;
• Практический опыт с LLM-приложениями, RAG, векторными базами данных, эмбеддингами, чанкингом и оценкой качества;
• Опыт работы с LLM API;
• Опыт настройки API-шлюзов и прокси: маршрутизация, аутентификация, ограничение частоты запросов и логирование;
• Уверенное владение Python для чтения, доработки и написания сервисов;
• Знание Linux, сетей, TLS/PKI, ingress и egress;
• Опыт прохождения требований информационной безопасности крупной компании: опросники, согласования и аудит;
• Умение писать понятную документацию и взаимодействовать с инженерами и специалистами по информационной безопасности заказчика;
• Автономность и способность вести задачи от начала до результата.

• Краткосрочный проект;
• Требуется выйти ASAP после оффера;
• Гражданство РФ;
• Зарплата 180-220.