Чтобы адаптировать резюме под вакансию или составить сопроводительное письмо, загрузите резюме
описание
Компания разрабатывает AI-инструменты, LLM-платформу и автоматизацию на базе ИИ. Команда создаёт AI-продукты, где оцениваются качество ответов LLM и устойчивость промптов.
задачи
Проводить функциональное и регрессионное тестирование продуктов с LLM-компонентами, веб-интерфейсами, API и интеграциями;
Разрабатывать и поддерживать наборы тестовых сценариев для оценки качества ответов моделей;
Тестировать устойчивость промптов к перефразированию, нестандартным случаям, инъекциям и джейлбрейкам;
Оценивать ответы LLM по точности, полноте, галлюцинациям и соответствию формату;
Анализировать недетерминированное поведение, воспроизводить плавающие дефекты и статистически оценивать стабильность;
Автоматизировать проверки на Python и pytest;
Тестировать API-интеграции с LLM-провайдерами, включая лимиты, повторные попытки, обработку ошибок и потоковую передачу;
Вести тестовую документацию и баг-репорты;
Участвовать в приёмке функций;
Взаимодействовать с разработчиками и ML-инженерами при разборе дефектов.
требования
Высшее образование;
Опыт в тестировании от 3 лет, включая ручное тестирование и автоматизацию;
Практический опыт работы с AI-инструментами ChatGPT, Claude, Copilot и аналогами;
Понимание основ промпт-инжиниринга, включая структуру промпта, few-shot, chain-of-thought, sdd и работу с системными промптами;
Уверенное тестирование API с Postman, curl или HTTP-клиентами;
Умение читать JSON и понимание REST;
Понимание специфики LLM: недетерминированности, галлюцинаций, ограничений контекста, температуры и параметров генерации;
Базовое знание Python для автотестирования;
Умение писать и поддерживать автотесты с pytest, requests или playwright;
Понимание структуры тестового проекта, работы с фикстурами и ассертами;
Умение писать чёткие баг-репорты и тест-кейсы с воспроизводимыми условиями;
Будет плюсом продвинутая автоматизация UI, опыт построения фреймворков с нуля, опыт построения LLM-evaluation пайплайнов, понимание RAG-архитектур, опыт тестирования безопасности LLM.
условия
Срочный трудовой договор до 01.07.2027;
Ежегодный пересмотр зарплаты;
Корпоративный спортзал и зоны отдыха;
Более 400 образовательных программ СберУниверситета для профессионального и карьерного развития;
Расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа;
Гибкий дисконт по ипотечному кредиту, равный 1/3 ключевой ставки ЦБ;
Подписка СберПрайм с возможностью совместного использования на трёх близких;
Вознаграждение за рекомендацию друзей в команду Сбера.
.svg)
