Чтобы адаптировать резюме под вакансию или составить сопроводительное письмо, загрузите резюме
описание
Customer AI Products — направление пользовательских AI-продуктов в экосистеме Т-Банка с аудиторией в десятки миллионов клиентов.
задачи
Руководить аналитической функцией направления: управлять лидами аналитики продуктовых групп, развивать команду и стандарты экспертизы;
Определять и поддерживать стандарты методологии A/B-экспериментов: дизайн, расчёт мощности, требования к валидности и интерпретации результатов;
Формировать методологию оценки качества AI-продуктов: определять сценарные метрики, проектировать golden sets, калибровать LLM-as-a-judge относительно человеческой разметки и задавать пороги регрессий;
Обеспечивать связь офлайн-оценок качества с онлайн-продуктовыми метриками;
Формировать процессы найма и онбординга аналитиков направления;
Взаимодействовать с платформенной командой A/B и eval: формировать требования и участвовать в развитии инструментов.
требования
Есть опыт построения или трансформации аналитической функции, включая запуск с нуля или перестройку существующей модели;
Есть управленческий опыт: вы нанимали и развивали аналитиков или лидов аналитики;
Есть опыт внедрения стандартов и методологии в командах без прямого управленческого подчинения;
Знаете методологию экспериментов: дизайн, расчёт мощности, sequential testing, типовые ошибки (peeking, SRM, множественные сравнения), методы причинного вывода и квази-экспериментальные подходы;
Знаете подходы к оценке качества ML/LLM-продуктов: сценарные метрики, golden sets, LLM-as-a-judge и его ограничения;
Знаете SQL и используете Python для анализа данных и прототипирования;
Умеете связывать продуктовые метрики с бизнес-результатом и строить дерево метрик.
условия
ДМС со стоматологией, включая чекапы, компенсацию покупки лекарств и льготные условия страхования для близких, а также страховка от несчастных случаев и болезней;
Рост по карьерному треку: проходите курсы по софт- и хард-скиллам, развивайтесь с поддержкой ментора и повышайте уровень с матрицей компетенций и регулярным ревью;
Сильное комьюнити: работа с экспертами в своей области, возможность делиться знаниями, выступать на конференциях, посещать митапы и писать статьи;
Онлайн-консультации с психологами, юристами, специалистами по финансам и здоровому образу жизни;
Компенсация затрат на спортивные абонементы, приложение Т-Спорта для онлайн-занятий и командные тренировки с коллегами;
Три дополнительных дня к отпуску — можно использовать для отдыха или получить компенсацию;
Специальные тарифы на продукты Т-Банка и широкая программа скидок от партнёров;