аналитик данных LLM-продуктов

Команда разрабатывает технологию Нейро для Алисы — LLM-сервис, который решает поисковые задачи, анализирует данные из интернета и формирует информативные ответы. Команда оценивает качество ответов, развивает офлайн-разметку, сотрудничает с ML- и продуктовыми командами и использует результаты разметки для обучения нейросетей.

• Формализовывать требования к продукту и превращать их в инструкции для исполнителей Yandex Crowd и нейросетей;
• Разрабатывать принципы оценки качества ответов, находить фактические ошибки и оценивать их значимость для продукта;
• Измерять и улучшать качество обучения для RLHF;
• Анализировать проблемы текущих версий LLM и исправлять их с помощью разметки;
• Разрабатывать и поддерживать инструменты для сбора обучающей выборки и измерения метрик в экспериментах;
• Собирать и обновлять эталонные сеты разметки;
• Разбирать с AI-тренерами примеры сложных заданий;
• Формулировать и уточнять продуктовые принципы на основе данных;
• Набирать, обучать и тестировать исполнителей для разметки;
• Разрабатывать процессы контроля качества, бана и реабилитации исполнителей;
• Создавать дашборды для анализа производительности, стоимости и качества разметки.

• Понимать важность работы с данными;
• Уверенно писать на Python и знать алгоритмы;
• Знать математическую статистику и применять её для проверки гипотез;
• Будет плюсом интерес к продукту, умение ясно излагать мысли, учитывать мнение коллег и убеждать, опыт работы с табличными данными на SQL, опыт участия в крауд-проектах и знание основ машинного обучения.

• Расширенная медицинская страховка с первого месяца работы;
• Оплачиваемый больничный — 30 дней в году;
• ДМС покрывает чекапы, вакцинацию, стоматологию и экстренную помощь за рубежом;
• Онлайн-консультации с психологами и психотерапия в офисах, где есть кабинет психотерапевта;
• После года работы ДМС покрывает коррекцию зрения и хирургическое лечение косоглазия;
• Оплачивается ведение беременности и роды для сотрудниц и жён сотрудников, которые работают в компании более двух лет;
• ДМС для детей и супругов по системе 80/20.