Чтобы адаптировать резюме под вакансию или составить сопроводительное письмо, загрузите резюме
описание
Алиса — голосовой ассистент, ответы которого могут включать картинки, видео, карточки товаров и геообъектов, ссылки и рекламу. Команда разрабатывает метрики и инструменты офлайн-оценки качества обогащений с помощью профессиональных разметчиков и автоматических оценщиков на основе LLM. Эти оценки используют для обучения моделей Алисы и принятия решений о релизах.
задачи
Отвечать за оценку обогащений Alice AI;
Придумывать новые функции вместе с продуктовой командой;
Ставить задачи по разметке для AI-тренеров и автоматических оценщиков;
Писать подробные инструкции и собирать точные голден-сеты;
Определять метрики качества проекта и критерии успеха;
Анализировать качество ответов текущих версий модели;
Отслеживать метрики проекта и результаты экспериментов;
Выявлять и решать проблемы в оценке, обновлять голден-сеты, инструкции и автоматические оценщики;
Создавать агентов-оценщиков для обучения моделей и оценки экспериментов;
Управлять технической частью оценки ответов: запускать разметку, работать с интерфейсом исполнителя, настраивать конвейер подготовки и сохранения данных;
Определять приоритеты, следить за скоростью и стоимостью работы, контролировать качество и надёжность процесса оценки;
Изучать качество ответов на срезах «Еком» и «Гео».
требования
Опыт управления командой аналитиков не менее 2 лет;
Умение работать с данными и извлекать практические выводы;
Знание математической статистики и теории вероятностей;
Умение писать надёжный код на Python и знание алгоритмов;
Умение обосновывать выводы и защищать их перед заказчиками при неполных данных;
Самостоятельность и готовность браться за задачи без готового решения;
Интерес к развитию LLM и готовность глубоко погрузиться в эту тему.
условия
Компенсация от 100М токенов для экспериментов и оптимизации рутины;
Доступ к передовым моделям для ежедневной работы;
Расширенная медицинская страховка с первого месяца работы;
Оплачиваемые больничные: 30 дней в году с сохранением полной зарплаты;
Страховка для детей и супругов по системе 80/20;
Оплата ведения беременности и родов для сотрудниц и жён сотрудников со стажем более двух лет.
.svg)
