Чтобы адаптировать резюме под вакансию или составить сопроводительное письмо, загрузите резюме
описание
LLM Platform — единая точка входа для работы с языковыми моделями внутри Яндекса. Платформа предоставляет унифицированный доступ к собственным и опенсорсным моделям, помогает командам безопасно использовать LLM в продуктах, внутренних сервисах и бизнес-процессах, а также управляет ресурсами и собирает аналитику. Ею ежедневно пользуются десятки тысяч сотрудников и сотни внутренних сервисов.
задачи
Разрабатывать систему управления квотами;
Задавать и контролировать квоты на разные типы запросов;
Управлять лимитами на уровне пользователей, команд, сервисов, namespace и бизнес-юнитов;
Предоставлять аналитику менеджерам и владельцам продуктов;
Реализовывать биллинг и распределение затрат по бизнес-юнитам;
Предоставлять супервайзерам интерфейс для управления квотами внутри своих namespace;
Подключать LLM-провайдеров и собственные инференсы;
Унифицировать форматы запросов и ответов;
Разрабатывать механизмы маршрутизации запросов между моделями;
Учитывать стоимость, доступность, задержку, лимиты и требования безопасности;
Поддерживать конфигурацию моделей, namespace, тегов и политик доступа;
Проектировать и реализовывать механизмы безопасной передачи данных в публичные модели;
Разрабатывать фильтры, политики и алгоритмы обработки запросов;
Участвовать в проектировании решений для защиты внутренних данных;
Интегрироваться с внутренними системами контроля, аудита и доступа;
Разрабатывать системы автоматизированного извлечения данных с сайтов;
Анализировать HTML-, JavaScript-приложения, сетевые запросы и API;
Строить надёжные конвейеры сбора, нормализации и обработки данных;
Разрабатывать инструменты для работы с динамическими веб-приложениями.
требования
Занимались backend-разработкой на Go на промышленном уровне;
Умеете работать с высоконагруженными сервисами, очередями, базами данных и кешами;
Понимаете наблюдаемость: метрики, логи, трассировку и алерты;
Аккуратны в вопросах безопасности данных и разграничения доступа;
Готовы разбираться в предметной области LLM, токенов, моделей, провайдеров и лимитов;
Будет плюсом опыт работы с LLM API и AI-инфраструктурой, разработки платформенных сервисов, построения систем управления квотами, ограничения частоты запросов, биллинга или распределения затрат, извлечения данных из веб-источников, анализа веб-приложений, API и сетевого трафика.
условия
Расширенная медицинская страховка с первого месяца работы;
Оплачиваются 30 дней больничного в году;
ДМС покрывает плановые и экстренные медицинские услуги, стоматологию, чекапы, вакцинацию и помощь за рубежом;
Доступны консультации психологов и психотерапия;
После года работы ДМС покрывает коррекцию зрения и хирургическое лечение косоглазия;
Оплачиваются ведение беременности и роды для сотрудниц и жён сотрудников, которые работают в компании более двух лет;
ДМС для детей и супругов по системе 80/20: компания оплачивает 80% стоимости, сотрудник — 20%;
.svg)
