10 сен

backend разработчик LLM-инференса

ориентир по рынку
вакансия зп не указана
в среднем 319 028 ₽
Загрузи резюме, чтобы видеть мэтчи с вакансией

подготовьтесь к отклику

ai-инструменты

Чтобы адаптировать резюме под вакансию или составить сопроводительное письмо, загрузите резюме

описание

Прохождение интервью и/или выполнение тестового задания

Команда обеспечивает доступность нейросетей для тысяч пользователей одновременно, сопровождает и улучшает production-платформу для хостинга LLM, а также создаёт прикладные AI-продукты на базе LLM.

задачи

  • Проектировать и поддерживать GPU-кластер инференса Nvidia для десятков тысяч пользователей;
  • Масштабировать систему, балансировать и приоритизировать запросы, настраивать пользовательские лимиты;
  • Оптимизировать производительность с помощью кэширования и пакетной обработки;
  • Обеспечивать SLA и предотвращать регрессии;
  • Оценивать и внедрять новые LLM;
  • Разрабатывать AI-сервисы AI Code Assistant (Co-Pilot), AI Chat и AI Code Review;
  • Проектировать пайплайны автоматизации с tool/function calling, обработкой ошибок и управлением контекстом и состоянием;
  • Встраивать AI-сервисы в корпоративную среду через API, базы данных и legacy-системы;
  • Проводить эксперименты и создавать MVP;
  • Выстраивать путь доведения решений до продакшена;
  • Исследовать новые технологии и подходы для улучшения продуктов.

требования

  • Опыт разработки на Python от 5 лет;
  • Знание typing, асинхронности и паттернов проектирования;
  • Опыт создания высоконагруженных API на FastAPI или аналогах;
  • Опыт работы с очередями, воркерами и фоновыми задачами;
  • Опыт построения gateway/router, управления ключами, маршрутизации и пользовательскими лимитами;
  • Опыт поддержки высоконагруженных сервисов в продакшене;
  • Умение обеспечивать стабильность контрактов и обрабатывать ошибки;
  • Знание инструментов инференса vLLM, SGLang и OpenAI API, понимание их внутренней работы;
  • Опыт настройки инференса под highload с учётом latency, throughput и управления GPU-ресурсами;
  • Опыт построения решений с tool/function calling, MCP и guardrails;
  • Умение работать с проблемой галлюцинаций;
  • Будет плюсом опыт применения AI-агентов, мультиагентных систем и оркестрации инструментов, понимание метрик качества LLM-решений, опыт A/B-тестов и офлайн-оценки, Lua-разработка, разработка и интеграция MCP.

условия

  • ДМС со стоматологией с первых дней работы;
  • Льготные условия страхования близких;
  • Возможность взять day off для восстановления здоровья;
  • Консультации юристов;
  • Сессии с психологом;
  • Помощь экспертов по ЗОЖ и управлению личными финансами;
  • Премии за патенты и изобретения;
  • Учебный портал с лекциями от экспертов;
  • Участие в конференциях;
  • Изучение английского;
  • Дополнительное профессиональное обучение на внешних курсах;
  • Частичная компенсация тренировок, творческих уроков и участия в соревнованиях;
  • Скидки на рестораны, фитнес-клубы, сервисы доставки и онлайн-кинотеатры;
  • Гибридный формат и работа в офисе в Москве или Нижнем Новгороде.

Если просят выйти из iCloud, прислать код из SMS, запустить или установить что-то, перевести деньги — не соглашайтесь: это мошенничество.

Про зарплаты

Анонимные данные по зарплатам и грейдам.
Можно сверить вилку с рынком.

Посмотреть зарплаты

Если просят выйти из iCloud, прислать код из SMS, запустить или установить что-то, перевести деньги — не соглашайтесь: это мошенничество.