Работа в Правительстве Москвы — это возможность делать наш город современнее и удобнее. Если ты тоже неравнодушен к Москве, хочешь развивать ее и развиваться сам, присоединяйся к нашей команде!
Обязанности:
- Развертывание и настройка локальных LLM (Ollama, Hugging Face, локальные сервера) с учетом аппаратных ограничений (квантизация, оптимизация)
- Настройка агентной платформы, включая подключение локальных моделей через интеграцию, а также настройку инструкций, инструментов (tools) и параметров модели (температура, top_p)
- Выбор и тестирование моделей под бизнес-задачи, а также сравнение open-source моделей (Llama, Mistral, Qwen, DeepSeek)
- Разработка агентов с использованием фреймворков и их интеграция с внешними API и базами знаний
- Построение RAG-пайплайнов для обогащения контекста агентов корпоративными данными (векторные БД, FAISS)
- Мониторинг производительности моделей и агентов, а также оптимизация инференса
Требования: - Опыт работы по должности от 6 месяцев, включая учебные, пет-проекты и стажировки
- Опыт развертывания локальных LLM, работы с моделями в Ollama (pull, run, настройка), а также опыт работы с Hugging Face (загрузка моделей, transformers)
- Понимание квантизации (GGUF, Q4_K_M) и ее влияния на производительность моделей
- Настройка агентных платформ, включая подключение моделей через API-совместимые интерфейсы в OpenAI-совместимом формате
- Управление конфигурацией агентов, включая настройку инструкций, инструментов и параметров модели
- Уверенное владение Python, включая библиотеки pandas, numpy, requests и FastAPI
- Опыт работы с фреймворками LangChain или LlamaIndex для построения цепочек и RAG
- Опыт работы с Docker и контейнеризацией для развертывания сервисов
- Опыт работы с векторными базами данных, такими как FAISS, Pinecone или Milvus
- Базовые знания операционной системы Linux
- Опыт работы с Git и практический опыт взаимодействия с API
Условия:
- Работа в Правительстве Москвы
- Высокопрофессиональная команда
- График 5/2
- Офис: метро Киевская
