Ищем Python-разработчика в команду для создания и поддержки системы сбора данных из открытых источников: сайтов, поисковых сервисов, социальных сетей и т.д.
Предстоит разрабатывать парсинг-сервисы, приводить данные к единому формату и сохранять их в базы данных и файловое хранилище. Планируем работать с более 15 источников и объёмом от 1 млн профилей.
Зарплата: 180 000–230 000 ₽ на руки в месяц, по результатам технического собеседования. Полная занятость, офис.

Что предстоит делать:

- Разрабатывать сборщики на Python: получать данные через API и HTTP-запросы, извлекать информацию из HTML, использовать браузерную автоматизацию.
- Собирать доступные сведения о профилях, публикациях и активности, загружать фотографии и другие материалы.
- Проверять и нормализовать данные, обрабатывать пропуски, предотвращать дубли.
- Реализовывать запись и обновление данных в PostgreSQL, связывать записи с файлами в объектном хранилище.
- Сохранять источник и время получения данных, фиксировать изменения при повторном сборе.
- Настраивать регулярные запуски, обработку ошибок и повторные попытки.
- Поддерживать сборщики при изменении источников, писать тесты и добавлять логи для диагностики.

Что важно:

- Практический опыт разработки на Python и реализации сборщиков или интеграций с внешними API.
- Понимание HTTP, JSON, HTML, пагинации, таймаутов и ограничений частоты запросов.
- Опыт с requests, HTTPX или aiohttp, а также BeautifulSoup, lxml или Scrapy. Владение всеми библиотеками одновременно не требуется.
- Умение пользоваться DevTools браузера для изучения страниц и сетевых запросов.
- Уверенный базовый SQL: выборки, связи таблиц, вставка и обновление данных. Желателен опыт PostgreSQL.
- Понимание того, как проверять результат сбора и избегать повторных записей.
- Работа с Git, опыт отладки и написания тестов, например на pytest.
- Умение реализовывать согласованные решения, обсуждать вопросы и работать с ревью.
- Playwright или Selenium.
- Асинхронный Python и asyncio.

Будет плюсом:

- SQLAlchemy и Alembic.
- Docker, Linux, запуск задач по расписанию.
- Celery, RQ или другие инструменты фоновой обработки.
- S3-совместимые хранилища.
- Опыт длительного сопровождения нескольких источников.

Вакансии в Аветисян мери

Вакансии

Python-разработчик - парсинг и сбор данных (Middle/Middle+)

Вакансии в Аветисян мери

Вакансии

Python-разработчик - парсинг и сбор данных (Middle/Middle+)