Программист Python (парсинг сайтов)

Привет! На связи RUFAGO - сервис сбора информации.

Уже более 7ми лет мы занимается массовым парсингом сайтов (сбором и обработкой информации), мониторингом цен и предоставлением структурированных данных. В основном работаем со сферой E-commerce (берем информацию о товарах и их ценах с интернет-магазинов и маркетплейсов, анализируем данные и предоставляем их конечным заказчикам).

В связи с ростом компании, мы расширяем команду разработчиков для наших сервисов.

Основные задачи (обязанности):

• Разработка, доработка и сопровождение проектов компании и бекэнда для собственных продуктов

• Автоматизация процессов сбора и обработки больших разноструктурных и разнотипных данных в БД/JSON/CSV/XML и т.д.

• Проектирование и выработка архитектурных решений;

• Поддержка и доработка существующих систем;

• Написание юнит-тестов и технической документации по своим задачам;

• Разработка нетривиальных алгоритмов работы с данными;

• Оптимизация внутренних сервисов под высокие нагрузки и большие объемы данных;

• Проектирование программных решений и интеграций.

• Работа с Git, заливка и своевременные обновления документаций

Что предстоит делать:

• Создание и обслуживание систем скрапинга/парсинга (scraping/parsing) данных:
• Разработка системы сбора данных с внешних ресурсов поставщиков и организация ее бесперебойной работы;
• Анализ сайтов и API систем для быстрого и точного получения данных
• Создание и облуживание скриптов для обработки, обогащения и валидации данных;
• Создание и обслуживание систем матчинга (сопоставления данных);
• Разрабатывать новый функционал: новые парсеры/краулеры, новые фичи для b2b клиентов;
• Реализация простых API-интерфейсов.
• Реализация, разработка и поддержка внутренних библиотек компании

Ваши навыки (требования):

• Уверенные знания и опыт разработки на Pyhton 3.10+ и основных python библиотек от 1 года
• Базовые знания любой SQL (MySQL/PostgreSQL/MongoDB/NoSQL)
• Базовые знания JSON / XML / CSV
• Опыт работы с Linux, Docker
• Владение техническим английским языком
• Умение писать чистый и понятный код с документацией
• Знание объектно-ориентированного проектирования (ООП), базовых алгоритмов и структур данных как бонус

Будет здорово, если:

• Вы разрабатывали системы парсинга/матчинга/мониторинга, связанных с популярными E-commerce сайтами
• Знаете, как работают HTTP-запросы
• Разбирали запросы мобильных приложений и отслеживали трафик
• Умеете обходить ограничения/защиту от парсинга на сайтах
• Знаете или работали с одной из этих библиотек: re, requests, asyncio, beautifulsoup4 (bs4), scrapy, selenium
• Соблюдаете правила хорошего написания кода (pep8)

Мы предлагаем:

• Удаленная работа, работа в офисе или офисно-дистанционная в г. Красноярск. Условия трудоустройства обсуждаются на собеседовании
• Гибкий график работы, в соответствии с договоренностями с руководителем.
  От 08:00-17:00 до 12:00-21:00, 5 дней в неделю.
• Конкурентная заработная плата, обсуждаемая на собеседовании, в зависимости от уровня квалификации кандидата

Готовы рассматривать кандидатов без опыта работы, но с наличием серьезных базовых знаний и умением обучаться, в том числе самостоятельно.

Откликайся на нашу вакансию и коротко расскажи о себе: Фото, ссылки на соц.сети/мессенджеры/блоги/Github будут плюсом.

Мы постараемся ответить в течение 1-3 дней.