双休Python爬虫工程师

1.负责设计和开发分布式、高可用的Python爬虫系统，用于大规模抓取亚马逊及其他海外平台的数据，目标数据包括但不限于：商品列表、商品详情、商品评论与星级、搜索排名、BSR榜单、广告位信息、卖家信息等。

2.持续监控和优化爬虫策略，应对目标网站的反爬虫机制（如IP限制、验证码、行为分析、动态渲染等），确保数据采集的效率和稳定性。

3.深入研究亚马逊及各电商平台的反爬虫技术演变，制定并实施有效的应对方案（包括但不限于IP代理池、请求头模拟、浏览器指纹模拟、Selenium/Playwright自动化、验证码破解等）。

4.对抓取的原始数据进行清洗、去重、格式化、异常值处理，确保数据质量；设计合理的数据存储方案，将处理后的数据高效存储到数据库（如MySQL, PostgreSQL, MongoDB）、数据仓库或文件中。

5.建立爬虫监控报警体系，实时监控爬虫运行状态、成功率、速度等关键指标，及时发现并解决问题。

6.使用Docker、Kubernetes等容器化技术部署和管理爬虫应用，实现自动化运维。

7.与产品、运营、数据等团队紧密协作，理解数据需求，并提供持续的数据支持。

任职要求：

1.本科及以上学历，计算机科学、软件工程、信息技术、数学或相关理工科专业优先。

2.3年及以上Python爬虫开发经验（其中至少半年以上跨境电商平台数据采集项目经验），拥有丰富的反反爬虫实战经验，成功应对过复杂的反爬措施；有大规模（千万级/日以上请求量）分布式爬虫系统的设计、开发和调优经验。

3.精通Python，熟悉其多线程、多进程、异步IO（asyncio, aiohttp）编程模型；精通Scrapy框架及其原理，熟悉IP代理池、Cookie池搭建和使用，熟悉 JavaScript、Ajax、加密参数等技术。

4.有对接跨境相关API接口经验，熟练调用多平台API。

5.熟悉数据库（MySQL/MongoDB/Elasticsearch），有数据存储、清洗经验；

6.具备严谨的工作态度、强大的逻辑思维和问题解决能力，良好的沟通能力和团队合作精神。

公司福利：

【上班时间】双休，7.5小时（9:00-12:00 13:30-18:00）。

【薪资结构】底薪+奖金,底薪根据能力面议，可谈。

【薪资保障】入职购买社保保险，每月10号发薪。

【假期福利】享受法定节假日，带薪年假，婚假，产假等法定。

【重视人才】人性化管理，可畅所欲言提想法建议。

【年轻氛围】 这里有一群积极向上的年轻小伙伴们，扁平管理结构，多元思维碰撞，激发创新灵感。

【弹性试用期】 表现出色的小伙伴可以提前转正，开启更快速的职业发展。

【休闲下午茶】每周三下午茶，还有生日会，为忙碌的工作注入一刻休憩。

【员工关怀】为各类节日准备节日礼物（如春节、女生节、端午节、中秋节、圣诞节等）；另外结婚、生育时会准备相应礼金。

【文化活动】定期组织羽毛球、聚餐、户外团建等丰富多彩的集体活动。

【便利交通】 距离5号线民治地铁站A出口直线约200米左右。

【高效面试】出于对彼此的负责，我们是先线上沟通，了解基本情况后初步符合才约线下面试，我们线下只有一面，是直接跟上级领导面聊。