python爬虫工程师
1.5-2.5万杭州市本科不限经验
职位描述
岗位职责:
1、负责网络爬虫系统平台的架构设计与开发,完善和重构现有采集系统及服务(如抓取调度,多样化抓取,页面解析和结构化抽取)
2、设计和开发爬虫的监控和报警系统,提高问题发现能力
3、研究爬虫策略和防屏蔽规则,解决封账号、封IP、验证码、页面跳转等难点,提升网页抓取的效率和质量。
工作任职要求:
1、熟悉Python开发语言,3年及以上爬虫开发经验。
2、熟悉Redis、Mysql、MongoDB等常用的数据库。
3、具有爬虫分布式系统设计和开发经验,有大规模和实时爬虫的经历。
4、精通爬取的各类实现方式和技术细节,包含网络协议分析、JS逆向、APP逆向等。
5、熟悉网页自动化软件selenium,手机自动化软件的流程编写。
6、善于沟通,要有团队合作精神,能承受一定强度的工作压力。
7、熟悉软件工程,具有项目管理经验,有带过团队经验的优先。
加分项:
1.有天猫、京东、抖音等国内主流平台的项目经验
2.有企业工商数据爬取经验
20,861+ 岗位更新等你来订阅
一键订阅最新的岗位,每周送达
🎉恭喜你,订阅成功
继续订阅您可以在邮箱中随时取消订阅