python开发工程师

2、负责开发分布式爬虫框架，管理分布式爬虫服务器，开发任务调度引擎；

3、负责爬虫核心算法的策略优化研究，提升爬虫抓取效率和质量，提升网页抓取的效率和质量；

4、设计爬虫策略和防屏蔽规则，解决封账号、封IP、验证码、JS加密等难点攻克；

5、利用主流的大数据相关技术，对抓取后的网页数据进行清洗、存储等；并持续优化平台，以便满足各种爬取业务需求。

任职要求：

一、2年及以上相关工作经验者优先

二、熟悉linux开发环境，熟悉python