高级爬虫工程师

2. 制定爬虫策略和反爬虫规则，提升数据抓取的效率和质量；

3. 负责http端及app端的数据抓取和爬取链路优化；

4. 对抓取数据进行清洗、整理、入库，进行数据处理及可视化开发工作；

岗位要求：

1. 2年+以上实际的爬虫项目经验；

2. 熟练掌握Python/JAVA等编程语言，熟悉掌握各类爬虫框架；

3. 熟悉HTML/JavaScript/CSS/XPath/Ajax/XML等web技术，熟练掌握HttpClient/WebDriver/splash等工具；

4. 熟悉Linux系统，熟悉Mysql、Redis等数据库，熟悉Internet基本协议（如TCP/IP，HTTP等）；

5. 能够解决封账号、封IP采集等问题，解决数据抓取、信息抽取等问题，构建完善的网络信息收集平台；

6. 有数据分析、数据挖掘相关经验者优先；