爬虫开发工程师

2、根据业务需求设计并开发分布式爬虫系统，对不同网站上的多源异构数据进行抓取，同时进行必要的数据清洗、处理、去重等操作；

3、研究各类反爬机制（如验证码、滑块等）与防屏蔽机制（如代理池、模拟登录等），并形成一套可复用的组件、工具，提高系统的稳定性、成功率；

4、对爬虫系统进行定期维护，确保程序正常运行、数据正常获取；

5、参与大数据平台产品的建设...