Python工程师

1、参与分布式爬虫和数据采集系统的架构设计和开发；

2、负责网络数据抓取规划、定期爬取指定网站的数据；

3、设计爬虫策略和防屏蔽规则，提升网页抓取的效率和质量；

4、参与数据层建设，专注于垂直领域数据爬取，进行多平台信息的抓取和分析；

5、实现数据提取、清洗、结构化、入库、统计分析等需求；

6、研究优化算法，提升爬虫系统的稳定性、可扩展性。

任职要求

1. 计算机相关专业，本科及以上学历，1-3年及以上数据采集相关工作经验，有web3、金融行业经验的优先考虑；

2. 精通Python，熟悉HTML和JavaScript，有前端开发经验加分；

3. 熟悉HTTP和Websocket协议，熟悉正则表达式、XPath、CSS选择器等；

4. 熟悉常用的爬虫框架和工具，了解常见反爬场景，有App端数据采集经验优先；

5. 熟悉MySQL、Redis等常用数据库，了解RabbitMQ，InfluxDB；

6. 学习能力强，抗压能力强，能独立解决实际开发过程碰到的各类问题。