Python爬虫工程师

1、负责爬虫系统的设计、开发、部署及维护，确保高可用性和可扩展性；

2、解决网站反爬机制(如IP封禁、验证码、动态加密等)，优化数据抓取效率；

3、实现数据清洗、存储及对接下游系统(数据库、消息队列等);监控爬虫运行状态，分析日志并快速定位解决异常问题；

4、编写技术文档，与团队协作完成数据需求

任职要求

1、精通Python，熟悉 DrissionPage、Scrapy、Requests、BeautifulSoup 等爬虫框架/库；

2、熟悉HTTP/HTTPS协议、WebSocket及常见网络通信机制；

3、掌握HTML解析(XPath/css选择器)、JSON/XML数据处理；

4、熟悉反爬策略(IP代理池、请求头伪装、验证码破解等)；

5、熟悉MySQL、MongoDB、Redis等数据库技术；

6、熟悉Linux开发环境，掌握Git、Docker等工具；

7、具备良好的代码规范、逻辑思维及问题解决能力；

8、加分项：有Java开发经验，熟悉Java网络编程、多线程/并发处理；有分布式爬虫经验(Celery/Scrapy-Redis等)。