上市公司-python反爬虫工程师-北京

1、完成公司软件产品的开发、调试、单元测试、维护等工作；

2、研究并优化爬虫调度策略，提高抓取效率、成功率及内容覆盖率；

3、处理反爬机制、优化UA、IP池、动态调度等策略；

4、监控和优化爬虫集群性能，优化异常检测，爬取策略调优等机制；

5、协助技术文档、系统说明书、用户手册的编辑工作；

任职资格：

1、本科及以上学历，计算机或相关专业，熟悉python，熟悉Node.js等编程语言；

2、2年以上的爬虫经验，能够独立完成开发任务；

3、熟悉掌握Scrapy、PySpider等爬虫框架；

4、熟悉HTTP、HTTPS原理，理解Cookie机制，能够进行请求抓包；

5、熟悉SQL数据库（如MySQL、PostgreSQL）和NoSQL数据库（如Redis、MongoDB）；

6、熟练堂握面向对象编程的理论和应用，熟悉动态库、网络编程、多线程编程等常用技术；

7、熟悉反爬技术优先：验证码掌握、IP代理、JS逆向等对抗策略；