爬虫开发工程师_网站app微信小程序逆向分析
6-11K长沙市专科3-5年
职位描述
【岗位核心】此岗位的核心是逆向。因此，要求您至少需要有任意一种（js或app或小程序或c或其他）逆向的经验或能力。【工作职责】1. 满足公司对外部数据的抓取需求；
2. 负责海量数据的采集、清洗、抽取、消重等研发工作及工具的优化；
3. 负责关键技术攻关，包括基础资源，如代理池技术、性能方面的优化、反爬技术、浏览器采集技术；
4. 负责搭建稳定、可扩展的爬虫中台，不断完善和提升公司的爬虫中台能力；
5. 领导交办的其他事项。
【任职要求】1. 熟练使用任意一门编程语言，数据结构和算法；
2. 一年以上爬虫开发经验，深入理解自己所熟练语言的爬虫框架（如python的Scrapy），具备丰富的反爬经验，具备分布式爬虫开发能力；
3. 掌握http协议，熟悉HTML/JavaScript/CSS/Ajax等web技术，熟悉web相关数据处理技术，熟悉常用的浏览器调试技术；
4. 熟练各种采集技术和爬虫开发常用技能，如selenium、pyppeteer、正则表达式、Xpath、css选择器、各种验证码处理等；
5. 精通分布式、多线程爬虫开发技术，懂基础攻防，熟悉常见的反爬机制及对应的应对措施，如cookie识别，js逆向、代理、反编译、抓包、破解等技术或能力；
6. 有对国内外主流电商平台爬取经验，比如淘宝，京东，Amazon等；
7. 有主流社交媒体平台爬取经验，比如微博，小红书等；
8. 具备构建爬虫平台的能力。
【优先人士】1. 有海外电商平台，社交网站爬取经验优先；
2. 具备国内外热门商品抢购、秒杀软件或插件开发经验者优先；
3. 曾主持开发爬虫中台者优先
20,861+ 岗位更新等你来订阅
一键订阅最新的岗位，每周送达
🎉恭喜你，订阅成功
继续订阅您可以在邮箱中随时取消订阅