开源数据采集工程师

一、岗位职责

1、基于内部采集框架，熟悉采集架构，熟悉开源数据采集程序方法策略，设计采集策略和防屏蔽规则，提升开源数据采集效率和质量，能够进行论坛、网站等平台信息的抓取和分析2、深入了解采集平台数据获取逻辑，完成数据采集、解析处理、数据入库等数据日常工作，完成数据采集规则编写和维护3、把握开源数据采集核心技术研究方向，研究优化平台，提升采集程序的稳定性、可扩展性，支撑相关单位的数据需求二、任职要求...