数据开发工程师(J10126)

1.负责实时数据技术框架建设，基于离线/实时计算技术实现业务数据的计算和应用；

2.负责FlinkSQL的流计算任务的查询优化、运行时优化、问题诊断等；

3.负责Flink等流计算引擎的调度优化、执行优化，支撑高吞吐、大状态作业稳定运行

4.深入理解业务场景，与业务部门合作，推动实时计算在公司落地；

5.研究最新的实时数据技术发展和实践，并推动在公司内部实践和落地。

6.负责主数据管理（MDM）系统的设计、开发、部署及维护，确保数据一致性、完整性和准确性。

7.构建数据模型、ETL流程、数据清洗规则及数据校验逻辑，支持企***（如客户、产品、供应商等）的统一管理

8.开发和优化MDM系统核心功能模块（如数据匹配、合并、去重、版本控制等）

9.实现MDM系统与ERP、CRM、BI等业务系统的数据集成，确保主数据在多系统间的实时同步与共享

10.参与制定数据治理策略，设计数据质量监控机制，解决数据冲突和异常问题，支持主数据标准化流程的落地，推动数据治理体系的完善。

11.持续优化MDM系统的数据处理性能，提升高并发场景下的响应效率；设计数据安全方案，确保敏感主数据的加密、权限控制和合规性（如GDPR、CCPA）

任职资格:

1、全日制本科及以上学历，计算机、软件工程等相关专业。

2、3年以上大数据开发经验、有2年以Flink等流计算引擎开发经验。

3、有超PB级别大数据处理实战经验，熟悉整个大数据的完整处理流程，优秀的问题解决能力

4、精通Kafka、Elasticsearch、Hbase、Kudu等大数据组件；熟悉Hadoop生态技术，熟练使用Hive，Spark。

5、深入了解Flink原理，熟练使用Flink基本算子，State、多流join、FlinkSQL，能够自主开发Connector及Udf，有复杂场景应用经验者优先；

6、扎实的计算机基础和算法数据结构功底，对技术有热情，愿意不断尝试新技术和业务挑战。

7、精通Java、C#语言，熟悉微服务架构，熟练掌握SpringCloud、SpringBoot、MyBatis等开源框架

8、熟悉MDM相关技术和产品，有实际的MDM开发经验

9、熟悉主流数据库（如MySQL、Oracle、SQLServer等）的开发和优化

10、熟悉MDM相关技术和产品，有实际的MDM开发经验