大数据开发工程师

1.负责数据湖的搭建、运维和开发工作，保障数据湖的稳定、高效运行。

2.设计开发数据管理平台、元数据平台、调度平台。

3.管理和优化数据处理+存储流程，确保数据的准确性，及时性和可访问性。

4.与算法团队合作，支持高效数据计算，高级数据分析和机器学习模型的开发。

5.发现并解决数据湖平台的重大故障及性能瓶颈，监控数据处理系统的运行状态，及时解决任何技术问题。

6.制定和执行数据治理策略，确保数据的完整性和一致性。

7.持续评估和引入新技术和工具，以提升数据处理的功能和性能。

任职要求：

1.全日制本科学历，计算机相关专业，10年以上大数据、后端开发经验优先。

2.具备PB级大数据工程化经验优先，具有大型企业数据湖平台搭建，部署，优化开发经验者优先。

2.熟悉SaltStack、Ansible等自动化运维工具，熟悉CDH、HDP等大数据平台运维工作。

4.熟悉Hadoop、Hive、Impala、Kudu、Spark、Flink、Kafka、ZooKeeper、Apache Kylin等组件的原理及运维方式，有相关优化经验。

5.有强烈的求知欲和钻研技巧，具有良好的独立分析问题与迅速解决问题的能力。

6.熟悉各类调度系统，包括 Azkaban、DolphinScheduler 等，具备丰富的任务调度、流程管理和大数据作业调优经验。

7.具备数据管理平台和元数据平台的开发经验，深入理解数据资产管理、元数据管理和数据治理的核心技术与实践。

8.熟练使用前端vue、掌握编程语言Java、熟悉Springboot等微服务框架MyBatis等开发框架。

工作地点：惠州总部