大数据开发工程师

2.负责公司数据产品的数据采集，清洗，加工及统计分析，以及数据处理功能的开发，编写相关文档

3.参与数据映射、数据质量分析、数据差异分析

4.负责公司数据产品功能开发；

5. 完成上级临时交付的工作任务

专业技能要求:

1.3年以上数据仓库项目实施经验，独立完成数据处理开发工作，负责过一个完整项目；

2.熟练使用Flink开发实时计算任务，具备基于DolphinScheduler搭建复杂工作流调度系统的实战经验；

3.熟悉ETL开发，熟悉Apache Hudi数据湖架构设计与优化；

4.熟练使用数据采集和接收工具，熟练使用flume+kafka优先；

5.熟悉Hadoop生态圈技术，具有源码阅读及二次开发工作经验；

6.熟练使用SQL，熟悉数据库原理，熟悉mysql；

7.熟悉Linux操作系统，熟练使用常用命令，熟练使用shell脚本；

8.熟练使用高性能缓存工具，熟练使用redis优先；

9.具有清晰的系统思维逻辑，对解决行业实际问题有浓厚兴趣，良好的沟通协调能力及学习能力。