大数据架构师

2、开源组件独立完成核心模块复写、二开等需求的实现和相关文档编写；

3、适应敏捷开发模式工作；

4、（非必须）研发Cloudera Manager/Ambari等类似管理端、监控端、安装组件封装、组件在线安装等功能的研发；

5、协助组件上云、容器打包、容器编排等相关工作；

岗位要求：

1、精通Hadoop，并阅读过源码，精通其内核架构，熟悉上传、下载文件整个原理、源码，对Hadoop有性能优化经历，熟悉Hadoop3优先2、精通Spark，并阅阅读过源码，精通其内核架构，熟悉其任务调度，任务拆分，任务分配，任务执行等整个流程，精通shuffle源码，能够进行shuffle调优，熟悉其监控模块原理3、精通Flink，熟悉Flink流式计算架构，熟悉其时间语义、状态存储、各种窗口，以及Flink-sql底层执行原理4、精通Kafka，熟悉Kafka底层架构，熟悉Kafka可靠消息原理5、熟悉hadoop各生态体系组件，如Hive，Flume，Zookeeper，Sqoop，Kettle，Zepplin，HBase，ELK，Azkaban，DolphinScheduler，Kerberos，Ranger，Altas，Sentry等6、精通Java，Scala开发语言7、有CDH、HDP相关类似的管理端、监控端、安装组件封装、组件在线安装等功能研发经验优先；