数据开发与应用工程师

1. 数据架构与开发

a)设计并开发数据仓库（DW）、数据湖（Data Lake）及实时数仓架构，构建分层模型（ODS→DWD→DWS→ADS）。

b)编写高效ETL/ELT流程，使用工具（如Apache Airflow、Kettle）或自研脚本完成多源数据（数据库、日志、API）集成。

c)优化Hadoop、Spark、Flink等大数据计算任务的性能（如资源分配、Shuffle调优），降低数据延迟与计算成本。

2. 数据治理与运维

a)实现数据血缘追踪、元数据管理及数据质量监控（如空值率、一致性校验），确保数据可信度。

b)维护大数据集群（CDH、HDP）及云数据平台（AWS Redshift、阿里云MaxCompute），处理节点故障与性能瓶颈；

c)配合数据安全团队，落实数据分级、脱敏策略及权限管控（如Apache Ranger）。

3. 实时数据开发

a)开发实时数据管道（如Kafka→Flink→HBase），支持业务实时看板与风控场景；

b)优化流式计算任务的Checkpoint机制与背压处理，保障高并发下的数据完整性。

4. 协作与创新

a)协同数据科学家与分析师，提供高效数据服务（如数据API、OLAP查询优化）；

b)探索新技术（如Iceberg/Hudi数据湖格式、ClickHouse实时分析），推动数据架构升级。

岗位要求：

1.本科及以上学历，计算机科学、数据科学、统计学相关专业；

2.5年以上数据开发经验，主导过数据平台模块建设，有PB级数据处理或高并发实时场景经验优先；

3.精通SQL（窗口函数、性能优化），掌握至少一门编程语言（Python/Java/Scala）；

4.熟悉大数据生态：Hive/Spark SQL、HDFS/YARN、Zookeeper/Kafka；

5.数据调度（Airflow/DolphinScheduler）、版本控制（Git）、CI/CD（Jenkins）；

6.逻辑严谨，具备数据敏感度，对数据采集、数据开发、数据分析、数据建模、算法等有深刻认识和实战经验，具备大规模系统的故障诊断与性能优化能力；

7.有较强的逻辑抽象思维能力，思路清晰，善于分析、归纳、解决问题，能够独立完成数据开发项目。

8.良好的文档习惯，能编写技术方案与操作手册；

9.具备领域模型设计（如维度建模、Data Vault）或开源项目贡献经验者优先；

10.有时序数据存储（InfluxDB/TDengine）、设备数据降采样经验者优先；

11.负责过企业级数据仓库建设项目，有大型企业数据治理项目经验者优先。

PS：需参与7x24小时运维轮岗值班