大数据开发资深工程师-训练数据加载

1.构建分布式数据加载方案，支持机器学习训练任务快速、稳定加载千万级别训练数据

2.优化数据存储方式，平衡存储占用空间，内存占用大小及计算所需资源，提高训练任务效率

3.参与平台架构规划，负责前沿技术的跟踪研究，工具链的选型测试，解决、攻克数据平台的核心技术难题；

4.建立监控和反馈指标，持续优化改进产品的架构及性能，保证产品的稳定性。

任职资格:

1.计算机或相关专业，本科及硕士以上学历，5年以上大数据相关经验；

2.具备扎实的数据结构及算法功底，熟悉Postgres/MongoDB/Redis/Kafka等常用组件及内部原理，精通Python/Java/C++等至少一门编程语言，熟练运用各种常用算法和数据结构；

4.熟悉分布式系统，了解大型服务端开发，有基于Docker、Kubernetes相关开发经验；

5.了解大数据开发基本问题、工具和方法，会使用至少一种大数据框架或组件，如Flink，Spark，Kafka，Iceberg，Paimon，Starrocks，ElasticSearch等；

6.有很强的学习能力和问题解决能力，逻辑严密、思路清晰，有责任心，有创新精神；

7.良好的沟通能力和团队协同能力；能与他人合作，共同完成目标；

8.有自动驾驶或大型互联网公司相关从业经验优先。