大数据工程师

1、大数据处理技术：熟悉 Hadoop、Spark、Hive、HBase 等大数据处理框架，了解其工作原理和应用场景，能够进行数据的采集、存储、处理和分析.

机器学习与深度学习：精通业界机器学习、深度学习算法原理，如 SVM、XGboost、HMM、CRF、CNN、RNN（LSTM）等，熟悉常见的深度学习框架，如 TensorFlow、PyTorch 等，能够运用这些框架进行模型的训练、优化和部署；

2、 数据处理与分析：掌握数据清洗、数据预处理、特征工程等数据处理技术，能够使用 SQL 等工具对数据进行查询、分析和挖掘，为模型训练提供高质量的数据；

3、模型调优与性能优化：了解模型评估指标，能够对训练好的模型进行评估和调优，提高模型的准确性和泛化能力；掌握模型压缩、量化、剪枝等性能优化技术，使模型在生产环境中能够高效运行；

4、分布式计算与云计算：熟悉大规模分布式计算的相关技术和工具，如分布式存储、分布式训练等，了解云计算平台的使用，能够将模型部署到云端进行计算和服务；

5、自然语言处理或计算机视觉技术： 有从事自然语言处理相关经验，需掌握文本预处理、分词、词性标注、句法分析、语义理解等 NLP 关键技术，熟悉预训练语言模型如 BERT、GPT 系列等的应用；有计算机视觉相关经验，需掌握图像处理、图像识别、目标检测、视频分析等技术；

6、硬性标准：必须要有从0-1搭建大数据、数据湖、数仓的实际经验，不具备该项标准的，***。