数据采集专家
2-3.5万广州市硕士不限经验
职位描述
岗位职责：
数据采集工程师是一个结合了数据分析、机器学习和软件工程的职位，负责从大量数据中提取有价值的信息并应用于业务决策。
1. 数据采集：
1）设计并实施高效的数据收集策略。
2）开发自动化工具和脚本，提高数据采集的效率和一致性。
2. 数据清洗
1）制定详细的数据清洗流程，识别并处理数据中的噪声、重复、错误和不完整信息。
2）对图像数据进行预处理，包括去噪、增强对比度等，提升数据质量。
3）使用统计方法和机器学习技术，检测和处理数据中的异常值，确保数据的准确性和可靠性。
3. 数据筛选
1）根据AI算法的具体需求，筛选出高质量、相关性强的数据集。
2）开发自动化筛选工具，提高数据准备的效率，同时确保数据的多样性和代表性。
4. 数据存储
1）设计和实施适合大规模数据存储的解决方案，确保数据的高效存取和管理。
2）利用分布式存储系统或数据库管理系统（如MySQL、MongoDB）进行数据存储。
3）确保数据存储的安全性和可扩展性，满足未来数据量增长的需求。
5. 数据管理
1）制定全面的数据管理策略，涵盖数据的安全、访问控制、版本管理等方面。
2）实施严格的访问权限管理，确保数据的安全性和隐私保护。
3）建立数据版本控制系统，跟踪数据的更新和变化，确保数据的一致性和可追溯性。
4）定期进行数据备份和恢复，保障数据的完整性和可用性。
6. 数据分析和可视化
1）开发和实施数据分析和可视化工具以支持AI算法开发和部署。
2）创建数据可视化以与利益相关者沟通见解和结果。
任职要求：
1. 计算机科学、数据科学、信息工程等相关专业学士学位或以上，硕士学位优先。
2. 3年以上数据采集、机器学习或AI工程相关工作经验。
3. 熟练掌握Python、Java、C++等编程语言。
4. 熟悉数据采集、特征工程、数据存储与管理技术。
5. 了解AI/ML框架如TensorFlow、PyTorch、Scikit-learn等。
6. 熟悉图像处理技术，了解OpenCV、Pillow等工具。
7. 具备优秀的沟通和团队合作能力，能够与跨职能团队有效协作。
8. 具有较强的问题解决能力和分析能力，能够独立完成复杂的数据处理任务。
9. 学习能力强，能够快速掌握新技术和新工具，适应快速变化的技术环境。
20,861+ 岗位更新等你来订阅
一键订阅最新的岗位，每周送达
🎉恭喜你，订阅成功
继续订阅您可以在邮箱中随时取消订阅