python开发工程师

1、负责并维护公司数据爬虫程序

2、配合公司大模型训练组完成部分模型训练参数调优

3、根据项目需求编写对应的算法程序

岗位要求

1、运用Python语言开发高效、稳定的数据爬虫程序，从各类招聘网站、行业论坛、社交媒体等公开渠道抓取所需的招聘相关数据，如职位信息、公司信息、薪资待遇、岗位要求等。

2、处理反爬机制，确保爬虫程序的稳定性和数据的完整性，对爬取过程中出现的异常情况进行及时处理和优化。

3、定期维护和更新爬虫程序，以适应网站结构的变化和反爬策略的调整。

4、对爬取到的招聘数据进行清洗、预处理，去除重复、错误和无效的数据，确保数据的质量和一致性。

5、运用 Python 数据分析库（如 Pandas、NumPy、dataset等）对数据进行深入分析，挖掘数据背后的规律和趋势，例如分析不同行业、地区、职位的薪资分布，岗位需求的变化趋势等。

6、运用数据可视化工具（如 Matplotlib、Seaborn 等）将分析结果以直观的图表和报表形式展示出来，为公司的决策提供有力的数据支持。

- 加分项

1、熟悉 Scrapy、BeautifulSoup 等爬虫框架和库，能够独立开发复杂的爬虫程序。

2、熟悉transformer框架者优先。

3、熟悉pytorch/tensflow者优先。