数据湖高级软件工程师.

关于公司
一家专注于向量数据库研发的全球领先人工智能（AI）数据处理公司。

关于团队
研发团队

关于岗位职责

• 参与构建企业级机器学习数据湖平台，支持PB级别训练数据的存储、处理、访问与管理。
• 搭建面向训练任务的高性能数据处理管道，实现从原始数据到特征数据的自动化转换。
• 深度整合 Spark、Ray 等大数据和分布式计算框架，实现分布式训练数据准备与特征抽取。
• 建设特征平台/特征存储/特征版本管理模块，提升机器学习开发效率和一致性。
• 跟进数据湖和开源社区前沿技术（如Delta Lake、Apache Iceberg、Hudi等）。

关于职位要求

• 本科及以上学历，计算机、软件工程等相关专业。
• 扎实的大数据处理能力，熟悉 Spark / Flink / Hadoop / Ray 等一种或多种分布式计算框架。
• 熟悉机器学习工作流中数据处理、特征工程、训练调度等环节。
• 熟练掌握至少一种开发语言（Java / Python / C++）。
• 对数据平台、特征平台或机器学习平台的系统设计有实际经验或深刻理解
• 加分项：
  • 有构建或优化过训练数据平台 / 数据湖 / 特征工程平台经验者优先。
  • 熟悉主流数据湖技术（如 Iceberg、Hudi、Delta Lake）或对象存储（S3/HDFS等）。
  • 有Kubernetes环境下的数据任务调度、资源调优等实战经验。