about the company.
500强研究院
about the team.
成熟的AI团队
responsibilities:
- 负责集团内部的端侧产品研究以及落地应用
- 从事自然语言处理，大语言模型，多模态大模型相关领域算法研究
- 与项目成员进行合作
skills and experience required.
1. 具备硬件（NPU、内存等）及SIMD级/GEMM操作等背景知识，并能通过AutoML等进行模型搜索的人
- 对硬件加速器（NPU、GPU等）和内存管理技术有深入理解，熟练掌握SIMD（单指令多数据）运算和通用矩阵乘法（GEMM）操作的优化。
- 能够使用自动化机器学习（AutoML）工具和平台进行高效的模型搜索和优化。
2. 全面了解模型训练的know-how，从头到尾都能进行训练，并熟悉各种后训练方法论
- 能够从头到尾(end-to-end)地训练深度学习模型，对数据预处理、模型架构设计、损失函数选择、优化器配置等整个过程具有专业知识。
- 对后训练(post-training)模型优化的多种方法（如量化、剪枝、蒸馏等）有丰富的经验和知识。
3. 在模型训练/推理时进行硬件感知优化（图形级优化、预测性解码、早期退出、动态维度）
- 能够应用考虑硬件特性的图形级优化技术（如张量并行、模型并行等），最大限度地提高训练和推理性能。
- 能够提出并实施预测性解码(speculative decoding)、早期退出(early exit)、动态维度(dynamic dimension)调整等技术，以提高模型效率。
4. 能够提出新结构或模型本身的优化（注意力机制、归一化技术、层压缩、token剔除、MoE、SSM等）
- 能够提出新的神经网络结构或模块（如注意力机制、归一化技术、层压缩等），并通过这些创新来提升模型性能。
- 理解并能够应用混合专家(Mixture of Experts, MoE)、稀疏状态机(Sparse State Machine, SSM)等高级技术。
5. 模型性能评估方法和利用评估结果提升模型性能的方法等（测试时间适应等）
- 熟知多种用于准确评估模型性能的指标和方法，并能够根据评估结果持续改进模型。
- 理解并能够应用测试时间适应(Test Time Adaptation)等技术，以提升模型在实际环境中的性能。
6. 英语流利，有团队管理经验
...