Back to Jobs
小米科技 Xiaomi Technology

大模型预训练算法实习生

小米科技 Xiaomi Technology
北京RemoteInternshipEntry-levelPosted Today
大模型预训练算法实习生北京校招实习算法类职位描述1. 前沿探索与价值提炼​ 深入调研多模态大模型预训练、世界模型、端到端自动驾驶等前沿方向,包括但不限于: BEV感知+Occupancy Network:从鸟瞰视角统一表达三维环境,结合时序Transformer实现动态障碍物与可通行区域建模。 视觉-语言模型(VLM)与驾驶推理:利用CLIP、LLaVA等多模态对齐技术,将自然语言指令、交通规则与视觉特征深度融合,提升复杂场景理解能力。 扩散模型与轨迹生成:研究基于扩散策略(Diffusion Policy)的连续轨迹预测与控制,解决多模态不确定性与长尾分布问题。 世界模型与因果推理:探索基于隐空间动力学预测的世界模型,实现闭环仿真与决策鲁棒性评估。 定期输出高质量调研报告,量化分析各技术路线对量产体验的潜在增益(如接管率降低、舒适度提升、长尾场景覆盖率提高)。 2. 量产预训练方案研发​ 参与设计并优化面向量产车端的预训练框架,重点攻克: 高效多模态融合:在计算资源受限下,设计轻量化跨模态注意力机制(如Cross-Attention Pruning、Token Merging)。 时序一致性预训练:利用对比学习、掩码重建等自监督范式,学习连续帧间的运动规律与语义对应关系。 数据驱动的小样本适应:结合在线难例挖掘、自动标注与数据增强(如LiDAR-to-Camera投影扰动、对抗光照模拟),提升模型对极端天气、异形车辆等罕见场景的泛化能力。 最终交付可直接部署至实车的预训练权重及配套蒸馏方案,显著提升感知、预测、规划全链路指标。 3. 创新攻坚与学术引领​ 聚焦行业级难题,推动技术边界突破: 端到端联合优化:打破传统模块化流水线,探索可微规划器与感知特征的梯度直通,实现从像素到控制信号的全局最优。 大规模并行预训练:利用ZeRO、FSDP、Megatron-LM等分布式策略,在万卡集群上完成千亿参数多模态模型的稳定训练。 闭环评估与安全对齐:构建基于真实路采与仿真引擎的混合评测体系,引入对抗攻击测试、不确定性量化,确保模型行为符合驾驶伦理与法规。 鼓励以第一作者身份投稿顶会(CVPR/ICCV/ECCV/NeurIPS/CoRL),并提供完整的实验平台、标注数据和算力支持。职位要求硕士及以上学历,计算机视觉、深度学习、自动驾驶、AI大模型等相关专业; 在自动驾驶、多模态学习、强化学习/模仿学习等领域有高水平论文发表经历(如顶会一作); 具备扎实的编程能力(Python/C++)及主流框架(PyTorch/JAX)开发经验; 有知名自动驾驶公司或顶级AI实验室实习经历者优先;在Kaggle、nuScenes、Waymo Challenge等竞赛中获奖者优先。投递
Ready to apply? You'll be taken to 小米科技 Xiaomi Technology's application page.