标签: 机器学习
《ConvexOptimizationforAlignmenta
《ConvexOptimizationforAlignmentandPreferenceLearningonaSingleGPU》MFeng,MPilanci[StanfordUniversity](2026)在偏好对齐领域，DPO虽比RLHF简单，却仍吃显存、依赖参考模型和调参。根因是把排序学习塞进非凸训练，稳定性靠经验配方维持。本文的核心洞见是：把偏好对齐重新看作凸分类问题。由此，在冻结LLM特征上训练凸神经网络头，用ADMM求解，去掉参考模型。这项工作留下的遗产是把单卡对齐变成可收敛的优化流程。它打开的新门是低资源、本地化偏好微调；尚未跨过的门槛是冻结底座难学深层语义偏移。arxiv.org/abs/2605.23244机器学习人工智能论文AI创造营
