受到大型语言模型的微调的启发，研究人员现在正试图使用强化学习来微调生成AI模型以实现特定目标，例如提高图像的美学质量，从干预这一过程。伯克利人工智能研究中心的研究人员使用强化学习来进一步优化生成式人工智能模型用于改善图像生成的效果。与强化学习中常见的一样，DDPO也表现出奖励过度优化的现象:该模型在某个节点之后破坏所有任务中所有有意义的图像�(站长之家)