(资料图)

上次没查，这次随便瞅了瞅，通俗点，就是降低权重，加了L2正则化，这是一个成本比较低的方法。在lion优化器的时候，一些文章建议开启，lion也比较容易过拟合，但是俺一般用loha炼制角色，以二次元人物为主，X100的步数也不大可能导致过拟合，反而是weight_decay =0.1，可能导致训练结果并不会那么理想。

总之感觉0.1这个值的影响太大了，人物特征都被抹平了，如果是训练一些风格，概念或许这样会更好？但是人物的话还是影响越小越好，实在是怕拟合去找些正则化图，虽然麻烦点…。

adam与weight_decay水火不容，以至于没去掉额外参数的时候，生成的角色变成了该角色的幼齿版了……