我们都知道深度学习，有监督学习，半监督学习与无监督学习。监督学习会有标注数据，训练有明确的目标，预测特定的标签或者数值，利用简单的交叉熵损失，平方误差等就能进行模型训练。
针对无监督学习，由于没有明确的标签，模型没发直接度量，所以我们通常使用自监督(self-supervised learning)，也很好理解。该条数据针对正例样本的得分要远远大于负例样本的得分，这样模型也能很好的学习。
下面我从nlp方向来大概介绍，我所使用过，对比过的一些self-supervised损失。
按我的理解，对比损失大体可以分为两类，单负样本与多负样本。
SimCLR
SimCSE
DEC