解题思路

计算图文相似度矩阵

由于 image_embeds 和 text_embeds 已经做过 L2 归一化，因此两者点积就是余弦相似度。
$logits = \frac{image_embeds \cdot text_embeds^T}{temperature}$

题面描述

实现 $CLIP$ 对比学习损失函数。

$CLIP（Contrastive Language–Image Pretraining）$ 通过对比学习，将图像和文本嵌入到同一向量空间。对于一个 $batch$ 中的 N 个图文对， $CLIP$ 损失要求匹配的图文对相似度最高。