表示学习

表示学习关注如何把原始对象 $x$ 映射到适合下游任务的向量空间 $z = f_theta(x)$。

表示学习

表示学习关注如何把原始对象 $[x]$ 映射到适合下游任务的向量空间 $sequence( [z], [ ], [=], [ ], attach( base: [f], b: sequence([θ], lr(body: sequence([(], [x], [)]))), ), )$ 。

核心问题

表示是否保留任务相关信息？
表示是否抛弃噪声和无关变化？
表示空间的距离是否有语义意义？

与其他主题的关系

表示学习连接注意力机制、视觉 Transformer 和线性代数。

对比学习目标

一个常见目标是让正样本更接近，负样本更远：

$sequence( attach(base: styled(child: [L], ..), b: [i]), [ ], [=], [ ], [−], op(text: [log], limits: false), [ ], frac( num: sequence( op(text: [exp], limits: false), lr( body: sequence( [(], op(text: [sim]), frac( num: sequence( attach(base: [z], b: [i]), [,], [ ], attach(base: [z], t: [+], b: [i]), ), denom: [τ], ), [)], ), ), ), denom: sequence( attach( base: [∑], t: lr(body: sequence([{], [N], [}])), b: lr(body: sequence([{], [j], [=], [1], [}])), ), sequence( op(text: [exp], limits: false), lr( body: sequence( [(], op(text: [sim]), frac( num: sequence( attach(base: [z], b: [i]), [,], [ ], attach(base: [z], b: [j]), ), denom: [τ], ), [)], ), ), ), ), ), )$

其中 $[τ]$ 是温度系数。