会员专享
请先
登录，登录后可使用今日免费解锁；
开通会员后可解锁完整内容。
解题思路
先用 Wq,Wk,Wv 把每个位置的隐藏状态投影成 Q,K,V，再按连续下标切成 H 个头。位置 i 只对满足 0≤i−j<w 的键计算
s=dQ(h)⋅K(h)
减去该行最大值后做 softmax，对 V 加权得到该头的上下文。各头按原下标拼回，左乘 Wo 后再加上 X。
投影按 (Wx)r=∑cWr,cxc 做。窗口用严格小于 w 的下标差，分数要除以正的 d，指数前先减最大值。输出时每个分量四舍五入保留 4 位小数，一半远离 0，并固定写成 4 位。Python 的矩阵投影使用 numpy。
