1. Job Roadmap
  2. Home
  3. Problem Set
  4. codenotelist
  5. Forum
  6. course
  7. Shore Share Sessions
  8. Record
  1. Login
  2. Sign Up
  3. Language
    1. English
    2. 한국어
    3. 简体中文
    4. 正體中文
    ZhContent TextSol AI分析

思路步骤

  1. 缩放点积得分 S=QK⊤dkS=\frac{QK^\top}{\sqrt{d_k}}S=dk​​QK⊤​,其中 dk=Kd_k=Kdk​=K 的列数。
  2. 加掩码

P4283.第2题-JSON数组

    1000ms Tried: 30 Accepted: 10 Difficulty: 5 所属公司 : 蚂蚁
    算法与标签>模拟

题目内容

请在仅使用 numpynumpynumpy 的前提下,实现单头 Scaled−DotScaled-DotScaled−Dot ProductProductProduct AttentionAttentionAttention 的前向计算。

输入为 Query(Q),Key(K),Value(V)Query(Q),Key(K),Value(V)Query(Q),Key(K),Value(V) 三矩阵和可选 attention_maskattention\_maskattention_mask 。

设 dk=dd_k=ddk​=d 。

1.缩放点积得分 S=QKTdkS=\frac{QK^T}{\sqrt{d_k}}S=dk​​QKT​

2.加掩码(如果提供) S←S+maskS←S+maskS←S+mask

  • 掩码元素为 000 或 −1e9-1e9−1e9 ——等价于将被屏蔽位置的 softmaxsoftmaxsoftmax 概率压至 000

3.行级数值稳定 softmaxsoftmaxsoftmax

S=S−S.max(axis=1,keepdims=True)S=S-S.max(axis=1,keepdims=True)S=S−S.max(axis=1,keepdims=True)

P=exp(S)/exp(S).sum(axis=1,keepdims=True)P=exp(S)/exp(S).sum(axis=1,keepdims=True)P=exp(S)/exp(S).sum(axis=1,keepdims=True)

4.加权求和 O=PVO = PVO=PV ,结果形状 (m,dv)(m,d_v)(m,dv​)

5.输出展开

  • 按行优先顺序进行展平操作,即将 O[0],O[1],...,O[m−1]O[0],O[1],...,O[m-1]O[0],O[1],...,O[m−1] 依次连接成一个一维数组

输入描述

单行 JSONJSONJSON:

{

"Q":[[...],...], //形状 (m,d)(m,d)(m,d)

"K":[[...],...], //形状 (n,d)(n,d)(n,d)

"V":[[...],...], //形状 (n,dv)(n,d_v)(n,dv​);本题 dv==dd_v==ddv​==d

"mask":[[...],...] or null //形状 (m,n)(m,n)(m,n) ;000 表示可见,−1e9-1e9−1e9 表示屏蔽

}

  • 2≤d≤4,1≤m,n≤32≤d≤4, 1≤m,n≤32≤d≤4,1≤m,n≤3

  • 所有值为实数

  • 若"maskmaskmask"为 nullnullnull ,视为全 000

输出描述

使用 round(x,6)round(x,6)round(x,6) 保留小数位即可,返回单行 JSONJSONJSON 数组

补充说明

为了确保通过测试用例,仅允许使用 NumpyNumpyNumpy 实现

样例1

输入

{"Q":[[1,0]],"K":[[1,0]],"V":[[5,5]],"mask":null}

输出

[5.0, 5.0]

登录后即可使用 AI 分析。

模式
倒计时时长
:

最长 10 小时 59 分;应用后按此时长重新开始。

提示:点击提交记录在左侧题面区域查看详情
题库
AI分析设置
留空使用官方API Key,每天有次数限制(自定义API Key仅限会员和管理员使用,不限次数)
会员和管理员可切换模型;切到 Kimi/智谱/通义/豆包时需填写对应供应商 API Key
升级会员,可将运行与提交冷却时间缩短至 1 秒起

Status

  • Judging Queue
  • Service Status

Development

  • Open Source

Support

  • Help
  • Contact Us

About

  • About
  • Privacy
  • Terms of Service
  • Copyright Complaint
  1. Language
    1. English
    2. 한국어
    3. 简体中文
    4. 正體中文
  2. Legacy mode
  3. Theme
    1. Light
    2. Dark
  1. 京ICP备2025123107号-1
  2. Worker 0, 41ms
  3. Powered by Hydro v5.0.0-beta.18 Community
CLOSE


ScanQRCodePrompt

请使用微信扫描下方二维码完成注册

Forgot password or username?