算法步骤

1. 找到最大值：

   • 首先从输入向量 z 中找到最大值 max(z)，以提升计算的数值稳定性。这是因为在计算指数时，较大的值可能导致溢出，因此需要进行归一化处理。

2. 计算指数：

   • 对输入向量中的每个元素，计算它与最大值的差值，然后求得这个差值的指数。具体计算为：
   $$e^{(z_i - \text{max}(z))}$$

   这样可以确保所有的指数值均为非负且在稳定范围内。

3. 计算指数和：

   • 将所有的指数值相加，得到一个总和：
   $$\text{sum\_exp} = \sum_{i=1}^{n} e^{(z_i - \text{max}(z))}$$

4. 计算概率：

   • 对于每个指数值，将其除以总和，得到最终的概率分布。概率值的计算公式为：
   $$p_i = \frac{e^{(z_i - \text{max}(z))}}{\text{sum\_exp}}$$

5. 返回结果：

   • 返回计算得到的概率分布向量，表示输入向量 z 中每个元素对应的概率值。

Python 实现

import math
from typing import List

class Solution:
    def softmax(self, z: List[float]) -> List[float]:
        """
        计算Softmax函数输出的概率分布向量
        
        :param z: 输入向量
        :return: 概率分布向量
        """
        # 1. 找到输入向量的最大值
        max_z = max(z)
        
        # 2. 计算指数，使用最大值以提高数值稳定性
        exp_values = [math.exp(x - max_z) for x in z]
        
        # 3. 计算指数和
        sum_exp = sum(exp_values)
        
        # 4. 计算Softmax输出
        return [x / sum_exp for x in exp_values]

题目描述

给定输入向量：

$$z = [z_1, z_2, \dots, z_n]^\top$$

Softmax 的计算公式为：

$$\text{Softmax}(z_i) = \frac{e^{z_i}}{\sum_{j=1}^{n} e^{z_j}}$$

为提升数值稳定性，通常使用如下等价形式：

$$\text{Softmax}(z_i)=\frac{e^{z_i - \max(z)}}{\sum_{j=1}^{n} e^{z_j - \max(z)}}$$

Softmax 输出为概率分布向量：

$$p = [p_1, p_2, \dots, p_n]^\top$$

并满足：

$$\sum_{i=1}^{n} p_i = 1$$

输入参数

• z：长度为 $n$ 的输入向量

返回值

• p：长度为 $n$ 的 Softmax 概率输出向量

示例

输入：

z = [1.0, 2.0, 0.0]

输出：

p = [0.2447, 0.6652, 0.0901]

提示

• 输入范围： $-100 \le z_i \le 100$

• 输出概率范围： $0 \le p_i \le 1$

• Softmax 总和： $\sum_{i=1}^n p_i = 1$

• 向量长度要求： $n \ge 1$