AI할 때 수치 안정성

 
 
 
 

tf.math.log(tf.reduce_sum(tf.exp(tf.constant([10000, 9000], dtype=tf.float32)))) # = inf ... 1번 계산
tf.reduce_logsumexp(tf.constant([10000, 9000], dtype=tf.float32)) # = 10000 ... 2번 계산

위의 두 계산은 같은 값을 리턴하지 않는다.
왜냐하면 계산 중간에

tf.exp(tf.constant(10000, dtype=tf.float32)) # = inf

이게 inf기 때문이다.
 
$$ \log{(e^{10000} + e^{9000})} = \log{\cfrac {(e^{10000} + e^{9000})} {e^{10000}}} + 10000 = log(1 + 0) + 10000 = 10000 $$
 
첫번째 항이 1번 계산 두번째 항이 3번 계산에 대응 된다.