g_ema?, EMA 구하는 공식

g_ema?

stylegan2 repository에 나오는 약어... 처음엔 몰랐는데 하다보니 알게됐다.

학습하면서 생성된 generator 들의 가중치들의 이동 평균

최근에 학습된 가중치일수록 더 많이 반영되도록 한다.

exponetial moving average

EMA 구하는 공식

대충 전체 학습한 가중치 개수에다가 스무딩 정도만큼 현재 값을 반영하게 하고, 남은 부분은 이전 값을 반영하게 하는 것.

7개 가중치가 있으면 이전 이동평균( 6개 가중치의 이동평균 )과 7번째 가중치를 비중을 달리해서 더 한다. 그런데 최근 것이 더 반영이 많이 되나 보다.

www.investopedia.com/ask/answers/122314/what-exponential-moving-average-ema-formula-and-how-ema-calculated.asp#:~:text=The%20exponential%20moving%20average%20(EMA)%20is%20a%20technical%20chart%20indicator,importance%20to%20recent%20price%20data.

How Is the Exponential Moving Average (EMA) Formula Calculated?

github.com/rosinality/stylegan2-pytorch/blob/master/convert_weight.py

rosinality/stylegan2-pytorch