아이테킨의 끄적끄적

optimizer란? - 신경망 학습중 손실함수의 값을 낮추는 매개변수를 찾는 것을 의미한다. 4가지 optimizer 1. 확률적 경사 하강법(SGD, Stochastic Gradient Descent) SGD는 손실함수의 기울기를 계산한 후 그 기울기 값에 학습률(learning rate)를 곱하여 그 값을 기존의 가중치에 적용하여 갱신해준다. 단점은 기울기(미분값)가 0이 되면 가중치를 더이상 업데이트 하지 않는다. 따라서 local 극한값이 있을때에는 global극한값을 찾을 수 없고 안장점(saddle points)에 앉아버려 더 움직이지 못하는 경우도 있습니다. 2. 모멘텀(SGD with Momentum) SGD를 개선한 알고리즘으로 이동값에 관성으로 인한 업데이트가 추가된 방법이다. 기울기..

이 블로그에 처음으로 신앙과 관련된 내용을 써보려고 한다. 이 글을 쓰기 전에 내 안에 가장 먼저 들어왔던 질문은 이것이었다. 왜 나는 나의 생각과 은혜들을 기록하려고 하는가? 이것들을 기록하는 것이 무엇을 위한 활동이 될 것인가??" 이 질문들에 대해 지금 당장 답을 내리기는 어렵다는 생각이 들었다. 아니, 하나하나 기록을 쌓아나가면서 그 의미를 찾아나가는 것이 맞는 방향이라는 생각이 들었다. 한가지 작게나마 소망하는 바가 있다면 약간의 시간이 흘러 (언제가 될진 모르겠지만) 위의 질문들에 대해서 자신있게 대답할 수 있도록 성실하게 이 기록하는 활동을 이어나가길 바란다. 그럼에도 지금 이 기록을 시작하는 이유는 있다. 지금은 말씀가운데, 기도가운데 받았던 은혜가 생생하다. 말씀을 보기만 해도, 그 생각..

Inverse Transform Random Sampling방법을 사용하여 Uniform distribution에서 Binomial distribution을 구하기. 우선, Inverse Transfor Random Sampling이 무엇인가? 개념을 간단히 정리하자면 uniform distribution으로부터 내가 알고싶은 분포를 무작위 추출(random sampling) 할 수 있도록 해주는 개념이다. 즉, uniform distribution으로부터 random sampling한 케이스들을 내가 원하는 분포의 모양으로 변환시켜줄 수 있다. inverse transform의 단계는 다음과 같다. 1. 구하고자 하는 분포의 CDF(cumulative distribution function, 누적분포함..