백만년만의 포스팅이다. MS Research Asia 인턴쉽 합격 여부가 가장 큰 관심사, 그 다음이 연구;; 물론 마비노기 영웅전도 재미있게 하고 있다.
어쨌든 Restricted boltzmann machine (RBM)을 필두로 한 deep network에 관심이 생겨서 이놈들에 대해 공부하기 시작한 것도 어느새 넉달째가 되어 가는데 딱히 별 진전이 없다. 논문 읽고 코딩하고 한 거 말고는 없네. 여튼 RBM을 CUDA로 돌리는 코드를 짠 후에 이게 제대로 학습이 안 돼서 골머리를 썩고 있었는데, 어찌어찌 하다 보니까 제대로 돌아가길래 기쁜 마음에 증거물을 첨부한다. 숫자 데이터(MNIST handwritten digits)를 사용해서 RBM을 트레이닝시킨 것이다. Momentum을 안 줬더니 결과가 심히 허접했는데, momentum을 0.9쯤 주니까 결과가 이쁘게 잘 나온다. 각 이미지 타일이 한 개의 hidden unit에 해당한다. 상당히 쓸모없어 보이는 것도 많고 중복되는 것들도 많아 보이는데, 이것들을 어떻게 잘 없애는 방법을 만드는 것이 내 관심사 중 하나이다.