Alexnet, VGG

AlexNet

• 2012년 세계 이미지 대회 ILSVRC 대회에서 우승한 모델임
• 2위 모델과는 10프로 이상의 압도적인 성능으로 1위 달성
• 별로 좋은 평가받지 못한 LeCun의 Lenet5와 유사
• GPU 사용 (GTX580)
• 무엇을 개선하였나?

머신러닝 탈피!

• 기존 object recognition에서 머신러닝 기법이 일반화 되어 있었음. Ex) SVM
• 머신러닝 사용시 small dataset은 좋은 성능을 냈으나, 성능이 좋은 일반화를 위해선 larger dataset을 학습시켜야 함.
• 심층신경망 모델 사용 -> Vanishing Gradient문제 해소도 함 (Relu 활성화 함수 사용. Tanh 보다 6배 빠름)
• Larger dataset사용 ( 학습비용도 낮춤)
• 과대적합 방지 : Dropout
• Overlapping maxpooling -  top-1, top-5 에러율을 줄이는데 좀 더 효과가 있다고 한다
• Local Response Normalization: 강하게 활성화된 뉴런의 주변이웃에 대해 normalization을 실행함. 주변에 비해 어떤 뉴런이 비교적 강하게 활성화되어 있다면, 그 뉴런의 반응은 더 돋보이게 됨. 강하게 활성화된 뉴런 주변도 모두 강하게 활성화되어 있다면, LRN이후에는 모두 값이 작아질 것.

 

 

 

Alexnet

참고: www.youtube.com/watch?v=CQwzsNDpE1c

 

 

VGGNet

 

• VGG16,19는 16개나 19개의 층 수를 말 함
• 2014년 이미지넷 이미지 인식대회에서 준우승
• 이 모델 이후로 네트워크 깊이가 확 깊어지면서 성능이 더 좋아짐
• 네트워크 깊이가 어떤 영향을 미치는 지 보고자 필터커널의 사이즈를 최소한의 3*3필터로 고정함
• 6개 구조로 나눠서 성능 비교함
• D가 vgg16, E가 vgg19

• Local Response Normalization이 A구조와 A-LRN 구조의 성능을 비교함으로 성능 향상에 별로 효과가 없다고 실험을 통해 확인. 그래서 더 깊은 B, C, D, E 구조에는 LRN을 적용하지 않는다고 논문에서 밝혔다.
• 깊이가 깊어질 수록 성능이 좋아진다는 것을 확인

• 3 x 3 필터로 두 차례 컨볼루션을 하는 것과 5 x 5 필터로 한 번 컨볼루션을 하는 것이 결과적으로 동일한 사이즈의 특성맵을 산출
•  3 x 3 필터로 세 차례 컨볼루션 하는 것은 7 x 7 필터로 한 번 컨볼루션 하는 것과 대응
• 3*3 필터 *3개 = 27개 가중치, 7*7 필터는 49개의 가중치를 가짐.
• 가중치, 파라미터의 갯수가 더 적어져 훈련시킬 갯수가 작어져 학습속도가 빨라짐 & 층의 갯수가 늘어나면서 특성에 비선형성을 더 증가시키기 때문에 특성이 점점 더 유용해짐.

 

참고 : bskyvision.com/504