JSP's Deep learning

1. 요약 YOLOv3는 Residual 기법이 적용된 DarkNet-53 구조를 사용하였다. 클래스 분류에 Logistic classifiers를 사용하였다. K-means 클러스터링을 통해서 Bounding box priors을 구성했다. (Bounding box priors에 대해서는 뒤에서 설명한다) 3-scales feature map을 사용하여 feature을 추출한다. YOLOv3는 YOLOv2와 비교했을 때, 작은 객체에 대한 탐지 성능이 향상되었다. 2. 용어정리 1) Linear activation f(x) = cx의 식을 가지는 선형 활성화 함수 다중 출력이 가능하다. 미분 값이 상수이기 때문에 오차역전파를 통한 학습이 불가능하다는 특징이 존재한다. 2) Upsampling Decon..

1. 요약 ①“Optimization 관점”에서 Adversarial Robustness 정의 (=> 강력한 Adversarial Attack에 대한 Defense을 학습) ②Adversarial Training with Strong Attack => Robustness↑ ③ Model’s Capacity↑=> 복잡하고 정교한 Decision boundary => Robustness↑ ④복잡한 Dataset에 대한 Attack에 대해서는 Defense 성능이 좋지 못하다. 2. 용어 정리 1)“First-Order Attack” “한 번의 미분”만으로 공격을 수행하는 기법(Loss function에 대해서 한 번) => 즉, 오차역전파를 한번만 수행함. PGD(Projected Gradient Desce..

1. 요약 YOLO9000은 9000개 이상의 categories에 대해서 detection이 가능한 object detection system이다. (YOLOv1은 200-classes) YOLOv2는 Speed와 accuracy의 tradeoff가 잘 절충된 model이다. YOLO9000에서는 Classification dataset과 detection dataset을 결합하여 학습하는 방법을 사용했다. 결론적으로, COCO dataset에 없는 class에 대해서도 Object detection이 가능하게 되었다. (단, 비슷한 형태의 세부 카테고리의 객체에 대해서 탐지가 가능해진 것!) 2. 주요 용어(간단 정리) ...상세한 사항은 관련 논문을 찾아봐야합니다... 1) ResNet Residu..

1. YOLOv1 요약 1) YOLOv1의 Detection System 2) YOLOv1의 장단점 (1) 장점 One-Stage Object Detection 45 fps로 빠르다. => Real time object detection에 적합하다. 물체에 대해서 더 잘 일반화를 한다. 배경에 대해서 잘못 예측하는 경우가 더 적다. (2) 단점 더 많은 Localization Error을 가진다. 2. YOLOv1의 용어정리 1) Leaky ReLU ReLU에서 일부 뉴런이 활성화되지 않는 문제를 개선 x ≤ 0에 대해서, 0.01x를 적용 2) HSV color space (H, S, V)의 좌표로 색을 표현하는 방법 H(Hue) : 색상, 색의 종류 (0~179) S(Saturation) : 채도, ..

1. Faster R-CNN 요약 1) Architecture 2) Faster R-CNN의 특징 Region Proposal Network(RPN)을 이용한 Region Proposals RPN과 Fast R-CNN detector가 하나의 convolution feature map을 공유하도록 합친 단일 네트워크(Single Network) End-to-End 방식의 학습 GPU 상에서 5 fps의 속도을 가진다. 3) Multiple scales와 sizes을 처리하기 위한 Faster R-CNN의 체계 (a) : 이미지 피라미드(Pyramids of images)에서 다양한 scales와 sizes을 가진 이미지마다 feature map을 만들어 처리하는 방법 (b) : 필터 피라미드(Pyrami..

1. Adversarial Examples 요약 "Adversarial Examples"는 Model의 선형성(Linear nature)의 취약점을 이용한 공격 기법이다. "FGSM(Fast Gradient Sign Method)"을 통해서 Adversarial Examples을 생성한다. "Adversarial Training"을 통해서 "Adversarial Example"에 대해 Model을 Robust하게 한다. 2. 주요 용어 1) Softplus Function log(1+exp(x))로 정의된다. ReLU와 비슷하지만 ReLU는 x < 0에 대해서 0으로 처리하는 반면에 SoftPlus는 조금 더 Smooth하게 0으로 수렴하게 한다. 2) Maxout Function 활성화 함수를 piec..

1. Fast R-CNN 요약 1) Fast R-CNN의 Architecture 2) Fast R-CNN의 주요 특징 Multi-Task Loss Shared feature map computation ROI pooling layer 2. Fast R-CNN의 주요 용어 1) ROI (Region Of Interest) Feature map에서 주의 깊게 봐야 할 영역 Selective Search로 추출된 Region proposals을 convolution feature map에 ROI projection을 하여 convolution feature map 상에서 관심영역을 지정한다. 2) Max Pooling 사용자가 설정한 크기와 간격만큼 window을 이동시키면서 해당 window 영역의 픽셀 중..

1. 주요 용어 1) Region proposals 한 이미지에서 Object가 존재한다고 예측되는 영역을 추출하는 것 R-CNN에서는 Selective Search 기법을 사용하여 Region proposals을 수행한다. 2) Warp 사전적 의미는 "왜곡"이라는 의미를 가지고 있다. R-CNN에서 Warp는 이미지의 사이즈를 변형한다는 의미(Reshape와 비슷하다) p는 context padding으로 p가 0이 아니면, 주변환경을 어느정도 포함한다. 3) Selective Search Region Proposals을 수행하는 기법 중 하나 비슷한 Pixels의 값이 있는 영역을 여러 개 선택한 다음, 중복되는 부분을 제거하여 Region Proposals을 수행한다. 상세한 사항은 J. Uijl..