JSP's Deep learning

1. 언어모델의 역사 Transformer의 등장을 통해서 RNN의 입력 시퀀스 길이에 따른 모델 복잡도, 기울기 소실 문제 등을 개선하였다. Transformer는 거대 언어 모델(Large Language Model)의 토대가 되었다. 현재(2023년)에는 범용 인공지능에 한 발짝 다가선 ChatGPT가 화두에 올랐다. 2. Transformer 2.1. 구조 2.1.1. 전체 구조 Transformer의 구조는 크게 5가지로 나눌 수 있다. 인코더 입력 전처리된 입력 문장에 대한 임베딩을 수행한다. 포지션 인코딩을 통해 위치 값을 반영한다. 디코더 입력 디코더의 입력 문장에 대한 임베딩 및 포지션 인코딩을 수행한다. 학습시에는 정답문장, 추론(번역 task)시에는 시작 토큰이 최초 입력으로 주어진다..

1. YOLOv1 요약 1) YOLOv1의 Detection System 2) YOLOv1의 장단점 (1) 장점 One-Stage Object Detection 45 fps로 빠르다. => Real time object detection에 적합하다. 물체에 대해서 더 잘 일반화를 한다. 배경에 대해서 잘못 예측하는 경우가 더 적다. (2) 단점 더 많은 Localization Error을 가진다. 2. YOLOv1의 용어정리 1) Leaky ReLU ReLU에서 일부 뉴런이 활성화되지 않는 문제를 개선 x ≤ 0에 대해서, 0.01x를 적용 2) HSV color space (H, S, V)의 좌표로 색을 표현하는 방법 H(Hue) : 색상, 색의 종류 (0~179) S(Saturation) : 채도, ..

1. Faster R-CNN 요약 1) Architecture 2) Faster R-CNN의 특징 Region Proposal Network(RPN)을 이용한 Region Proposals RPN과 Fast R-CNN detector가 하나의 convolution feature map을 공유하도록 합친 단일 네트워크(Single Network) End-to-End 방식의 학습 GPU 상에서 5 fps의 속도을 가진다. 3) Multiple scales와 sizes을 처리하기 위한 Faster R-CNN의 체계 (a) : 이미지 피라미드(Pyramids of images)에서 다양한 scales와 sizes을 가진 이미지마다 feature map을 만들어 처리하는 방법 (b) : 필터 피라미드(Pyrami..