JSP's Deep learning

1. 요약 ①“Optimization 관점”에서 Adversarial Robustness 정의 (=> 강력한 Adversarial Attack에 대한 Defense을 학습) ②Adversarial Training with Strong Attack => Robustness↑ ③ Model’s Capacity↑=> 복잡하고 정교한 Decision boundary => Robustness↑ ④복잡한 Dataset에 대한 Attack에 대해서는 Defense 성능이 좋지 못하다. 2. 용어 정리 1)“First-Order Attack” “한 번의 미분”만으로 공격을 수행하는 기법(Loss function에 대해서 한 번) => 즉, 오차역전파를 한번만 수행함. PGD(Projected Gradient Desce..

1. Adversarial Examples 요약 "Adversarial Examples"는 Model의 선형성(Linear nature)의 취약점을 이용한 공격 기법이다. "FGSM(Fast Gradient Sign Method)"을 통해서 Adversarial Examples을 생성한다. "Adversarial Training"을 통해서 "Adversarial Example"에 대해 Model을 Robust하게 한다. 2. 주요 용어 1) Softplus Function log(1+exp(x))로 정의된다. ReLU와 비슷하지만 ReLU는 x < 0에 대해서 0으로 처리하는 반면에 SoftPlus는 조금 더 Smooth하게 0으로 수렴하게 한다. 2) Maxout Function 활성화 함수를 piec..