JSP's Deep learning

1. 요약 ①“Optimization 관점”에서 Adversarial Robustness 정의 (=> 강력한 Adversarial Attack에 대한 Defense을 학습) ②Adversarial Training with Strong Attack => Robustness↑ ③ Model’s Capacity↑=> 복잡하고 정교한 Decision boundary => Robustness↑ ④복잡한 Dataset에 대한 Attack에 대해서는 Defense 성능이 좋지 못하다. 2. 용어 정리 1)“First-Order Attack” “한 번의 미분”만으로 공격을 수행하는 기법(Loss function에 대해서 한 번) => 즉, 오차역전파를 한번만 수행함. PGD(Projected Gradient Desce..

1. 요약 “C & W(Carlini & Wagner) Attack” 라는 강력한 Targeted White-Box Attack을 소개한다. C & W Attack은 Defensive Distillation을 무력화 시킨다. C & W Attack은 Distance method에 따라 L_0, L_2, L_∞ 3가지 방법이 존재한다. 2. 용어 정리 1) Transferability Adversarial example을 생성한 Model외의 다른 Model에도 High-Confidence로 Attack이 적용되는 것 3. Background 1) Neural Networks and Notation Neural Network의 수식적 정의 2) Adversarial Examples Adversarial E..

1. Adversarial Examples 요약 "Adversarial Examples"는 Model의 선형성(Linear nature)의 취약점을 이용한 공격 기법이다. "FGSM(Fast Gradient Sign Method)"을 통해서 Adversarial Examples을 생성한다. "Adversarial Training"을 통해서 "Adversarial Example"에 대해 Model을 Robust하게 한다. 2. 주요 용어 1) Softplus Function log(1+exp(x))로 정의된다. ReLU와 비슷하지만 ReLU는 x < 0에 대해서 0으로 처리하는 반면에 SoftPlus는 조금 더 Smooth하게 0으로 수렴하게 한다. 2) Maxout Function 활성화 함수를 piec..