코딩하는 해커

대한전자공학회 우수학생논문상 수상

지난 11월, 강원도 하이원 리조트에서 열린 2024 대한전자공학회 추계학술대회에 ‘KL 발산 기반의 적대적 공격을 통한 딥페이크 생성 방해’라는 논문을 발표하고 왔다. 원본 이미지와 생성되는 이미지 간의 KL divergence loss를 최대화하는 방향으로 PGD Attack을 진행하여 왜곡된 출력 결과를 유도하도록 하여 최종적으로 딥페이크를 예방하는 연구를 진행했는데 포스터 발표때 심사위원분께서 좋게 봐주신 것 같다.지난 논문에서는 GAN 모델을 대상으로만 진행했는데 디퓨전 모델에 대해서도 딥페이크를 방해하는 연구를 진행해서 더 수준 높은 연구를 진행할 예정이다.

딥페이크 범죄 예방이 가능할까?

오늘은 최근 화두가 되고 있는 딥페이크 범죄에 대해 컴퓨터 비전을 전공하는 석사생의 관점에서 이를 예방할 수 있는지에 대해 간단히 포스팅 하고자 한다.먼저, 최근 뉴스에 많이 언급되는 딥페이크 범죄에 사용되는 방법은 크게 Face Swap과 Undress와 같이 두 개로 나눌 수 있다. 먼저,  Face Swap은 어떤 원본 사진이 있을 때 해당하는 사진의 얼굴을 특정인으로 변경하는 방법이다. 다음으로 Undress는 특정인의 전신 사진을 올리면 옷을 벗겨 나체처럼 보이게 하는 등 여러 방법이 있다.이는 GAN(Generative Adversarial Network)이라는 생성형 적대적 신경망 혹은 Diffusion(확산) 모델을 통해 주로 이미지를 만들어 낸다. 이는 쉽게 말하자면, ChatGPT가 기..

[Adversarial Attack] 적대적 공격의 기초 및 종류

적대적 공격의 기초 및 종류1. 적대적 공격(Adversarial Attack)위 이미지는 2015년 ICRL에 출판된 'Explaining And Harnessing Adversarial Examples' 논문에서 소개된 대표적인 Adversarial Attack을 나타내는 그림이다.위 예시를 설명하자면 x라는 input, 즉 정상적인 판다 이미지를 입력했을 때 57.7%의 확률로 판다라고 classification을 한다.하지만, 여기에 0.007(ε) 만큼의 perturbation(일종의 noise)를 이미지에 더한다면 사람의 눈에는 알아차릴 수 없는(unnoticeable) 노이즈가 이미지에 포함되게 되고, 최종적으로 노이즈가 포함된 이미지에 대해 다시 classification을 진행했을 경우,..