AI & BigData
[AI] 로지스틱 손실 함수 - 크로스 엔트로피, 연쇄 법칙(Cross Entropy & Chain Rule)
로지스틱 손실 함수 선형 회귀는 정답과 예상값의 오차 제곱(y-y^)^2이 최소가 되는 가중치와 절편을 찾는 것이 목표였다. 반면, 로지스틱 회귀 분류의 목표는 올바르게 분류된 샘플 데이터의 비율 자체를 높이는 것이 분류의 목표이다. 올바르게 분류된 샘플의 비율은 미분 가능한 함수가 아니기 때문에 경사 하강법의 손실 함수로 사용할 수 없다. 이 때 사용할 수 있는 함수가 바로 로지스틱 손실 함수이다. 로지스틱 손실 함수는 다중 분류를 위한 손실 함수인 크로스 엔트로피(cross entropy) 손실 함수를 이진 분류 버전으로 만든 것이다. 엔트로피의 개념 기본적인 엔트로피의 개념을 살펴보면, 엔트로피(=불확실성)에서 사용하는 함수는 로그 함수인데 확률이 p일 때, 엔트로피 함수는 plogp 이다. 위 그..
2023. 6. 18. 19:30