[AI] 테스트 세트로 모델을 튜닝하면 안되는 이유

테스트 세트로 모델을 튜닝하면 안되는 이유

모델을 만들 때 하이퍼파라미터 값을 변경하며 정확도를 올리는 작업을 할 때 '모델을 튜닝한다'라고 한다.

그런데 테스트 세트에 대해 모델을 튜닝하게 되면 좋은 성능을 기대하기 어렵다. 그 이유가 무엇일까?

모델을 학습하고 테스트하는 과정은 흔히 모의고사를 풀어 보고 실제 수능 시험을 치는 학생과도 같은데, 테스트 세트로 모델을 튜닝하게 되면 수능 시험의 문제 자체를 외우게 한 것과 비슷하기 때문에 테스트에 대해서는 높은 정확도를 보이지만 다른 문제에 대해서는 성능이 낮게 나올 것이다.

이러한 현상을 '테스트 세트의 정보가 모델에 새어 나갔다'고 말하며 이 경우 모델의 일반화 성능(generalization performance)이 왜곡된다.