F1 점수: 머신러닝 모델의 성능을 평가하는 강력한 지표 - Part 2

 

    F1 점수는 머신러닝 모델의 성능을 평가하는 강력한 지표 중 하나입니다. F1 점수의 의의는 머신러닝 모델의 정확성과 재현율을 균형 있게 평가할 수 있다는 것입니다. 또한, 이진 분류 문제뿐만 아니라 다중 클래스 분류에서도 사용될 수 있습니다. 총 3부작에 걸쳐서 F1 점수에 대해 알아보고자 합니다. 이번 글은 두 번째 시간으로 '3. F1 점수의 계산 방법'과 '4. F1 점수의 중요성'에 대해 알아보도록 하겠습니다. 글의 목차는 다음과 같습니다.

[목차]
1. F1 점수 소개
  1.1. F1 점수의 개념과 정의 설명
  1.2. 이진 분류 문제에서의 활용
2. 정밀도(Precision)와 재현율(Recall)
  2.1. 정밀도와 재현율의 개념과 의미
  2.2. 정밀도와 재현율의 관계
3. F1 점수의 계산 방법
  3.1. 정밀도와 재현율의 조화 평균
  3.2. F1 점수의 범위와 의미 해석
4. F1 점수의 중요성
  4.1. F1 점수가 중요한 이유
  4.2. F1 점수의 역할
5. F1 점수의 활용 방법
  5.1. 모델 선택 및 비교에 사용되는 방법
  5.2. 다양한 임계값 설정에 따른 F1 점수 변화
6. 매크로 F1 점수와 마이크로 F1 점수
  6.1. 다중 클래스 분류에서의 F1 점수 계산 방법
  6.2. 매크로 F1 점수와 마이크로 F1 점수의 차이와 활용
7. F1 점수의 한계와 대안
  7.1. F1 점수의 한계와 주의사항
  7.2. 다른 성능 평가 지표와의 비교 및 보완
8. 결론

   

    Part 1을 읽지 않으신 분은 먼저 아랫글을 읽고 오시길 추천드립니다.

F1 점수: 머신러닝 모델의 성능을 평가하는 강력한 지표 - Part 1

반응형

3. F1 점수의 계산 방법

 

  3.1. 정밀도와 재현율의 조화 평균

    F1 점수는 정밀도와 재현율의 조화 평균으로 계산됩니다. 조화 평균은 일반적인 산술 평균과는 다른 평균 방식으로, 여러 값들의 '역수의 평균의 역수'를 취하는 방법입니다. 즉, 역수의 차원(dimension)에서 평균을 구하고, 다시 역수를 취해 원래 차원의 값으로 돌아오는 것입니다. 따라서 F1 점수의 계산은 다음과 같은 공식을 통해 수행됩니다:

$$ F1 \quad score = 2\times\frac{precision\times recall}{precision+recall} $$

    F1 점수는 정밀도와 재현율을 균형 있게 고려한 지표입니다. 정밀도는 모델이 양성으로 예측한 것 중에서 실제로 맞춘 비율을 나타내므로 모델의 정확성을 평가합니다. 반면에 재현율은 실제로 양성인 것 중에서 모델이 양성으로 예측한 비율을 나타내므로 모델의 감지 능력을 평가합니다. F1 점수는 이 두 가지 측면을 조화 평균으로 결합하여 모델의 예측 능력을 종합적으로 평가합니다. 정밀도와 재현율이 둘 다 높을수록 F1 점수도 높아지며, 한 지표만 높을 경우에는 F1 점수가 낮아질 수 있습니다.

 

  3.2. F1 점수의 범위와 의미 해석

    F1 점수의 범위는 0부터 1까지이며, 1에 가까울수록 머신러닝 모델의 성능이 좋다고 해석할 수 있습니다. 최댓값인 1은 정밀도와 재현율이 모두 1일 때 도달할 수 있습니다. 즉, 모델이 양성으로 예측한 샘플들이 실제로 양성인 경우를 대부분 맞추었고, 양성 샘플들 중에서도 대부분을 양성으로 예측한 것을 의미합니다. 모델이 양성 예측에서 높은 정밀도와 재현율을 동시에 가지고 있다는 것을 나타냅니다. 반대로, F1 점수가 0에 가까울수록 머신러닝 모델의 성능이 낮다고 해석할 수 있습니다. 이는 정밀도나 재현율 중 하나라도 0에 가까운 경우 발생할 수 있습니다. 즉, 모델의 양성 예측이 대부분 잘못되었거나, 실제로 양성인 샘플을 많이 놓치는 경우를 의미합니다. 모델이 양성 예측에서 낮은 정밀도와 재현율을 가지고 있다는 것을 나타냅니다.

    F1 점수는 정확도(Accuracy)만으로 모델을 평가하는 것보다 더 많은 정보를 제공합니다. 특히 클래스 불균형 데이터세트에서는 정확도만으로 모델의 성능을 올바르게 평가하기 어려운 경우가 많습니다. F1 점수는 양성 예측의 정확성과 재현율을 균형 있게 평가하여 모델의 성능을 더 정확하게 평가할 수 있도록 도와줍니다. F1 점수는 모델의 성능 평가와 비교에 많이 사용됩니다. 다른 모델들 또는 다른 알고리즘들 간의 성능 비교 시에 F1 점수를 기준으로 선택할 수 있습니다. 또한, 임계값(threshold) 조정에 따른 F1 점수의 변화를 통해 모델의 예측 능력을 평가하고 최적의 임계값을 설정할 수 있습니다.

 

 

4. F1 점수의 중요성

 

  4.1. F1 점수가 중요한 이유

    F1 점수는 머신러닝 및 분류 모델의 성능을 평가하는 데에 중요한 역할을 합니다. 다음은 F1 점수의 중요성에 대한 이유를 살펴보겠습니다.

• 정확성과 감지력의 균형: F1 점수는 정밀도와 재현율의 조화 평균으로 계산되어 모델의 정확성과 감지력의 균형을 평가합니다. 정밀도는 모델이 양성으로 예측한 것 중에서 실제로 양성인 것의 비율을 나타내고, 재현율은 실제로 양성인 것 중에서 모델이 양성으로 예측한 것의 비율을 나타냅니다. F1 점수는 이 두 지표를 고려하여 모델의 성능을 종합적으로 평가함으로써 정확성과 감지력을 균형 있게 평가합니다.
• 클래스 불균형 문제 대응: 클래스의 불균형 문제는 양성과 음성 클래스의 데이터 비율이 불균형한 상황을 의미합니다. 이런 경우, 정확성만을 평가 지표로 사용하면 문제가 발생할 수 있습니다. F1 점수는 양성과 음성 클래스 간의 균형을 고려하여 평가하기 때문에 클래스 불균형 문제에 강건한 성능 평가를 제공합니다. 따라서 F1 점수는 클래스 불균형 문제에 직면한 모델의 성능을 신뢰할 수 있는 지표로 활용됩니다.

 

  4.2. F1 점수의 역할

    F1 점수는 다양한 역할을 수행하는데, 이는 모델의 성능 평가, 모델 비교, 임계값 조정 등에 활용될 수 있습니다.

• 모델의 성능 평가: F1 점수는 모델의 정확성과 감지력을 종합적으로 평가하는 데 사용됩니다. 모델의 양성 예측 정확성과 양성 감지 능력을 동시에 평가하기 때문에 모델의 전반적인 성능을 신뢰할 수 있는 지표로 제공합니다. F1 점수를 통해 모델의 예측 능력을 정량화하고, 다른 모델들과의 성능 비교를 수행할 수 있습니다.
• 모델 비교: F1 점수는 다른 모델들 사이에서 성능을 비교하는 데에도 활용됩니다. 여러 모델을 테스트하고 F1 점수를 비교함으로써 가장 우수한 모델을 선택할 수 있습니다. F1 점수는 모델 간의 성능 차이를 명확하게 보여주므로, 모델 개발 및 향상을 위한 중요한 기준이 됩니다.
• 임계값 조정: F1 점수는 모델의 임계값 조정에 유용한 도구입니다. 임계값은 모델의 양성 예측 기준을 결정하는 요소로, F1 점수를 최대화하는 최적의 임계값을 찾는 데 활용할 수 있습니다. 모델의 임계값을 조정하여 정밀도와 재현율 사이의 균형을 조정하고, 최적의 성능을 달성할 수 있습니다.

    F1 점수는 머신러닝 모델의 성능 평가와 개선에 있어서 중요한 역할을 수행합니다. 정확성과 감지력을 균형 있게 평가하고, 클래스 불균형 문제에 대응할 수 있으며, 임계값 조정에 활용할 수 있는 평가 지표로서 그 중요성이 부각됩니다. F1 점수를 올바르게 이해하고 활용함으로써 더욱 신뢰할 수 있는 예측 모델을 개발하고, 다양한 응용 분야에서의 성공을 이끌어 나갈 수 있습니다.

 

 

    이상으로 F1 점수의 계산 방법과 중요성에 대해 알아보았습니다. F1 점수는 머신러닝 모델의 정밀도와 재현율의 조화 평균으로 계산되기 때문에 모델의 정확성과 감지력을 종합적으로 평가할 수 있는 중요한 지표입니다. 적절하게 F1 점수를 활용하여 모델의 성능을 평가하고, 최적의 모델을 선택하고 개선하는 데에 활용할 수 있습니다. 뒷부분은 다음 글에서 이어서 하도록 하겠습니다.