[기초통계] 유의수준, 유의확률, 검정력의 의미

유의수준, 유의확률, 검정력의 의미

참고링크

• ROC 커브 복습하기

통계적 가설검정

오늘은 가설검정의 기초개념에 대해 알아보겠습니다. 통계적 가설검정(statistical hypothesis test)의 정의는 다음과 같습니다.

통계적 가설검정은 통계적 추측의 하나로서, 모집단 실제의 값이 얼마가 된다는 주장과 관련해, 표본의 정보를 사용해서 가설의 합당성 여부를 판정하는 과정을 의미한다. 간단히 가설 검정이라고 부르는 경우가 많다.

즉, 통계적 가설검정은 자신이 세운 가설을 통계적 방법으로 검증하는 것을 의미합니다. 자신이 세운 가설이 맞는지 아닌지를 판단하는 것이죠.

귀무가설, 대립가설

가설에는 두가지 종류가 있는데요. 귀무가설(null hypothesis), 대립가설(alternative hypothesis)이 그것입니다. 귀무가설의 정의부터 보시겠습니다.

귀무가설(null hypothesis, H0) 또는 영가설은 통계학에서 처음부터 버릴 것을 예상하는 가설이다.

귀무가설은 기존에 존재하는 가설이라고 보시면 됩니다. 분석가가 주장하는 가설의 반대인 가설입니다. 반대로 분석가가 주장하고자 하는 가설은 대립가설인데요. 다음은 대립가설의 정의입니다.

대립가설(alternative hypothesis, H1)은 귀무가설에 대립하는 명제이다.

귀무가설과 대립가설의 예는 다음과 같습니다.

• 어떤 사건의 특정 용의자를 진범으로 추정하는 상황에서
  • 귀무가설- 해당 용의자는 진범이 아니다.
  • 대립가설- 해당 용의자는 진범이다.
• 신약을 개발한 후 기존 약과 비교를 하는 상황에서
  • 귀무가설- 신약은 기존 약과 치료율의 차이가 없다.
  • 대립가설- 신약은 기존 약보다 치료율이 높다.

검정통계량

자신이 세운 가설이 맞는지 아닌지를 판단하기 위해서는 판단 기준이 있어야하는데요. 이에 해당하는 것을 검정통계량(testing statistic)이라고 합니다.

1종오류, 2종오류

가설검정 후 제가 내린 결론이 참일 수도 있고 거짓일 수도 있는데요. 통계적 오류 관련된 오류는 두 가지가 있습니다. 바로 1종 오류(type I error)와 2종 오류(type II error)가 그것입니다.

1종 오류(type I error, alpha error)는 귀무가설이 실제로 참이지만, 이에 불구하고 귀무가설을 기각하는 오류(H0 기각, H1 채택). 즉, 실제 음성인 것을 양성으로 판정하는 경우이다.

1종 오류를 수식으로 표현하면 다음과 같습니다.

\[P(1종 오류) = P(H0기각 | H0사실)\]

2종 오류(type II error, beta error)는 귀무가설이 실제로 거짓이지만 이에 불구하고 귀무가설을 채택하는 오류(H1 기각, H0 채택). 즉, 실제 양성인 것을 음성으로 판정하는 경우이다.

2종 오류를 수식으로 표현하면 다음과 같습니다.

\[P(2종 오류) = P(H0채택 | H1사실)\]

1종 오류와 2종 오류는 다음과 같은 예로 설명드릴 수 있겠네요.

• 어떤 사건의 특정 용의자를 진범으로 추정하는 상황에서
  • 1종 오류- 용의자는 실제로 진범이 아니지만, 이에 불구하고 용의자를 진범으로 추정한 경우(H0 기각, H1 채택).
  • 2종 오류- 용의자가 실제로 진범이지만 이에 불구하고 용의자가 진범이 아니라고 추정한 경우(H1 기각, H0 채택).

1종오류와 2종오류는 둘 다 오류이기 때문에 작을 수록 좋습니다. 하지만 현실적으로 1종오류와 2종오류는 서로 연관되어 있으므로, 둘 다 줄이는 것은 불가능합니다. 왜냐하면 1종오류를 줄이면 자연적으로 2종오류가 증가하고, 2종오류를 줄이면 1종오류가 증가합니다. 따라서 1종오류를 고정시키고 2종오류를 줄이는 방식을 택하는데요. 그래서 나온 개념이 유의수준, 유의확률입니다.

유의수준

유의수준(significance level)은 1종오류가 일어날 확률의 최대허용치를 뜻한다.

유의수준이란 1종오류가 일어날 확률의 최대허용치를 뜻하는데요. 예를 들어, ‘5% 유의수준에서 가설은~” 이라는 문장은 유의수준이 5%라는 뜻으로 1종오류가 일어날 확률은 최대 5%임을 뜻합니다. 여기서 5%는 $\alpha$로 표기합니다.

유의확률

유의확률(significance probability) 또는 p값(p-value)은 귀무가설이 맞다고 가정할 때 얻은 결과보다 극단적인 결과가 실제로 관측될 확률이다.

가설검정에서 데이터분포의 오른쪽 꼬리를 고려한다고 했을 때, 오른쪽 꼬리 유의 확률(right-tail p-value)은 다음과 같습니다.

\[p_{R}(x) = P(x \geq X)\]

p값이 작을 수록 귀무가설을 기각할 수 있는 강한 증거가 됩니다. 즉, 유의확률은 귀무가설을 기각할만한 증가가 될 수 있습니다. p값은 귀무가설이 사실일 때, 해당 실험데이터가 관측될 확률을 의미합니다.

검정력

검정력(statistical power)는 대립가설이 사실일 때, 이를 사실로서 결정할 확률이다. 검정력이 좋아지면, 2종 오류(beta error)를 범할 확률은 줄어든다. 검정력은 $ 1-\beta $와 같다.

즉, 검정력이란 귀무가설이 사실이 아닐때, 귀무가설을 기각할 확률입니다. 같은 말로 대립가설이 사실일때, 대립가설을 채택할 확률입니다.