n-2 은 뭐고 n-17 은 또 뭔가요?

엠피리컬 값이라면 그냥 받아들여야 하나요 ㅠㅠ 이거참 좀 황당하네요…자유도로 해석 하면 이론적으로 유도가능하고 설명가능한가요?

>> 경우1과 경우2가 똑같다는 사실을 이해하면 자유도를 거의 다 이해한 것입니다. 경우 1에서 표본이 4개 주어졌는데, 자꾸 4가 아니라 3으로 값을 나누라고 통계책에서 가르칩니다.

1. 우선 용어부터 구분을 하고 시작하죠. 표본은 영어로 샘플이라하고 모집단은 파퓰레이션이라고 하는거라, 모집단의 평균과 표본집단의 평균은 다릅니다. 사실은 표본집단의 평균값은 측정으로 알수 있지만 모집단의 평균은 알수 있는 방법이 없고 (왜냐하면 보통 모집단은 워낙많아서 그걸 세월아 네월아 개체를 다 측정하고 셀수가 없으니까..그래서 사실 무한대 갯수로 생각하는거나 마찬가지.) 그냥 표본집단의 평균값을 가져다 씁니다.
여기서 주의해야 할것은 표본집단의 평균값은 표본집단의 개체수로 n으로 나눕니다. n-1 이 아니라. n개의 표본평균은 그냥 n으로 나누니 평균값 구할때는 모든 개체를 독립변수로 취급한다는 이야기죠. 그런데 표본의 분산을 계산 할때는 n-1 로 계산 해야 하는데, 이건 분산구하는 식에 표본 평균식이 들어가기 때문에 이게 하나의 제한조건이 되기 때문에 그래요. 즉 표본 평균을 구할때는 제한조건식이 하나도 없었는데 분산을 구할때는 표본평균식이라는 제한조건이 한개가 생긴거죠. 보통 물리학이나 수학에서 쓰는 자유도라는것은 독립변수갯들에서 제한조건의 갯수를 빼주면 자유도가 되는데, 여기서는 n개의 독립변수가 있었는데 표준평균이라는 제한식이 한개가 있어서 자유도가 n-1 이 된겁니다. 그래서 표본 분산을 구할때 (n-1)로 나누어주는거에요. 표준평균은 n 으로 나눠주고요.
그런데 모집단의 경우는 어차피 처음부터 모집단의 평균은 모른다고 했으니 제한식이 하나도 없는 겁니다. 그래서 모집단의 분산을 구할때는 그냥 독립변수 N 으로 나누어주는거에요. 모집단의 자유도는 여전히 N 이니까. 사실 이부분을 더 일리가 있도록 이해가게 쉽게 설명하기 위헤 위에 열린시스템과 닫힌 시스템이라는 개념을 도입한겁니다.

그림을 아래처럼 한번 그려보죠.

o —- o —– o ——- o —— o

         o
          |
o    -- -  o  ---      o
          |
         o 

위에 노드들을 샘플이라고 하면 5개의 노드가 있으니 5개의 샘플이 되는것인데, 평균값을 구할때는 이 노드값들을 이용하는데, 표준분산을 구할때에는 노드값들을 이용하는것이 아니라 각 노드들과 평균노드와의 차이를 가지고 구하는거죠. 이걸 레지듀얼이라고 정의하기도 하는데, 이 차이가 바로 그림에서 노드들을 연결해주는 라인들이 의미하는 겁니다. 그런데 라인의 갯수는 4개가 되죠. 5개중의 하나가 평균노드인데, 그 노드와 나머지 4개의 노드가 연결되는 라인이 4개라는 겁니다. 그래서 표본분산에서는 5가 아니라 4로 나누어 주는거죠. 근데 모집단에서는 그럼 왜 여전히 5로 나누어 주는 것이냐? 이걸 설명하기 위해 모집단에서는 열린시스템이라는 개념을 설명해준겁니다. 즉 모집단의 평균 노드는 저 5개중에 하나가 아니거든요. 나머지 가상적인 노드 하나를 생각하면 그 노드와 위에 5개의 노드들을 라인으로 연결하면 여전히 연결하는 라인들이 5개가 생기는 거죠. 그래서 모집단의 분산은 5로 나누는 거에요. 다시말하면 모집단의 분산을 구할때는 제한식이 1개도 없어서 자유도가 모집단의 갯수 N 과 같은 겁니다.

>> 표본 분산의 경우 n이 아니라 위의 이유로 자유도 n-1로 나누어서 계산 결과값이 약간 더 커지도록 보정합니다. 어? 왜 커지게 하죠? 작아지는 게 더 정확한 거 아닌가요? 표본의 분산은 실제 모분산보다 더 작게 관측되더라는 게 경험치이고요.

이건 대부분의 사람들이 설명하기를 우리가 표본을 선택할때 평균값 주위의 표본을 선택하는 경향이 있기 때문에. 그런데 그게 당연하죠, 평균값 주위에 분포된 표본들이 더 많으니 우리가 선택할때 평균값 가까이 있는걸 표본으로 선택할 확률이 더 많이지니까. 결국 이런 경향성 때문에, 표본의 분산은 원래 가우스 곡선의 분산값보다 더 작은값을 갖는 경향이 생기겠죠. 그런데 우리는 이런 경향(즉 원래 모집단의 분산보다 표준분산값이 더 작아지는 경향. 이걸 수식적으로는 https://en.wikipedia.org/wiki/Bessel%27s_correction 에서 보이고 있음.)을 이미 알고 있으니까 원래 n 으로 나누기보다는 n-1 로 나누어서 분산을 의도적으로 더 큰 값으로 만들어주는거죠. 그런데 이런 설명으로는 왜 그럼 n-2, n-3, ….n-k 가 아니라 하필 그럼 n-1 을 선택했냐라는 질문이 생기게 되는거죠. 사실 n-1 로 나눈경우에 기대값의 수식을 이용해서 모집단의 분산이 표본집단의 분산과 같다는걸 보일수는 있는데….이게 n-1 로 나누는것에 대한 증명이라고 하기엔 좀 …. 그렇네요. 너무 증명이라고 하기엔 논거가 너무 약해요.

>> 샘플이 1 2 2 3 이라면 설명할 수 있지만 샘플이 1 2 3 4이면 설명을 못 한다니 그게 뭔 말입니까.

맞는 말인데요. 자유도를 설명하기 위한 방법으로는 저게 아주 좋은 방법이라서요.

그런데 사실 언바이어스드 에스티메이터(불편량 추정치)를 자유도를 이용해서 정의한건 원래 이론적으로 맞지 않아요. 이론과 경험치의 괴리를 껴맞추기위한 억지로 생각해낸 보정치일뿐이에요. (그러니 어떤 경우는 자유도가 정수이냐 프랙션 넘버도 가능하냐란 질문도 보이네요. 자유도가 무슨 프랙션 넘거가 있나?) 모집단의 통계치가 모두 측정불가능한데 측정가능한 표본의 통계치로 추정을 하려다 보니 그런 괴리가 생긴거고 그걸 보정하려고 억지로 자유도라는 개념을 강요하고 있는거에요. 그래서 보정을 계속 해주어야 하고요. 이론적으로는 모집단의 통계를 공식으로 다루는건 가능한데 측정을 할수는 없으니까. 그래서 나도 자유도를 더 알기쉽게 설명하기 위해 열린 시스템 과 닫힌 시스템을 이야기한거에요. 자유도라는건 닫힌 시스템(시스템에 대한 컨스트레인트)이 존재해야 n에서 1을 뺄수 있는것이니까. 표본집단을 이미 닫힌 시스템으로 가정한거에요. (평균을 구할때 컨스트레인트를 주겠다는. 이건 사실 일반적 집단의 분산의 정의가 아니라 닫힌 시스템 집단이라고 가정을 해버린거죠. )

그럼 왜 하필 n-2, n-17, n-100 이 아니고 n-1 이냐?
이것도 그냥 이론적 모집단 통계치에 맞추다 보니까 n-1 이 가장 적당한 거에요. 자유도로 이론적인 공식으로 유도 된것이 아니고. 자유도는 그냥 편의상 n-1 을 억지로 설명하기 위한 핑계에 불과한것이고. 사실은 표본갯수가 작아질수록 보정값을 더 크게 만들어 주어야 해요. 모집단에서 노동자들을 표본으로 추출할때 할당량(전체 노동자수가 할수있는 하루노동량)이 항상 일정하게 정해져 있는데(모집단의 분산) 그걸 적은 수의 노동자들이 할려면 일일 할당량에 훨씬 못미치니 그 부족한 만큼을 억지로 채워주기 위해서 나누어주는 수가 저 수인데, (n-1) 로만 나누어주는게 아니라 노동자수가 작을수록 더 작은 수로 나누어주어야 노동량을 더 크게 보정해줄수 있는거죠. 그러니 (n-1) 로 나누어 준다는건 역시 이론적 공식이 아니라 그냥 억지로 보정해주기 위해 나누어 주려다 보니, 그리고 그걸 자꾸 샘플수에 따라 다르게 나누어주면 복잡하니까 (n-1) 로 고정시켜 나누어주기로 한것 뿐입니다.

근데 기대값이란 개념이 고등학교때엔 별생각없었는데 보기엔 아주 간단한 정의처럼 보이는데 사실 보통 간단한 정의가 아니네. 제대로 정의하려면 엄청 복잡할듯. 앙상블 갯수를 모두 고려해야 하는거니…

좀더 생각을 해봤는데,
생각할수록,
저 증명을 통한 언바이어스드 에스티메이터를 구하는 방법과 인디펜던트하게, 자유도를 이용한 방법도 다른 하나의 방법으로 인정해야 할것 같은 생각이 듦.

자유도 해석방법으로 다시 돌아가서, 클로즈드 시스템과 오픈 시스템을 다시 가져와서 해석을 다시 하면,
Case A. 표본 집단의 표본평균을 구했더니 평균값이 표본 집단에 존재하지 않으면(즉, 표본집단이 오픈시스템) (n-1)이 아니라 n으로 나누어주는 그 표본 집단의 분산이 바로 언바이어스드 에스티메이터가 됨. 즉 표본 분산의 기대값이 바로 모집단의 분산이 됨. 이 경우는 표본평균이 바로 모집단의 평균이 됨.
에) 표본집단: {1,2}이고 , 모평균이 1.5인 경우에 해당.

Case B. 표본 집단의 표본평균을 구했더니 평균값이 표본 집단안에 존재하는 표본중에 하나면(즉, 표본집단이 클로즈드 시스템), 이 경우에는 표본분산이 모집단의 분산과 서로 다름. 표본평균도 모집단의 평균과 서로 다름. 이 경우는 (n-1)로 나누어준 표본의 언바이어스드 바이어스 에스티메이터의 기대값이 모집단의 분산이 됨. 예: 표본집단이 {1, 1.5, 2} 이고 모평균이 1.5인 경우에 해당. 이경우에는 아래와 같은 해석법으로 자유도와 연관해서 이해할수 있음.

즉, 분모의 샘플의 분산에서는 (n-1) 을 나누어주고 샘플의 평균에서는 그냥 n 으로 나누어주는걸( 원래의 표본갯수로 나누어주는 평균이나 분산의 정의를) 어떻게 컴프라마이즈하지 않으면서 설명해줄수 있느냐인데, 사실 표본 평균을 n 으로 나누어서 구하는건 우리의 알제브라 상식과 부합하는 당연한 것이므로 문제가 없고, 샘플의 분산은 어떻게 -1 이 된 자유도를 해석해야 하는 문제인데, 샘플자체를 원래의 샘플스페이스에서 다른 샘플 스페이스로 보내버리는것임. 무슨 말이냐면, 원래의 평균(샘플들의 평균위치)을 구할때의 샘플 집단이 (공간이든 2차원이든 또는 1차원이든. 1차원 수직선상의 점들로 상상하는게 가장 간편한 경우) 점으로 이루어진 샘플이라고 했을때 (즉, 주어진 좌표계에서 위치를 나타내는 포인트의 샘플들), 분산을 구할때는 더이상 샘플들이 위치를 나타내는 점들이 아니라, 샘플들의 평균점과 샘플 포인트들과의 거리(또는 길이가 다른 막대기들. 표본집단이 오픈시스템이면 평균점 위치가 표본집단에 없으므로 막대기들을 만들수 없음.)로 이루어진 샘플스페이스에서 통계를 생각해주는 것임. 원래의 평균을 구하는 통계는 위치를 가진 점들의 통계치가 샘플스페이스였는데, 샘플들과 샘플의 평균위치와의 분산을 구할때는 위치로서 통계치를 구하는것이 아니라 평균위치까지의 거리(길이가 다른 막대기들)의 제곱을 가진 샘플들의 분산을 구해주는 것임. 결국 분산을 구할때 표본개체가 (n-1) 개로 줄어든것임. 그래서 자유도가 -1 이 된 분산을 우리가 알던 원래의 알제브라의 상식적인 정의대로 (막대기들의 표본 갯수자체가 n-1 이므로) 계산할수가 있게 됨.

이 해석법은 샘플스페이스가 위치를 가진 포인트로 된 샘플이든 아니면, 이제 변형되어서 두점사이의 거리(길이가 다른 막대기들)로 이루어진 샘플들이든 샘플의 물리적인 형태에 의미에는 아무런 관심을 두지 않고 오로지 통계치 ‘스칼라 숫자’ 에만 관심을 가지는 것임. 즉, 모집단에서의 분산은 여전히 위치를 가진 점들의 분산을 다루는것인데 샘플집단에서 분산을 구할때는 점들이 아니라 막대기들을 가지고 다루는 것임. 그런데 어차피 거리라는 샘플갯수가 무수히 많아져서 모집단의 점들의 갯수와 근접하면 두 분산은 일치하게 됨. 하나는 거리에 대한 분산이고 하나는 위치에 대한 분산을 의미하는 것이더라도 분산은 서로 근접하게 됨. 아래 글도 참조하면 도움이 될듯.

>> 물리학에서는 예컨대, “손목 관절 자유도 2, 팔꿈치 자유도 1, 만일 자유도를 하나 잃으면 회전 방향 하나를 잃음”, 이렇게 실생활에서 직관적으로 결과가 이해가 돼요.

물리학이든 수학이든 여기 통계에서 쓰는 자유도든, 결국 같은 수학적 의미를 담고는 있는듯합니다. 즉 우리가 쓰는 파라미터가 n 개일때, 이 파라미터를 제한하는 수식의 갯수가 k개면 자유도가 n-k 라는 원리는 같은거 같아요. 문제는 수학의 문제는 이상화 추상화 시킨것이라서 현실에 비해서는 간단한 추상화를 시킨거라 현실에 적용이 어렵다는 거죠. 예를 들어 여기서 우리가 말하는 샘플을 보면, 샘플들의 측정치를 다 수학적으로 마치 포인트인거처럼 추상화 시킨거에요. 포인트는 트랜슬레이션에 대한 자유도만 생각할수 있지, 로테이션에 대해서는 생각할수가 없죠. 그래서 물리학으로 더 한단계 구체적으로 스텝업하면 말씀하신 로보트 팔들은 일단 막대기이지 점이 아니니 이제 회전을 고려할수 있게 된것이고, 회전에도 방향이 한방향이 아니니 회전의 자유도도 이제는 고려가 가능하게 된것이죠. 만약에 우리가 생각하고 있는 샘플이 n차원의 포인트가 아니라 n차원의 오브젝트라면 이제 자유도가 점차로 점점 복잡해지는 거에요. 고려사항이 점점 늘어나고 그래서 생각해야 할 파라미터는 점점 늘어나고 공간에 대한 제한 방정식이 점점 늘어나서 자유도 갯수가 점점 복잡해지는거죠. 우리가 n-1 로만 제한해서 지금 이 통계에서 생각하는 것은 우리가 다루는 문제가 지금 샘플이 포인트로 추상화가 가능한 문제라서 그런거 뿐이지, 꼭 분산의 언바이어스드 에스티메이터가 n-1 로만 나누어져야 한다는 보장은 없는거 같아요. 샘플의 오브젝트가 점점 더 점으로는 더이상 추상화되지 못하고 복잡한 경우를 고려해야 하는 문제라면 분산의 분모가 n-k 가 될수 있다는 거에요. 물론 n-k 의 자유도를 이해하기 위해서는 이건 기하학적인 해석이 더 필요하고요. 로봇팔이 여러개 연결된 회전동작에 대한 어떤 많은 측정치의 데이타를 다루는 통계에서는 분명히 회전의 자유도의 숫자가 언바이어스드 에스티메이터에 n-1 이나 다른 숫자로 나누어져야 하는 경우의 문제가 아마 있을거에요. 우리가 지금 모를 뿐이지. 어쨌든 통계책에서 다루는 통계는 대부분 샘플의 개체를 그냥 포인트로 다루고 있는 거에요. 그것만으로도 이해하기에 너무 벅차고 문제를 다루는데 충분하다고 느끼니까.

>> 통계에서 자유도의 경우에는 왜 “분산의 크기를 늘이는” 방향으로 그 효과가 나타나느냐 하는 걸 본질적으로 설명이 어렵습니다

아래에서도 언급했지만, 모집단의 평균이 표본집단의 평균과 다를때, 바이어스드 에스티메이터를 쓰면 표본집단의 분산이 거의 100프로 모집단의 분산보다 작거나 같습니다. 같은경우는 두 평균이 일치할때고요. 이건 아마 수식으로 증명한것이 어딘가에 있어요.

>> “왜 그게 꼭 n-1 이냐, 표본평균이 모평균과 같은 값은 아닐 테니까 표본평균을 수식에 쓰면 부정확성이 있다는 것을 감안한다 쳐도, 그 보정 팩터가 게 왜 꼭 n-1이냐” 하는 질문을 할 수 있습니다. “

여기에 대한 답도 결국 샘플이 포인트로 추상화되었기 때문이다라고 대답할수 있을거 같네요. 기대값을 통한 증명도 1차원상에서 정규분포를 이루는 샘플들로 추상화 되어서 n-1 로 나타나는 거 같아요. 정규분포를 보면 그냥 x 축은 일차원이쟎아요. 그게 1차원이니 -1 이 된거라는 겁니다. 왜 1차원이냐? 지금 샘플들이 가지는 특성값들이 모두 숫자로 나열되어 있쟎아요. 이 숫자들이 뭐죠? 그냥 수직선상에 일열로 나타낼수 있는 1차원에 나열되는 스칼라값들이쟎아요. 그래서 -1 이 나타난 것일뿐이에요. 이게 만약 샘플들이 벡터값을 가지는 더 복잡한 샘플들이라면 자유도가 -1 이 아니라 더 복잡한 숫자를 빼주어야 할거에요.

유명하다는 어떤 여자통걔학자가 쓴 자유도에 대한 아티클을 읽어보았는데 이 여자도 뭔가를 혼동하고 있는 느낌을 받았는데 많은 사람들이 이 개념에 대해서 많이 혼동하고 있는거 같아요. 쉬운 개념은 아닌거 같네요. 근데 이 문제가 가만보니 머신러닝에서 노말라이제이션과도 관계가 있는거 같네요. 레이어 노말라이제이션, 배치 노말라이제이션, 등등등 다만 머신 러닝쪽에서는 워낙 큰 데이타를 다루다보니 이런 자잘한 n-1 이냐 n 이냐 고 따지는게 의미없는 문제가 되어 버리는듯. ㅋㅋㅋ 솔직히 말해서 이 문제를 잡고 씨름할 가치가 없는 문제라는 생각이 결국엔 듭니다. 겨우 샘플이 30개 이하인 경우를 고려하기 위해서 이런 문제를 가지고 시간낭비하고 있다니… 에이고 나도 이 문제 고만 생각해야 겠어. 피시 디스트리뷰션도 그렇고 결과의 유용성에 비해 너무 지저분한거 같은 문제야.

센스님의 4 경우는 모두 내가 앞에서 말한 Case B 에 속한 카테고리입니다.

Case B 에서 센스님의 1,2 경우에 해당하는 경우는 앞에서 설명에 포함시킨 예들이고,
Case B 에 여전히 속하는 센스님의 3,4 경우는 내가 언급을 하지 않았었습니다.

Case B 는 표본집단에 표본의 평균이 샘플로 포함된 경우니 일단 표본집단은 클로즈드 시스템으로 정의가 되었습니다.
이중에 센스님의 1과 2의 경우는 우리가 모집단의 파라미터들을 무조건 모르는 경우로 취급합니다. 모집단의 파라미터를 모르는 경우는 무조건 표본평균이나 표본의 분산과 모수가 다른 걸로 취급합니다.
이 경우는 우리가 말하고 있는 자유도 n-1, 즉 2 를 언바이어스드 에스티메이터로 적용해줍니다. 왜냐하면 표본의 분산과 모집단의 분산이 다르기 때문이죠.

그럼, 내가 언급하지 않았던 센스님의 3과 4의 경우는 어떨까요?
Case B 으 경우처럼 클로즈드 시스템인데, 센스님의 3,4 의 경우처럼 모평균을 이미 알고 있고, 모평균이 표본평균과 같아져 버리면,
그냥 (n-1) 를 고려한 언바이어스드 에스티메이터를 생각할 이유가 없어집니다.
그냥 원래 우리가 알던 방식대로 표본평균도 n 으로 나누고, 분산도 n 으로 나누면, 그게 모집단의 평균과 모집단의 분산의 에스티메이터로 바로 쓰이게 되는것이니 이 경우는 (n-1) 을 고려하지 않아도 됩니다. 우리가 (n-1) 을 고려해야 하는경우는 모집단의 평균을 몰라서 표본집단의 평균과 같지 않기 때문에 그런 겁니다. 그래서 3,4의 경우는 언급할 가치가 없어서 Case B 에 포함시키지 않았던 거에요.

아마 다시 정리하면,
우리가 n-1 로 표본분산을 구할때 나누어주는 이유는,
샘플이 너무 작아서 모집단의 통계치와 표본의 통계치가 괴리가 생기는걸 너무나 잘알고 있기 때문에 보정이 필요한것이지,
샘플이 너무 작아도 표본의 통계치가 (특히 표본의 분산을 n-1 이 아니라 n으로 나눌때) 모집단의 통계치와 차이가 나지 않는 경우라면 자유도를 고려할 필요가 없었던 거죠. 근데 일반적으로 샘플을 구할때 전자의 경우가 너무 많이 생길테니 보정이 거의 항상 필요한거죠. 아마 다시 정리하면 이 n-1 보정은 현실의 적용에서처럼, 모집단이나 샘플이나 개체수가 너무 작아서 정규분포를 따르지 않는 경우 때문에 고려되야 하는거 같아요. 특히 샘플의 경우는 거의 항상 개체수가 작을수밖에 없으므로. 손으로 계산해서 분산계산할때나 생각할 문제지 머신러닝시대에는 전혀 쓰잘데기 없는 고려사항들입니다.