Audiophlie의 주장: 나는 오디오장치의 출력주파수가 44.1khz인지 192khz인지 분간해낼 수 있다!
Skeptic의 주장: 풉

둘 다: 내기하자!
----------------------------------------------
내기의 구조

1. 출제자는 시험자에게 44.1khz 또는 192khz인 각각의 샘플 A,B를 들려준다. 시험자는 출제자에게 어느 쪽 샘플의 음질이 더 좋은지, 또는 둘이 같은지를 알려준다.
2. 실험 횟수는 10회로 하고 거기서 일정 횟수 이상 정답을 맞히면 분간해낼 수 있는 능력이 있다고 본다.
2-1. 음질을 분간해낼 수 있는 사람은 95%의 확률로 어느 쪽 음질이 좋은지, 또는 양쪽 음질이 같은지 판별해 낼 수 있다고 가정한다. 즉, 판별을 20회 시행하면 평균적으로 1회 틀린다는 이야기다.
3. 내기는 공평해야 한다.
3-1. Skeptic은 \'쥐뿔도 없는데 운이 좋아 통과하는 경우\'(false positive)를 걱정할 것이다.
3-2. Audiophile은 \'정말 능력이 있는데 실수로 몇 개 틀려서 뻥쟁이될 경우\'(false negative)를 걱정할 것이다.
3-3. 둘의 확률이 같을 때를 \'공평한 내기\'라고 정의한다.

----------------------------------------------
Skeptic의 걱정(false positive에 대한 우려)

Skeptic은 시험자가 능력이라곤 개뿔도 없는데 순전히 운이 좋아서 내기에 이기는 것을 걱정할 것이므로 \'순전히 찍어서 통과할 확률\'을 최소화하려 할 것이다. 여기서 skeptic은 시험자의 정확도에는 관심이 없다. 시험자가 삐끗해서 틀려주면(false negative) skeptic에겐 손해볼 것이 없기 때문. Skeptic은 시험자가 찍어서 답을 맞힐 확률을 구하고, 그 값을 가지고 기준 정답 횟수별 false positive 확률을 계산한다.

여기서 문제는 엉터리 시험자가 찍어서 답을 맞힐 확률이 얼마인가 하는 점이다. (다시 말하지만 이것은 skeptic이 걱정할 문제지 audiophile이 걱정할 문제가 아니다) 만약 정답의 분포확률이 알려져 있다면 시험자는 그 선택지만 줄창 골라서 찍어서 맞힐 확률을 최대화할 수 있다. 예를 들어, 보기 4개의 분포확률이 (0.1,0.2,0.3,0.4)라면 확률이 0.4인 답에 자 대고 그으면 평균적으로 40%는 답을 맞힌다. 만약 분포확률이 알려져 있지 않다면 시험자는 모든 선택지를 골고루 선택하여 1/(선택지의 개수)의 확률로 답을 맞힐 수 있다.

위의 내기로 돌아가서 샘플 A,B의 음질을 독립적으로 선택한다면 A<B는 0.25, A>B는 0.25, A=B는 0.5의 확률로 정답이 된다. 만약 이것이 알려져 있다면 시험자는 A=B를 줄창 고름으로써 0.5의 확률로 정답을 맞힐 수 있다. 그러나 A<B, A>B, A=B를 미리 선택하고 나서 A=B의 음질을 44.1또는 192로 정할 수도 있을 것이다. 만약 그 3가지의 선택 빈도를 동일하게 한다면 시험자는 3가지 선택지를 골고루 선택함으로서 0.33의 확률로 정답을 맞힐 수 있다. 그러므로 내기에서 문제 출제 시 샘플 선택을 어떻게 할 것인지, 또 그것을 시험자에게 알려줄 것인지를 명확히 결정해야 false positive 확률을 계산할 수 있을 것이다.

----------------------------------------------
Audiophile의 걱정(false negative에 대한 우려)

Audiophile은 정말 능력이 있는 시험자가 실수 몇 번 해서 뻥쟁이로 낙인찍히는 것을 걱정할 것이므로 \'실수로 틀려서 실패할 확률\'을 최소화하려 할 것이다. 여기서 audiophile은 찍어서 맞힐 확률에는 관심이 없다. 시험자가 운이 좋아 맞혀주면(false positive) audiophile에겐 손해볼 것이 없기 때문. Audiophile은 시험자가 정말 제대로 답을 구해서 맞힐 확률을 구하고, 그 값을 가지고 기준 정답 횟수별 false negative 확률을 계산한다.

위의 내기에서 능력있는 시험자는 95%의 확률로 두 샘플 중 어느쪽 음질이 좋은지 또는 두 샘플의 음질이 동일한지를 판별해 낼 수 있다고 가정했다. 즉, A<B인 경우만 10회 들려줘도 평균적으로 9.5회는 정답을 알아낼 수 있다는 뜻이다.  A=B인 경우만 10회 들려줄 경우에도 마찬가지다. 그러나 실제 세계에서는 정답이 어느 것이냐에 따라 맞힐 확률이 달라질 수도 있을 것이다. 예를 들어, A<B나 A>B인 경우엔 99%의 확률로 맞히지만, A=B인 경우에는 90%만 맞한다고 가정하면 정답의 분포 정도에 따라 평균적 정확도가 달라질 것이다. 이 경우에는 각각의 경우에 맞힐 확률과 샘플을 어떻게 선택할 것인지를 명확히 결정해야 false negative 확률을 계산할 수 있을 것이다. (모 님을 위해 다시 한번 강조하지만, 찍어서 맞힐 확률과는 아무런 상관이 없다)

----------------------------------------------
공평한 내기를 위해

양쪽의 입장 모두 샘플 A,B를 어떻게 선택할 것인지 명확히 할 것을 요구한다. 거기다 audiophile측에서는 정답의 종류에 따른 시험자의 정확도를 제공해야 할 것이다.

샘플 A,B를 각각 독립적으로 선택하고 능력있는 시험자의 정확도가 정답과 관계없이 항상 95%일 경우를 생각해보자. 선택지 (A<B, A>B, A=B)의 확률은 각각 (0.25,0.25,0.5)이 될 것이고, 또 이것을 시험자에게 공개한다면 엉터리 시험자가 찍어서 맞힐 확률은 0.5가 된다. 이 경우 false positive, false negative, 공평한 내기가 되는 기준 정답 횟수는 다음 링크에서 확인할 수 있다.

https://gall.dcinside.com/list.php?id=programming&no=218340