Baseball prospectus에 올라온 'Statcast Exit Velocity : A Statistical Assesment of Park Effects' 를 번역해 봤음.

(https://www.baseballprospectus.com/news/article/50763/statcast-exit-velocity-a-statistical-assessment-of-park-effects/?fbclid=IwAR0MrKwOcorcFhZCL_5W5OXLOXAr0JqzogQG4erltcunER0KKnYD6fc5fAE)

메이쟈 관심있는 갤러들은 읽어봐주면 땡큐. 트랙맨 데이터 살펴볼때 이런것도있구나 정도로 생각하면 될듯.

글 내용을 요약하자면

트랙맨으로 측정한 타구 데이터를 전처리를 거친 후, 동일한 선수의 서로 다른 구장에서의 타구 데이터를 정리해 보면

1. 해마다 타구 속도의 오차는 감소해 왔음.

2. 그럼에도 불구하고 경기장에 따른 측정 오차는 분명히 존재하며, 이는 타구속도 기준 2mph, 거리로는 5피트 까지 날 수 있음.(따라서 풀타임이 아닌 어떤 선수의 타구 데이터를 보고 흥분하기 전에 이 선수가 어느 구장에서 많이 뛰었는지 살펴볼 필요가 있음.)

3. 그 근거는 측정값이 컸던 구장은 여러 시즌동안 계속 컸고, 작았던 구장은 계속 작았다는 점을 들 수 있다.

3. 이 차이는 측정오차 때문이 아니라, 진짜 구장의 뭔가 특이한 점 때문일 수도 있다.(예컨대 휴미더를 설치한다던가) 그렇다면 이는 트랙맨 시스템의 오차와는 무관한 것일 수도 있다.

와 같은 점들임. 이 글과 이어지는 발사각도에 대한 글도 있는데 이는 따로 번역하지는 않았음. 링크만 첨부.

(https://www.baseballprospectus.com/news/article/52079/statcast-launch-angle-a-statistical-accuracy-assessment/)

아래부터 본문입니다.

ㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡ

최근, MLB는 다음 시즌부터 경기 내에서의 타구 추적 시스템 제공 업체를 레이더 기반의 트랙맨에서 광학 기반의 호크아이로 바꾸기로 공지했습니다. 임박한 전환은 스탯캐스트가 인플레이 타구를 얼마나 정확히 측정하는지, 그리고 시간에 따라 측정이 어떻게 바뀌어왔는지를 평가할 좋은 기회입니다.

이 연재는 타구에 초점을 맞출 것이고, Baseball Savant 에서 제공하는 두 가지 측정, 즉 타구 속도(launch speed 또는 exit velocity)와 발사각(launch angle) 에 대해 다룰 것입니다. 스탯캐스트가 잡아내는 측정값들이 이것들만 있는 것은 아니지만 이것들이 가장 많은 주목을 받고 있고, 아마도 가장 중요할 것입니다.
타구 속도와 발사각에는 몇몇 원인 제공자(driver)가 있습니다. 가장 명백하고 중요한 둘은 타자(두가지 측정에 대해 가장 우선적으로 책임이 있죠)와 투수(일부 책임이 있지만, 효과는 덜합니다.)입니다. 하지만, 타구가 만들어지는 경기장 자체가 세번째의 중요한 원인이 될 수 있습니다. 이상적으로는 그런 효과는 없어야 할 것 같습니다. 스탯캐스트의 목표 중 하나가, 환경이 결과를 왜곡하기 전에, 컨택이 이뤄지는 순간을 측정함으로써 경기장으로 인한 편향을 극복하는 것이지요. 그렇지만 이러한 이상은 달성하기가 어렵습니다. 다른 경기장들은 스탯캐스트가 다른 orientation으로 설치되었을 수 있고, 다양한 operation을 가질 수 있을지도 모릅니다. 게다가 스탯캐스트에 어떻게 측정되는지와는 관계없이, 경기장 자체의 기이한 특성이 보통의 성적을 내기 위한 선수들의 노력을 방해하고(confound) 있는지도 모릅니다.
좋은 소식은, 적어도 타구 데이터들에 관해서는, 스탯캐스트 시스템이 구장 효과를 뚫고 지속적인 개선을 이뤄내고 있다는 점입니다. 하지만 이는 이전 시즌들의 데이터가 좀더 부정확하고, 그 데이터를 얻어낸 측정들이 잘못되었음을 암시하기도 합니다. 심지어 현재에도 유사한 타자들이 다른 경기장에서 다른 값 범위들을 만들어냅니다. 이 모든 차이가 측정 시스템 자체에 기인해야만 할 필요는 없습니다.
30개의 다른 야구장에서 레이더 시스템이 동작하도록 하는 것은 쉬운 일이 아니고, 이 모든 측정 시스템들은 이상한 점(quirk)을 가집니다. 따라서 이 연구의 포인트는 이미 수행된 노력을 비판하는 것이 아니라 지금까지 추적되어 온 경기장 간의 차이를 정량화하고 그 차이의 가능한 영향에 대해 논의하는 것입니다.
이 첫번째 기사는 발사 속도에 대한 것이고, 발사각은 따로 다뤄질 것입니다.

Method

​baseballr 패키지를 사용해서, Baseball Savant 웹사이트에서 2015-2018년 사이의 사용가능한 플레이-바이-플레이 데이터를 다운로드 받았습니다. 2019년 데이터는 6월 첫주까지 다운로드 되었습니다. 두 개의 필터가 적용되었습니다. 첫번째는 인플레이 타구에 대한 데이터로 필터링합니다. 이는 "hit_into_play", "hit_into_play_no_out" 그리고 "hit_into_play_sore" 로 표시된(with descriptions) 이벤트들을 뜻합니다.

두번째 필터는 실제 레이더 데이터가 분명하지 않은 플레이들을 제거합니다. "No Nulls" 정책의 일부로서, MLB는 타구속도와 발사각의 충분한 데이터가 모이지 않았을 때, 적당한 값을 취합니다.(estimate) 하지만 어느 플레이들이 이렇게 근사되었는지 알려달라는 무수한 요구들에도 불구하고 MLB는 그러지 않고 있습니다. 이러한 근사적인 예측이 error-free한 기적을 보여주지만, 이것은 양쪽 세계에 가장 나쁜 결과만을 제공합니다. 만약 우리가 어느 값들이 근사되었는지 안다면 우리는 빠진 값에 대해 다른 근사법을 써볼 수도 있을 것입니다. 아니면 최소한 기록된 실제 값을 써 볼 수도 있겠죠. 하지만 우리는 MLB의 근사값에 묶여 있고 어느 값이 실제 측정치인지 알 방법이 없습니다. 따라서 어떤 데이터 열들은 필연적으로, 실제 측정된 데이터일지라도, 사용되지 않을 수 있습니다. 우리가 둘 사이의 차이를 알지 못하기 때문이죠. MLB가 근사된 관찰을 구분해줄때까지는 우리는 제공된 값들을 어떻게 다루어야 하는지에 대해 이해할 필요가 있습니다. 

Ben Dilday는 MLB의 근사값을 찾아내기 위한 한 방법을 고안해냈습니다. 부연하자면, Andrew Perpetua는 2015-17년 사이에 75번 이상 나타난 모든 타구속도/발사각 데이터 쌍을 근사된 값이라고 보았습니다. 일반적으로, 이웃한 값들보다 훨씬 더 빈번하게 등장하는 특정한 타구속도/발사각 조합은 명백히 (우리의 데이터에) 속하지 않을 것입니다. 하지만 다른 조합들은 덜 명백합니다. 어려운 점은 어디에 기준선을 그을 것인가 하는 점입니다. 그것을 추측하는것은 아마도 불가능할 테니까요.

이 시리즈에서 우리는 우리만의 판별 방법을 고안했습니다. 우리의 원리는 근사값을 완벽하게 찾아내려고 노력하기보단 우리는 우리의 판별이 우리가 신경쓰는 이슈, 즉 경기장 편향을 분석하기에 '충분할 만큼 정확한지' 를 결정하고자 한 점입니다. 달리 말하자면 우리가 분명히 근사된 값들을 배제하고 많은 실제 값들을 지나치게 많이 배제하지 않는다면 우리의 모델은 현실로 수렴할 것이라는 점이죠.(그리고 실제로 그러합니다.)

따라서 우리는 아웃라이어를 판별하는 절차를 디자인했습니다. Rosner Test(역주 : 아웃라이어를 제거하는 통계 테스트)를 연속적으로 적용하는 과정에서 점차적으로 더 엄격한(skeptical) 필터들을 아웃라이어 후보인 데이터 순서쌍이 우리의 모델을 변화시키지 못하게 될 때까지 적용합니다. 이렇게 판별된 잠재적인 아웃라이어 순서쌍들은 제거되고 다시 사용되지 않습니다. 만약 흥미를 가진 사람들이 있다면, 우리의 이론과 이 필터링에 사용된 코드는 추후 논의될 수 있을 것입니다.

편향 모델링 자체는 간단한 것이었습니다. 같은, 타자, 투수, 경기장이라는 세 예측변수의 타구속도와 발사각에 대한 랜덤 효과를 모델링합니다. 타구속도 모델의 오차는 정규분포로 가정되었습니다. 이 가정은 실제 레이더 측정과 잘 fitting됩니다. 각 모델들은 개별 시즌마다 fitting되었습니다.

특정한 사전분포(역주 : 베이즈 통계학에서 말하는 prior)들은 은 많은 양의 타구 데이터에 휩쓸려가 버렸지만 우리는 타구속도 모델의 랜덤 효과 정밀도에 대해 half-Cauchy 사전분포를 25개의 변수와 함께 사용하여 좋은 결과를 얻어냈습니다.

Stadium Effects, Generally Speaking

우리는 스탯캐스트의 경기장에 따른 차이에 대해 일반적으로 논의하는 것을 시작하려 합니다. 우리는 개별 시즌마다 10만 개 이상의 타구 데이터를 가지고 있고, 위에 언급하였듯이, 각각의 매치업에서 타자와 투수 변수를 통제하고 경기장들을 이론적으로 동일한 조건(equal footing)으로 두었습니다. 우리의 절차의 정확함(rigor)과 놀랍도록 낮은 표준편차 사이에서 우리는 이 추정을 확신하게 되었고, 우리의 모델들이 제시하는 경기장에 따른 분산(variance)은 경기장의 'house' 효과의 증거라고 결론내리게 되었습니다. 

 Table 1: Launch Speed Differences by Stadium

Table 1은 2015-16년 동안 우리가 경기장에 따른, (거기서 뛴 선수들은 통제되어 있는) 타구 속도의 'Average Spread' 라고 부르는 (기술적으로는 표준편차) 값들이 최소 0.5 mph였음을 보여줍니다. 2017년에는 0.4mph로 감소했고, 2018년에는 더 줄어들었습니다. Average spread 값 주변의 불확실성(uncertainties)은 아주 좁습니다.(tight) 따라서 우리의 모델의 체계에서, 여기엔 이견의 여지가 없습니다. 최소한 우리가 선택한 관찰들에서는 말이죠.

흥미로운 것은 2019년의 결과입니다. 여기서는 2018년에 비해 더 큰 경기장 편차가 나타났습니다. 이는 시즌 초의 타격 때문에 나타난 artifact일 수도 있고, 샘플 사이즈가 작아서일 수도 있습니다. 그게 아니면 새롭게 호크아이 시스템이 경기장에 설치되면서 기존에 있었던 트랙맨 시스템에 문제가 생긴 것일수도 있겠죠. 우리는 경기장에 따른 이 차이가 모니터링할 만한 가치가 있다는 점을 확인한 것 외에는 더 판단을 내리지 않기로 했습니다.

Hot and Cold Stadiums

경기장 사이의 'average' spread가 그렇게 크지 않아 보일지라도 우리는 평균이 여러 경기장에서의 다양한 값들을 하나로 합쳐버림을 기억해야 합니다. 어느 경기장이 이 편차를 주도할까요? 그것은 시즌에 따라 다릅니다.

Table 2: Largest Stadium Effects, 2015 Season

 여기서 가장 우리의 관심을 끄는 것은 표준편차보다 훨씬 큰 값(또는 불확실성)을 보이는 것들입니다. 우리는 이 경기장에서 보고된 수치들이 (같은 선수들에 의한) 평균적인 측정치들에 비해서 '떨어져'('off') 있다고 합리적으로 생각할 수 있습니다. 2015년의 경우, 애리조나와 볼티모어는 매우 'hot'했던 반면 신시내티, 휴스턴, 메츠에서는 놀랄 정도로 낮은 값들이 보고되었습니다.

Table 3: Largest Stadium Effects, 2016 Season

2016년에는 비슷한 면들을 많이 찾을 수 있습니다. 별도의 데이터에 대해 완전히 새로운 모델이 적용되었음에도 불구하고 분류된 결과는 비슷한 양상을 보입니다.(sticky) 상단에 캔자스시티가 존재하고, 신시내티는 낮은 값을 가집니다. 양쪽다 에러 마진의 바깥에 위치하고 이는 우리의 모델이 단순히 타격 친화 구장/그렇지 않은 구장에서의 기대값을 앵무새처럼 반복하고 있는 것이 아님을 확인해 줍니다.

Table 4: Largest Stadium Effects, 2017 Season

2017년의 결과에서도 우리는 표의 상단과 하단에서 비슷한 면들을 발견할 수 있습니다. 하지만 경기장들 사기의 갭이 전체적으로 이전보다 작아졌음을 확인할 수 있습니다. 그리고 이와 함께 일관적으로, 표준편차 값 역시 감소하였습니다.

Table 5: Largest Stadium Effects, 2018 Season

2018년에는 우린 뭔가 뒤섞인 것을 보기 시작합니다. 애리조나는 리스트 꼭대기에서 사라졌고 리글리 필드와 에인절스 경기장이 경향을 주도합니다. 반대편에서는 마이애미 말린스와 시티 필드가 그들의 '속도를 억제하는 일'을 계속하고 있습니다. 표준편차 역시 크게 감소했습니다.

Table 6: Largest Stadium Effects, 2019 Season

나는 2019년의 결과는 너무 심각하게 고려하지 않으려 합니다. 우린 고작 2개월치의 데이터만을 가지고 있고 앞으로 남은 시즌이 충분히 깁니다. 그럼에도 불구하고 친숙한 멤버들이 스펙트럼의 양 끝에 위치하고 있습니다.

Discussion

이 모든 것들로 어떤 결과를 만들 수 있을까요? 우린 몇 가지를 추론(takeaway)해볼 수 있습니다. 

첫째로, 스탯캐스트 시스템은 인플레이 타구의 발사속도를 감지하고 측정하는데 있어서 시간이 지남에 따라 점점 더 정확해져 왔음을 보여 줍니다. 매 해마다 우리의 감지 알고리듬은 추정된(imputed) 인플레이 타구 데이터의 수가 아마도 (probably) 감소하였음을 밝혀냈습니다. 게다가 해마다 경기장에 따른 'house effect'에 의한 spread는 줄어들어 왔습니다. 이는 비록 최근의 측정들이 아마도 예전 측정들보다 좀더 믿을만함을 뜻함에도 불구하고, 예전에 수행된 측정이 (선수 프로젝션이나 다른 패러미터들을 결정하는 데에) 사용될 수 있는 자격을 제공할 수 있음을 보여줍니다.

둘째로 이 'house effect'는 상당히 의미있는(substantial) 것일 수 있습니다. 0.5mph 이상의 차이는 일반적이고 우리는 같은 선수의 두 경기장에서의 차이가 최대 2mph까지 날 수 있다고 추정합니다. 한 추정에서는, 1mph의 발사 속도 차이는 5피트의 타구 거리에 해당됩니다. 분명히, 한 시즌 내내 여러 경기장에서 뛰는 풀타임 선수들의 경우 이러한 편차는 상쇄될 수 있습니다. 하지만 작은 샘플의 선수의 기록에 대해 흥분하기 전에 당신은 그들이 어디에서 좋은, 혹은 나쁜 기록을 올렸는지 체크해보는게 좋을 수 있습니다.

셋째로, 선수의 타구 속도를 선수의 경기력의 함수로 모델링하고자 할 때 좋은 모델링이 경기장 효과를 설명할 수 있을지도 모릅니다. 이것은 말처럼 쉽지 않은데, 타구 속도와 발사각은 복잡한 상호작용과 비선형성을 특징으로 갖는다는 점에서 그러합니다. 따라서 그러한 관계는 종종 boostd나 bagged tree 모델로 모델링되는데 이러한 테크닉들은 많은 수의 패러미터들과 씨름해야 한다고 알려져 있습니다. 예컨대 30개의 스타디움 같은 것들이죠. 추가적인 모델링 또는 전처리는 경기장 효과를 효과적으로 설명할 것이 요구될 겁니다.

마지막으로, 인과관계에 대한 것입니다. 감지 에러가 이 경기장 편차의 상당 부분을 설명할 수 있지만 다른 요소들 역시 동등하게 영향을 줄 수도 있습니다. 예를들어 애리조나는 15-17년 동안 'hot'한 아웃라이어였지만 2018년에 급작스럽게 수치가 떨어졌습니다. 아마도, 우연이 아닐 것인데, 왜냐면 18시즌부터 다이아몬드백스가 휴미더를 도입했기 때문이죠. 공이 더 많은 습기를 머금을수록 타구 속도를 낮추기 때문에 휴미더는 애리조나의 중간 정도의 타구속도 경향의 요인이 될 수 있습니다. (트랙맨) 장비의 효과가 여전히 남아있긴 하지만 말이죠. 마찬가지로 다른 경기장들에서 공을 보관하는 조건은 비슷하게 타구속도 측정에 (좀 더 작은 정도일지라도) 영향을 줄 수 있습니다. 다른 의견들도 있었는데, 어떤 경기장들은 타격 효율성을 전반적으로 감소시킬 수 있는데, 예를 들어 어려운 batter's eye 같은 것들이 그렇게 할 수 있다는 것이었습니다. 보통 경기장 효과는 타격 이후에 영향을 미친다고 생각되지만(예를들어 경기장이 너무 넓거나, 공기밀도가 낮다거나 하는 요인들) 이 'house effect'의 어떤 부분들은 직접적으로 타자의 성공을 시작부터 방해할 수도 있습니다. 만약 그렇다면, 우리가 찾아낸 이 (house) 효과는 우리가 의심하는 것보다 더 깊은 원인들이 있을지도 모르고, 최소한 우리가 얼마나 정확하게 측정했는지와는 무관할지도 모릅니다.

다음에는 발사각을 살펴보고 이 'house effect'에서 어떤 아날로지가 존재하는지 살펴볼 것입니다.