통계의 함정

통계의 역설로 본 환상과 거짓

앨런 B. 다우니 저자(글) · 김상현 번역

에이콘출판 · 2024년 04월 26일

책 소개

여론 조사, 주식 시장, 지진 예측, 일기예보, 공중보건, 스포츠 등 어디나 존재하는 통계는 우리의 이해를 돕기도 하지만 속이거나 혼란을 부추기기도 한다. 수학의 대표적 역설에 깃든 통계의 오해를 알기 쉽게 파헤치는 가운데 바른 통계 분석과 이해의 지혜를 일러준다.

그릇된 통계 분석과 해석은 단순한 오해를 넘어 부정확한 의료 진단, 대규모 지진 예측 실패, 사회 불평등 악화, 엉터리 정책 결정 등으로 이어질 수 있다. 통계 숫자를 보는 방식에는 맞거나 틀린 것들이 있다. 이 책은 어느 쪽이 맞고 틀린지 독자들이 파악할 수 있도록 명쾌하게 알려준다.

작가정보

저자(글) 앨런 B. 다우니

(Allen B. Downey)
올린 공과대학교(Olin College of Engineering) 컴퓨터공학과의 명예교수이자 온라인 교육 회사인 브릴리언트(Brilliant)의 커리큘럼 디자이너이다. 『씽크 파이썬』(길벗, 2017), 『파이썬을 활용한 베이지안 통계』(한빛미디어, 2023), 『Think Stats』(한빛미디어, 2013) 등 다수의 저서가 있다. 통계학과 데이터 과학, 그리고 관련 주제들로 자신의 블로그 〈Probably Overthinking It〉에 흥미로운 글들을 올리고 있다.

번역 김상현

캐나다에서 정보공개 및 프라이버시 전문가로 일하고 있다. 토론토 대학교, 앨버타 대학교, 요크 대학교에서 개인정보보호와 프라이버시 법규, 사이버보안을 공부했다. 캐나다 온타리오 주 정부와 앨버타 주 정부, 브리티시 컬럼비아(BC) 주의 의료서비스 기관 FNHA, 밴쿠버 아일랜드의 수도권청(Capital Regional District) 등을 거쳐 지금은 캘리언 그룹(Calian Group)의 프라이버시 관리자로 일하고 있다. 저서로 『디지털의 흔적을 찾아서』(방송통신위원회, 2020), 『유럽연합의 개인정보보호법, GDPR』(커뮤니케이션북스, 2018), 『디지털 프라이버시』(커뮤니케이션북스, 2018), 『인터넷의 거품을 걷어라』(미래M&B, 2000)가 있고, 번역서로는 에이콘출판사에서 출간한 『해커의 심리』(2024), 『어둠 속의 추적자들』(2023), 『공익을 위한 데이터』(2023), 『인류의 종말은 사이버로부터 온다』(2022), 『프라이버시 중심 디자인은 어떻게 하는가』(2021), 『마크 저커버그의 배신』(2020), 『에브리데이 크립토그래피 2/e』(2019), 『보이지 않게, 아무도 몰래, 흔적도 없이』(2017), 『보안의 미학』(2015), 『똑똑한 정보 밥상』(2012), 『불편한 인터넷』(2012), 『디지털 휴머니즘』(2011) 등이 있다.

작가의 말

우리는 질문에 답하고 논쟁을 해소하는 데 데이터를 이용할 수 있다. 더 나은 결정을 내리는 데도 데이터를 이용할 수 있지만 늘 쉽지만은 않은 일이다. 그중 한 문제는 확률에 대한 우리의 직관이 때로 위험할 정도로 사실을 호도한다는 점이다. 예를 들면, 2021년 10월, 한 유명 팟캐스트의 출연자는 “영국에서 COVID-19로 인한 사망자의 70% 이상이 백신 접종을 받은 사람들”이라고 우려 섞인 목소리로 주장했다. 그의 주장은 정확했다. 그 숫자는 영국 공중보건국(Public Health England)이 신뢰할 만한 전국 통계를 바탕으로 발표한 보고서에서 나온 것이었다. 하지만 백신이 소용없거나 실제로는 해롭다는 그의 암시는 잘못된 것이다.

9장에서 볼 수 있듯이, 우리는 동일한 보고서의 데이터를 바탕으로 백신의 효율성을 계산해 몇 명의 목숨을 구했는지 추산할 수 있다. 그에 따르면 백신은 사망을 예방하는 데 80% 넘게 효과적이었고, 4주의 기간 동안 4800만 명의 인구 가운데 7000명 이상의 목숨을 구했다. 만약 한 달에 7000명의 목숨을 구할 기회가 우리에게 주어진다면, 그 기회를 잡아야 할 것이다.

이 팟캐스트의 출연자가 저지른 실수는 ‘기저율 오류(base rate fallacy)’라고 불리는데 누구나 쉽게 저지를 수 있는 실수다. 이 책에서 우리는 확률에 근거한 의사 결정이 건강이나 자유, 혹은 생명을 좌우할 수 있는 의료, 사법 체계, 그리고 다른 관련 분야의 사례들을 보게 될 것이다.

목차

• 1장. 당신은 정상인가? 힌트: 아니오
  __존재…팔 길이
  __왜?
  __분포도 비교
  __얼마나 가우스적인가?
  __‘평균 남성’의 신화
  __빅 파이브
  __우리는 모두 똑같이 비정상이다
  __하지만 누군가는 다른 이들보다 더 평등하다
  __출처와 관련 문헌
  
  2장. 릴레이 경주와 회전문
  __강좌 크기
  __데이터의 편향성 제거
  __내 기차는 어디에?
  __당신은 인기가 있는가? 힌트: 아니오
  __슈퍼 전파자 찾기
  __도로에서 느끼는 분노
  __그냥 한 번 방문하는 경우
  __재범률
  __검사의 역설은 어디에나 널렸다
  __출처와 관련 문헌
  
  3장. 전통을 거부하고 세계를 구하라
  __가족의 규모
  __대공황과 베이비 붐
  __더 최근에는
  __프레스턴의 역설
  __한 자녀를 덜 낳으면
  __장기적으로는
  __현실은
  __현재
  __출처와 관련 문헌
  
  4장. 극한치의 사람들, 아웃라이어들 그리고 역대 최고들(GOATs)
  __예외
  __출생 체중은 가우스적이다
  __체중 증량 시뮬레이션
  __달리는 속도
  __체스 순위
  __역대 최고
  __우리는 무엇을 해야 할까?
  __출처와 관련 문헌
  
  5장. 새것보다 나은
  __전구
  __지금이라도 곧
  __암 환자의 생존 기간
  __출생 시 기대 수명
  __아동 사망률
  __불멸의 스웨덴인
  __출처와 관련 문헌
  
  6장. 속단하기
  __수학과 구술 능력
  __엘리트 대학교
  __덜 우수할수록 더 커지는 상관관계
  __세컨티에이 대학교
  __병원 데이터에 나타난 벅슨의 역설
  __벅슨과 COVID-19
  __벅슨과 심리학
  __벅슨과 우리
  __출처와 관련 문헌
  
  7장. 인과, 충돌 그리고 혼란
  __300만 명의 유아 데이터가 틀릴 수 없다
  __다른 그룹들
  __역설의 끝
  __쌍둥이의 역설
  __비만의 역설
  __벅슨의 토스터
  __인과 관계의 다이어그램
  __출처와 관련 문헌
  
  8장. 재난의 긴 꼬리
  __재난의 분포
  __지진
  __태양 플레어
  __달 분화구
  __소행성
  __긴 꼬리 분포도의 기원
  __주식 시장의 붕괴
  __블랙 스완과 그레이 스완
  __긴 꼬리 분포도의 세계
  __출처와 관련 문헌
  
  9장. 공정과 오류
  __의료 검사
  __더 높은 유병률
  __더 높은 특이도
  __나쁜 의학
  __음주 운전
  __백신의 유효성
  __범죄 예측
  __그룹 비교
  __공정성은 정의하기 어렵다
  __공정성은 성취하기 어렵다
  __기저율의 모든 것
  __출처와 관련 문헌
  
  10장. 펭귄, 염세주의자 그리고 역설
  __늙은 낙관주의자, 젊은 비관주의자
  __실질 임금
  __펭귄들
  __심슨의 처방
  __백신은 효과가 있는가? 힌트: 그렇다
  __실체 폭로 재론
  __공개 데이터, 공개 토론
  __출처와 관련 문헌
  
  11장. 마음 바꾸기
  __나이든 인종차별주의자들?
  __젊은 페미니스트들
  __동성애 공포증의 괄목할 만한 감소
  __1990년에 무슨 일이 있었나?
  __집단 효과인가, 아니면 시대 효과인가?
  __오버튼 창
  __출처와 관련 문헌
  
  12장. 오버튼 창을 좇아서
  __늙은 보수주의자, 젊은 자유주의자?
  __‘보수주의적’이라는 것은 무슨 뜻인가?
  __어떻게 이럴 수 있을까?
  __중심은 정지해 있지 않다
  __모든 것은 상대적이다
  __우리는 더 양극화했는가?
  __오버튼을 좇아서
  __출처와 관련 문헌
  __부록: 15개의 질문
  
  에필로그

추천사

• 새뮤얼 H. 프레스턴 (『Demography: Measuring and Modeling Population Processes』(Wiley-Blackwell, 2000)의 공저자)

  “빈번하게 만나는 통계적 오류와 역설을 대단히 흥미롭게 폭로하고 파헤친다. 그림들로 보여주는 사례와 증거들은 설득력이 매우 높고 문장은 더없이 명징하다. 이 책이 들려주는 통계적 교훈과 통찰이 적용되지 않는 인간 활동의 영역은 거의 없다.”

• 오브리 클레이튼 (『Bernoulli’s Fallacy: Statistical Illogic and the Crisis of Modern Science』의 저자)

  “통계학에 대한 저자의 애정이 책 전반에서 빛을 발한다. 우리 시대의 심각하고 논쟁적인 사안들의 진실을 규명하는 일에서 통계적 방법론이 얼마나 중요한지에 대한 그의 사회적 양심과 신념 또한 마찬가지다.”

• 플로이드 노리스 (존스 홉킨스 대학교 교수, 전 「뉴욕타임스」 금융 담당 팀장)

  “마크 트웨인은 ‘사실은 완고하지만 통계는 유연하다.’라고 말한 적이 있다. 저자는 어떻게 그런 일이 벌어지는지, 심지어 사실을 모호하게 숨기려 애쓰지 않는 사람들에게도 벌어지는지 잘 이해하고 있다. 1971년 임산부의 흡연이 태아에게 유익할지 모른다는 데이터를 발견한 사람은 양심적인 연구자였지만 데이터를 잘못 해석하는 바람에 정부의 금연 대책을 10년 지연시키는 결과를 낳았다. 저자는 명징하고 설득력 있는 분석으로 왜 데이터가 다른 많은 경우들과 마찬가지로 오해되는지 설명한다. 교육적 가치가 높은 책이다.”

• 라빈 쿠마르 (구글(Google)의 데이터 과학자)

  “통계가 어디까지 매혹적이고 흥미로울 수 있는지 보여주는 책이다. 독자들은 고등 수학자일 필요도 없다. 그저 세상에 대한 호기심만 있으면 책을 즐기기에 충분하다.”

출판사 서평

◈ 이 책의 구성 ◈

이 책에서 다루는 몇몇 사례들은 기존에 출간된 연구 내용이고, 다른 경우는 데이터에 대한 내 나름의 관찰과 탐구 내용이다. 이전 연구 결과를 그대로 보고하거나 수치를 베끼기보다는 해당 분석을 따라해 보고, 스스로 수치를 만들었다. 어떤 경우는 오리지널 작업이 검증을 통과하지 못했고, 그런 사례는 이 책에서 제외했다. 일부 사례의 경우, 나는 더 최근 데이터를 가지고 같은 분석을 수행할 수 있었다. 이런 업데이트는 미처 예상하지 못한 깨우침도 주었다. 예컨대 ‘출생 시 저체중의 역설’은 1970년대에 처음 관찰됐고 1990년대까지 지속됐지만 최근 데이터에서는 사라졌다.

이 책에 소개된 모든 작업은 재현 가능한 과학 분야의 툴과 방법론에 근거하고 있다. 나는 주피터(Jupyter) 노트북을 사용해 글과 컴퓨터 코드와 결과들을 한 문서로 통합했다. 이 문서들은 버전 관리 시스템으로 정리함으로써 일관성과 정확성을 확보했다. 최종적으로 나는 넘파이(NumPy), 사이파이(SciPy), 판다스(pandas) 등과 같이 신뢰할 수 있는 오픈소스 라이브러리를 이용해 약 6000줄의 파이썬 코드를 작성했다. 물론 내 코드에 버그가 있을 수도 있지만, 결과들에 심각하게 영향을 미치는 오류의 위험을 최소화하기 위해 테스트를 거쳤다. 나의 주피터 노트북은 온라인에 공개돼 있기 때문에 누구라도 내가 실행한 분석을 손쉽게 재현해 볼 수 있다.

◈ 옮긴이의 말 ◈

“세상에는 세 가지 종류의 거짓말이 있다. 거짓말, 새빨간 거짓말, 그리고 통계다.” 마크 트웨인을 통해 유명해진 벤저민 디즈레일리의 이 말은 통계가 현실에서 얼마나 자주 오용되거나 남용되는지 잘 드러낸다. 통계의 배후에 도사린 정치적 의도를 경계해야 하며, 따라서 통계 자료를 볼 때는 겉으로 드러난 결과와 해석에만 무작정 휩쓸리지 말고 꼼꼼하고 엄정하게 ‘팩트 체크’를 해볼 필요가 있다는 경고로도 해석된다.

최근 몇 년간 세상을 휩쓴 COVID-19(코로나바이러스감염증-19)와 그를 둘러싼 통계 논쟁은 ‘거짓말, 새빨간 거짓말, 그리고 통계’의 냉소적 경고를 새삼 상기시켰다. 팬데믹 기간 거짓 정보의 발원지 중 하나로 악명 높았던, 그러나 구독자가 워낙 많아 사회적 영향력 또한 매우 컸던 한 팟캐스트를 통해 나온 “영국에서 60세 이하의 백신 접종자는 같은 연령대의 비접종자보다 두 배 더 높은 사망률을 보인다”라는 주장은 일파만파의 글로벌 논쟁으로 비화했다. 그 주장을 펼친 장본인은 당시 「뉴욕타임스」 기자였고, 더욱이 근거가 영국의 국립통계청이 내놓은 공식 자료여서 더욱 큰 파장을 불러일으켰다. 언뜻 보기에 아무런 왜곡도 없어 보이는 공식 자료에 근거한 그 주장은 백신 접종 거부자들, 그리고 팬데믹 음모론자들에게 엄청난 무기가 됐다.

국립통계청의 공식 데이터를 정확히 반영한 것처럼 보이는 그 자료와 그래프는 그러나 두 가지 치명적인 문제를 안고 있었다. 첫째, 백신이 도리어 사망률을 높인다고 주장한 기자는 통계 자료를 제대로 해석할 아무런 지식과 전문성을 갖고 있지 않았다. 둘째, 자신의 주장과 부합하는 연령대와 시간 간격만 선택하고 그렇지 않은 데이터는 무시했다. 그래서 실상은 백신의 효과를 입증하는 자료로 나온 통계청의 자료를 그 반대의 목적으로 왜곡한 것이었다. 개별 연령대나 성별로 나눠 해당 데이터를 보면 감소 추세 - 혹은 증가 추세 - 를 보이는데, 전연령대와 성별을 한데 묶어 데이터를 보면 거꾸로 증가 추세 - 혹은 감소 추세 - 를 보이는 소위 ‘심슨의 역설’이 이 언론인의 백신 위험론에 작용했다.

이 책의 10장 ‘펭귄, 염세주의자 그리고 역설’은 팬데믹 상황을 더욱 악화하는 데 일조한 위 주장의 허점들을 쉽게 명쾌하게 드러낸다. 남극 펭귄에 대한 측정값의 수수께끼와, 과연 우리는 나이가 들수록 예외 없이 염세주의자가 되느냐는 질문을 풀어가는 일은 그 허점을 명확하게 보여주기 위한 두 가지 관련 사례이다.

저자 앨런은 어려운 - 혹은 어려워 보이는 - 통계를 쉽게 풀어내는 데 발군이다. 이 책은 그의 그런 재능을 유감없이 발휘한 증거물이다. 통계를 제대로 이해하면 정치, 경제, 사회, 심지어 우리의 마음까지 좀더 잘 이해할 수 있겠다는 생각이 들게 할 만큼, 그가 제시하는 사례들은 우리 주변에서 흔히 찾아볼 수 있는 내용들이다. 달리기 대회에서 왜 나를 추월하는 사람들은 전부 나보다 엄청 더 빠른 것 같고, 내가 추월하는 사람들은 훨씬 더 느린 것처럼 여겨질까? 왜 지진이나 자연 재난을 예측하기는 어려울까? 왜 똑같은 유형의 암 진단을 받았는데도 생존 기간은 다를까? 왜 ‘나는 평균이야’, 혹은 ‘나는 정상이야’라는 말은 틀릴까? 왜 운전할 때, 나보다 더 느리게 운전하는 사람은 다 바보처럼 여겨지고 더 빨리 운전하는 사람은 미쳤다고 여기게 될까?

한국 사회는 요즘 너무 낮은 출산율로 고민이 깊다. ‘인구 절벽’이라는 말이 유행어처럼 회자될 정도다. 이 책의 3장 ‘전통을 거부하고 세계를 구하라’는 그런 면에서 시의성이 각별한 대목이다. 특히 정책 입안자들에게 일독을 권하고 싶은 장이기도 하다. 저자는 중국의 ‘한 가정 한 자녀’ 출산 정책이 어떤 영향을 몰고 왔는지 통계학의 시각에서 분석하는 한편, 적절한 출산 정책이 감안해야 할 여러 변수도 제시하고 있다. 좀더 눈 밝은 통계적 시각으로 사안을 바라본다면 인구 절벽의 위기에서 벗어날 수 있는 좀더 획기적인 정책과 아이디어가 나올 수 있을지도 모른다.

번역은 다른 한편 좋은 배움의 기회이기도 하다. 내게는 이 책이 특히 더 그런 역할을 많이 했다는 생각이다. 그 다음 내용을 알고 싶어 조바심이 자주 일었다. 그래서 더욱 즐겁게 번역할 수 있었다. 이 책과 만나는 독자 여러분도 모쪼록 그런 즐거움을 느끼실 수 있기를 기대한다.

기본정보

ISBN	9791161758343
발행(출시)일자	2024년 04월 26일
쪽수	328쪽
크기	151 * 228 * 19 mm / 728 g
총권수	1권
시리즈명	데이터 과학