사이언스 픽션

과학은 어떻게 추락하는가

스튜어트 리치 저자(글) · 김종명 번역

더난출판 · 2022년 01월 19일

책 소개

수상내역/미디어추천

• 미디어 추천도서 > 주요일간지소개도서 > 경향신문 > 2022년 2월 1주 선정
• 미디어 추천도서 > 주요일간지소개도서 > 동아일보 > 2022년 2월 1주 선정
• 미디어 추천도서 > 주요일간지소개도서 > 매일경제 > 2022년 1월 4주 선정
• 미디어 추천도서 > 주요일간지소개도서 > 문화일보 > 2022년 9월 3주 선정
• 미디어 추천도서 > 주요일간지소개도서 > 서울신문 > 2022년 1월 5주 선정
• 미디어 추천도서 > 주요일간지소개도서 > 조선일보 > 2022년 2월 1주 선정
• 미디어 추천도서 > 주요일간지소개도서 > 중앙일보 > 2022년 2월 1주 선정
• 미디어 추천도서 > 주요일간지소개도서 > 한겨레신문 > 2022년 2월 1주 선정

과학연구의 충격적 실체를 폭로한 킹스칼리지런던 심리학자의 자성적 탐사연구보고서
“인간의 욕망이 진리를 넘어설 때 과학은 픽션이 된다”
가짜 실험, 데이터 누락, 통계 오류, 심리 조종, 사진 조작까지
유명 학자들의 조작, 편향성, 부주의, 과장의 실태

세상 모든 원리를 설명하는 학문이자 체계적 지식의 근간인 과학에 오류가 있다면 인류가 지금껏 이뤄낸 지식의 결과를 믿을 수 있을까. 과학계 최고 수준의 저널인 〈네이처〉, 〈사이언스〉에 발표했지만 조작, 편향, 부주의, 과장을 이유로 철회되는 논문만 한 해에 수백 편에 이른다는 발표는 많은 이들에게 충격을 주었다. 심지어 가짜 논문을 가려내는 연구를 저널에 발표하는 실정이다.

《사이언스 픽션》은 연금술과 미신의 도구에서 진실을 추구하는 학문으로 거듭날 수 있었던 과학의 근본적인 정신과 진정한 가치를 다시금 생각하는 기회를 제공한다. 또한 대니얼 카너먼(프라이밍 현상에 대한 실험) 같은 대중 과학 서적의 저자부터 필립 짐바르도(스탠퍼드 감옥 실험), 스탠리 밀그램(권위에 대한 복종 실험), 황우석(인간 배아 복제 실험) 등 세기의 연구자라 칭송받던 이들의 화려한 과학 업적 뒤에 숨은 인간의 욕망과 동료들의 비윤리적 행동, 과학계의 부패한 현실을 낱낱이 파헤친다.

☞ 선정 및 수상내역
★2021년 영국왕립학회 선정 ‘최고의 과학 서적’ 후보작 ★
★〈타임즈〉 선정 2021년 최고의 논픽션★

작가정보

저자(글) 스튜어트 리치

Stuart Ritche

심리학자이자 과학 커뮤니케이터, 오픈 사이언스 운동의 열혈 지지자. 과학의 잘못된 관행을 개혁하고, 과학자들이 연구 결과를 발표할 때 더욱 투명해지도록 돕는 도구를 개발했다. 2015년에는 심리과학협회에서 ‘라이징 스타Rising Star 상’을 수상했다. 영국의 킹스칼리지런던King's College London의 사회, 유전 및 발달 정신과 센터에서 강의하고 있다. 에딘버러대학교에서 인간 지능에 대해 박사 후 과정을 밟았고, 인간 지능과 뇌가 어떤 관련이 있는지, 뇌가 유전의 영향을 받는지, 교육과 같은 외부 요인에 의해 뇌가 얼마나 향상될 수 있는지에 대해 연구한다. 구글 학술검색에 등록된 그의 피인용 횟수는 7,327회에 달하고 h-지수는 41, i10 -지수는 78이다.

번역 김종명

서울대학교 공업화학과를 졸업했고, 미국 신시내티대학교에서 재료공학 박사 학위를 받았다. 다년간 연구소에서 근무했으며, 번역에이전시 엔터스코리아에서 번역가로 활동하고 있다. 옮긴 책으로는 《과학자도 모르는 위험한 과학기술》 《ZOOM 거의 모든 것의 속도》 《한 권으로 이해하는 수학의 세계》 《전기차 첨단기술 교과서》 《UX 심리학》 등이 있다.

목차

• 서문_과학은 사회적 활동이자 인간의 실수를 드러내는 도구
  
  제1부_픽션을 닮은 과학
  제1장_과학은 어떻게 작동하는가
  논문 출판과 동료 평가의 세계
  과학은 사회적 활동이다
  제2장_반복 재현의 위기 - 과학의 위기를 자초한 학자들
  짐바르도와 밀그램의 실험
  과학의 위기
  과학계를 위협하는 불확실성
  출판된 논문이 거짓으로 판명되다
  
  제2부_실수와 오류를 은폐하는 학자들의 속마음
  제3장_조작 - 논문 사기가 만들어낸 새로운 진실
  최악의 과학 사기 사건 - 파올로 마키아리니의 인공 기관지 이식
  놀랍도록 간단한 과학 사기 - 조작
  얼마나 많은 논문이 철회되는가
  측정 오차와 샘플링 오류
  과학 사기가 어려울까, 진짜 연구가 어려울까
  과학계에서 얼마나 많은 조작이 이뤄지는가
  과학 사기꾼들의 프로필
  무엇이 조작을 하게 만드는가
  논문 조작의 파급 효과
  과학 사기의 패착, 신뢰를 무너뜨리다
  제4장_편향 - 실패한 실험 결과가 사라지다
  확률과 p-값
  출판 편향과 메타 분석
  p-해킹
  데이터 오버피팅과 결과 스위칭
  이해충돌, 선한 의도 편향 - 과학의 사회정치적 성격
  새뮤얼 모턴과 스티븐 제이 굴드의 반전
  편향이라는 인간의 본성
  제5장_부주의 - 통계에 감춰진 명백한 실수들
  통계 불일치와 불가능한 계산값
  모든 숫자에는 노이즈가 포함돼 있다 - 무작위화의 실패
  오류를 알면서도 공유하는 환경
  연구 설계의 기본 원칙 - 무작위화와 블라인딩
  통계적 검정력
  통계적 검정력이 후속 연구에 미치는 영향
  낮은 통계적 검정력의 위험성 - 후보 유전자의 사례
  과학의 역할에 관한 고찰
  제6장_과장 - 그들의 언어를 알면 진실이 보인다
  과장 보도 자료
  대중 과학 서적의 함정
  과장으로 넘치는 과학 저널
  마이크로바이옴의 속사정
  우리가 먹는 모든 것이 암과 관련이 있는가 - 영양학의 진실
  예상치 못한 결과를 처리하는 방식
  
  제3부_잃어버린 과학의 정신을 되찾는 길
  제7장_비뚤어진 인센티브 - 논문 대량 생산의 시대
  출판물과 연구 지원금과 고용 기준
  살라미 슬라이싱 현상과 미끼 저널
  h-지수와 자기 인용, 자기 표절
  수단이 목표가 되면 길을 잃고 만다 - 굿하트의 법칙
  나쁜 과학의 자연 선택
  ‘발표하지 않으면 사라진다’는 논문 발표 시스템
  제8장_과학을 고치기 위한 시작
  모든 연구에는 오류가 있다
  재현 연구의 투고 - 통계적 유의성에 대해 편견 없이 판단하기
  p-값을 없애면 모든 문제가 사라질까
  다중 우주 분석의 보완 - 연구 사전 등록 제도
  모두가 자유롭게 참여하는 과학 - 오픈 사이언스
  저널 출판 시스템의 변화 - 사전 인쇄
  건강한 과학 커뮤니티를 만드는 데 필요한 연구 성과 평가 제도
  유레카에 대한 환상 - 학문은 원래 지루한 법이다
  과학의 진짜 위기는 따로 있다 - 과학자와 회의주의자
  
  에필로그_우리에게 필요한 것은 진리다
  감사의 글
  부록_학술 논문 읽는 법

추천사

• 와이어드Wired

  “과학의 이상이 추락한 이유와 과정을 설명하는 탁월한 책이자
  21세기 과학 연구자들이 직면한 문제에 대한 명쾌하고 매우 유용한 해설.”

• 타임즈The Times

  “새로운 연구를 추구하는 것과 과장이 과학 연구를 어떻게 망치고 있는지에 대한 경고.
  지루한 통계 연구 과정을 스릴 넘치는 탐정 이야기로 바꾸는 재능이 빛을 발한다.”

• 내셔널 리뷰National Review

  “과학이 어떻게 잘못되고 있는지에 대한 놀라운 사례들과
  포괄적인 연구를 훌륭하게 연계시킨 인상적 연구.”

• 커커스 리뷰Kirkus Review

  “과학계를 위해 불편하지만 꼭 필요한 분석. 오늘날 과학이 처한 현실을
  날카롭고 명료하게 정리하고 있는 책. 시기적절한 필독서.”

• 라이브러리 저널Library Journal

  “과학의 이상과 논문 출판이라는 현실 사이에 벌어지는 현실적 이야기를 가감 없이 다룬다.
  과학 연구의 제목 뒤에 무엇이 숨어 있는지 궁금해하는 대중 과학 독자들을 위한 책.”

• 퍼블리셔스 위클리Publishers Weekly

  “과학이라는 학문의 지적 신뢰도에 투자한 모든 사람을 위해 과학의 현주소를
  냉정하고 설득력 있는 문장으로 철저하게 파고드는 기소문과 같은 논문.”

• 이브닝 스탠다드Evening Standard

  “일부 과학자는 부패했고, 부주의하고, 편향됐다. 설령 그렇다 해도 과학이 더 이상
  필요 없는 것은 아니다. 더 나은 과학이 필요한 시점에 등장한 매우 훌륭하고 매혹적인 책.”

• 애덤 러더퍼드Adam Rutherford (《인종차별주의자와 대화하는 법》, 《사피엔스 DNA의 역사》의 저자)

  “생명, 생계 및 우리 사회 전체가 의존하고 있는 과학의 취약성을 훌륭하게 드러내는 반드시 필요한 작업이자 인류 모두에게 지독하리만치 중요한 필독서”

• 지나 리폰Gina Rippon, (《젠더드 브레인Gendered Brain》의 저자)

  “오늘날 세계가 처한 문제를 해결하기 위해 필요한 과학의 정책 입법 기관과 대중 과학을 전달하는 모든 사람이 반드시 읽어야 할 책. 과학과 과학자들이 어떤 치명적 결과를 초래할 수 있는지, 현재 과학에 대한 자금 지원과 출판 관행이 어떤 실수를 저지르고 있는지 낱낱이 밝히고 있다.”

책 속으로

모든 과학적 연구가 미래에 결코 뒤집을 수 없을 만큼 확고한 사실들에 기반하고 있기를 바라는 것은 순진한 생각이다. 세상은 그러기에는 너무 어지러운 곳이기 때문이다. 우리가 할 수 있는 일이라고는 단지 과학적 연구들을 어느 정도는 신뢰할 수 있기를 바라는 것뿐이다. 과학자들이 연구 과정에서 일어난 일을 정직하게 보고하고 있길 기대할 뿐이다. 만약 과학계가 자랑하고 있는 동료 평가 시스템이 이러한 신뢰를 보장하지 못한다면, 과학은 가장 기본적이고 중요한 것을 잃어버리는 것이다. 그럴 경우 과학이 가장 잘하는 능력인 꾸준한 새로운 발견, 신기술, 치료법, 신약의 진보로 우리 세계를 개혁시키는 것도 불가능하게 된다
---p. 18, 서문 ‘과학은 사회적 활동이자 인간의 실수를 드러내는 도구’ 중에서

그 후 반복 재현성은 오랜 기간 과학이 제대로 작동하는지 확인하는 데 중요한 역할을 해왔다. 이것은 또한 과학의 사회적 측면이기도 하다. 과학적 결과는 여러 관찰자들에 의해 확인된 후에라야 진지하게 받아들여지기 때문이다. 하지만 보일에서 현대 과학계로 넘어오는 과정 어딘가에서 많은 과학자들이 반복 재현성의 중요성에 대해 망각하게 된 것 같다. 인간 본성의 한계로 오염된 과학 출판 시스템이 직면한 현실과 머튼적 이상주의가 충돌하면서 이상이라는 것이 현실보다는 너무나도 허약하다는 것이 증명됐다. 그 결과 어떤 깨달음을 주기보다는 신뢰할 수 없고 믿기 어려우며 우리를 혼란스럽게 만드는 재현 불가능한 연구들로 과학 문헌이 가득 차게 됐다.
---p. 40~41, 제1장 ‘과학은 어떻게 작동하는가’ 중에서

예를 들면 세금 정책과 그것이 국가의 경제 성장에 어떤 영향을 미치는가를 연구하는 학문인 거시경제학 분야에서 발표된 67편의 논문 중 동일한 데이터 세트를 재분석했을 때 원본 논문과 결과가 일치한 경우는 22편에 불과했다. 심지어 원저자로부터 도움을 받더라도 그 성공률은 아주 미소하게 향상되는 정도에 그쳤다. 지구과학 분야에서는 조사한 39편의 논문 중 동일한 결과를 얻는 데 어려움을 보인 것이 무려 37편이었다. 머신러닝 연구자들은 ‘추천 알고리듬’에 관한 과거 논문들을 분석했다. 아마존이나 넷플릭스 같은 웹사이트에서 여러분과 비슷한 사람들이 과거에 선택한 것을 바탕으로 유추해 미래의 고객들이 무엇을 사고 무엇을 보고 싶을지 먼저 제안하는 용도로 사용하는 컴퓨터 프로그램을 대상으로 진행됐다. 최근 권위 있는 컴퓨터 과학 콘퍼런스에서 발표됐던 18개의 연구를 조사한 결과 7개만이 재현 가능했다.
---p. 56, 제2장 ‘반복 재현의 위기 - 과학의 위기를 자초한 학자들’ 중에서

2015년 5월에 종결된 2만 단어에 달하는 보고서의 결론은 더 이상 의심의 여지가 없었다. 마키아리니는 여러 가지 혐의에서 ‘과학적 위법 행위에 대해 유죄’였던 것이다. 7편의 논문을 통해 마키아리니는 환자 상태가 호전됐다고 거짓 주장을 했다. 수술 후에는 환자가 오랫동안 건강하게 생활한 것처럼 보이게 묘사하기도 했다. 마키아리니의 환자들은 심각한 합병증에 시달렸고 때로는 더 많은 수술을 받아야 했으나 그는 이러한 사실을 보고하지 않았다. 본질적으로 인간을 대상으로 진행됐던 의학 실험의 하나였지만 이에 합당한 윤리적 기준도 지키지 않았다. 심지어 그는 쥐를 대상으로 한 기관지 이식 실험의 연구 데이터를 위조하기도 했다.
---p. 73, 제3장 ‘조작 - 논문 사기가 만들어낸 새로운 진실’ 중에서

아주 오래된 철학적 질문이 있다. ‘왜 무(無)가 아니고 무언가가 있는 걸까?’ 우리는 과학적인 과정에 대해서도 비슷한 질문을 던질 수 있다. ‘왜 연구를 시작하면 아무것도 발견하지 못하는 일은 없고 항상 무언가를 찾는 일만 있을까?’ 독자들이 신문의 과학 페이지를 읽으면서 과학자들의 주장은 항상 검증되고 그들의 가설은 확실한 연구 결과로 뒷받침된다고 생각하는 것은 지극히 당연한 일이다. 흥미로운 것을 찾지 못한 연구가 신문에 나는 것은 닭에게 이빨이 나는 것만큼이나 드문 일이기 때문이다. 충분히 이해가 가는 일이다. 신문은 항상 ‘새로운’ 것을 싣고 있을 것이라는 기대를 사람들로부터 받기 때문이다. 신문은 ‘이미 일어난 모든 일에 대한 철저한 기록’이 아니다.
---p. 118, 제4장 ‘편향 - 실패한 실험의 결과가 사라지다’ 중에서

2013년 이 논문에 대한 문제를 제기했던 학자들은 라인하트와 로고프가 분석에 사용했던 마이크로소프트 엑셀 스프레드시트에 심각한 오류가 있음을 발견했다. 그들이 방정식 계산을 하는 과정에서 여러 국가의 부채가 제외된 사실이 발견된 것이다. 구체적으로 오스트레일리아, 오스트리아, 벨기에, 캐나다, 덴마크의 부채를 계산에서 제외시키도록 스프레드시트에 오류가 있었다. 더구나 이것은 끔찍하도록 진부한 이유 때문에 벌어진 해프닝이었다. 그 이유는 다름 아닌 오타였다.
---p. 174, 제5장 ‘부주의 - 통계에 감춰진 명백한 실수들’ 중에서

우리는 NASA가 그러한 불충분한 연구 결과를 과장하는 것이 좋은 생각이라고 진심으로 생각했을 가능성도 무시해서는 안 된다. 가장 유력한 이유로는 NASA가 겪고 있던 재정적 압박을 들 수 있겠다. 모든 과학 기구들은 후원자들에게 그들이 가치 있는 일을 하고 있다는 확신을 주기 위해 열심히 노력하고 있다. NASA의 경우에는 그 대상이 미국 정부가 된다. 비소-생명체 연구에 대한 분석 논문에서도 지적됐듯이 NASA로서는 ‘지속적으로 자신들이 의미 있는 연구를 하고 있다는 이미지를 보여줄 필요가 있었던 것이다’. 이런 종류의 조급함이 극단으로 치달을 때 이렇게 과장된 기자회견으로 이어질 수 있다는 것을 알 수 있다.
---p. 207, 제6장 ‘과장 - 그들의 언어를 알면 진실이 보인다’ 중에서

1970년부터 등장해 두 개 정도의 기본적인 록rock 곡을 가지고 약간씩만 변형시킨 변주곡들을 끊임없이 만들어내며 성공을 거둔 ‘스테이터스 쿠오(Status Quo)’ 라는 밴드가 있다. 가오 교수는 이 밴드에 버금가는 학자라고 할 수 있겠다. 찰스 다윈과는 정말 거리가 먼 학자인 것이다. 가오가 사용한 수법을 ‘살라미 슬라이싱(salamislicing)’이라고도 부른다. 동일한 실험에서 나온 결과를 함께 묶어서 하나의 연구 결과로 발표하는 대신, 개개의 더 작은 하위 논문으로 나눈 다음 각각을 독립된 별개 논문으로 발표하는 수법을 일컫는 말이다. 재난 현장을 정리하기 위해 투입됐던 트럭 운전사들이 젖은 진흙을 실어 트럭을 더 무겁게 만들었던 것과 본질적으로는 매우 유사하다. 이력서를 인위적으로 부풀려 훨씬 더 많은 연구를 한 것처럼 보이게 함으로써 적어도 어떤 분야에서의 이익을 극대화하는 것이기 때문이다. 예를 들면 내가 이 책의 서문과 에필로그뿐만 아니라 개별 챕터도 모두 따로 분리해 여러 권의 책을 출판하는 것과 근본적으로는 다를 바 없다. 그런 후에 내가 10권의 책을 썼다고 이야기하고 각각의 책에 대해 별도로 돈을 받는다고 상상해보라.
---p. 252, 제7장 ‘비뚤어진 인센티브 - 논문 대량 생산의 시대’ 중에서

물론 새로운 연구 결과를 둘러싼 과장을 자제하고 우리가 알고 있는 것에 겸손한 태도를 취하는 것은 가뜩이나 지루한 과학을 더 지루하게 만들 수 있다. 하지만 거의 모든 상황에서 따분하지만 신뢰할 수 있는 결과는 흥미진진하지만 공허한 결과를 이기게 된다. 더 많은 무효 결과와 재현 연구를 출판하도록 장려하는 것이 우리의 지식 창고를 채우는 데 있어 훨씬 더 신뢰할 수 있는 방법인 것처럼, 과학을 제대로 평가하기 위해서는 장기적으로 불확실하고 예비적인 연구 활동의 본질에 대해 잘 이해해야 한다. 반짝이는 물건을 모으는 까치처럼 새로운 것을 선호하고 눈에 띄는 연구 결과에만 관심을 두려는 우리의 본능을 다스리고, 당장은 덜 흥분되더라도 좀 더 견고한 결과를 중요시하는 법을 배워야 한다. 다른 말로 표현하자면, 과학을 다시 지루하게 만들어야 하는 것이다
---p. 322, 제8장 ‘과학을 고치기 위한 시작’ 중에서

출판사 서평

“과장은 했지만 허위는 아니다?”
학문 윤리와 연구 윤리에 관한 적나라한 고발과 반성

유명인들의 허위 경력 기재나 논문 표절은 심심하면 사회적 이슈가 되는 드물지 않은 문제다. 그만큼 많은 사람들에게 학문에 대한 도덕불감증이 심각한 현실이다.
영국의 심리학자 스튜어트 리치는 신간 《사이언스 픽션》에서 전 세계적으로 학계 내부에 만연한 기준 미달의 연구와 불량 논문에 대한 실태를 파악하고 낱낱이 내부고발한다. 학자들의 “그릇된 ‘탐구욕’이 어떻게 ‘탐욕’이 되는가?”를 추적하는 이 책은 대학생, 대학원생, 교수 등 연구를 하거나 논문을 쓰는 사람이라면 누구나 읽어야 할 필독서다.

“우리는 과학이라는 도구를 옳게 쓰고 있는가”
연구와 논문, 저널을 둘러싼 나쁜 과학의 현주소를 고발하다
2018년, 프랜시스 아널드 캘리포니아공대 교수는 생명체의 화학 반응에서 촉매 역할이 되는 효소 단백질의 인공 개량법을 개발한 공로로 노벨화학상을 받았다. 2년 뒤 그는 세계적인 과학 전문 학술지 〈사이언스〉에 실린 자신의 효소 관련 논문을 철회한다고 발표했다. 〈사이언스〉는 아널드 교수의 연구 결과가 재현되지 않을 뿐만 아니라 논문의 제1저자가 연구 노트의 일부를 누락했다는 것을 이유로 들었다. 다행스럽게도 그는 자신의 논문 철회를 인정하며 공개적으로 사과하는 메시지를 전달했다.
2012년 〈플로스 원(PLOS ONE)〉에 발표된 자료에 따르면, 1928년부터 2011년 사이에 철회된 논문이 4,449개에 이른다고 한다. 간단히 살펴보면 그중 의심스러운 데이터/해석이 42퍼센트, 데이터 조작 같은 연구 부정 행위에 따른 철회 비율이 20퍼센트에 달한다. 문제는 시간이 갈수록 각종 저널에 발표된 논문 중 철회되는 논문의 수가 증가하고 있다는 점이다.
이러한 추세를 반영하듯 논문 철회와 관련된 정보를 공개하고 각 과학자들의 논문 철회 횟수를 기준으로 순위를 발표하는 ‘리트랙션 워치(retraction watch)’라는 웹사이트도 등장해 과학계에 대한 자성의 목소리를 높이고 있다. 해당 사이트에서는 일종의 역 노벨상 후보를 발표하듯 논문 철회 횟수를 기준으로 순위를 발표한다. 놀랍게도 모든 철회 논문 중 25퍼센트가 단지 2퍼센트의 과학자들이 발표한 논문이라고 한다.
물론 ‘모든 숫자에는 노이즈가 포함돼 있다’는 자연의 법칙처럼 어떤 연구자든 논문이든 오류를 피할 수는 없다. 프라이밍 현상에 대한 실험(대니얼 카너먼), 파워 포즈 이론(에이미 커디), 스탠퍼드 감옥 실험(필립 짐바르도), 권위에 대한 복종 실험(스탠리 밀그램), 인공 기관지 이식에 관한 연구와 수술(파올로 마키아리니), 인간 배아 복제 실험(황우석), 만능줄기세포(오보카타 하루코) 등이 대표적이다.
대중 과학을 비롯해 최신 연구에 관심 있는 사람이라면 누구라도 알 만한 과학자들이 발표한 논문 중에도 실수나 과장된 자료들이 포함돼 학계를 혼란스럽게 만든 사례는 이제 너무나 흔한 일이다. 문제는 이러한 과학계의 현실을 어떻게 받아들이고 과학 연구를 검증하는 시스템이 지닌 단점을 어떻게 보완해나갈 것인가 하는 점이다. 바로 그런 질문과 함께 과학계의 현주소를 《사이언스 픽션》에서 만날 수 있다.

과학자에게 너무 당연해서 잊힌 명제
“재현되지 않으면 과학이 아니다!”
과학자는 세상 모든 현상에 대한 체계적 지식을 위해 연구한다. 그들은 자신의 연구에 대한 신뢰도와 검정력을 확보해주는 다양한 실험과 데이터를 토대로 결과를 도출해 논문을 쓴다. 해당 연구를 논문에 발표하려면 동료 평가 과정을 거쳐야 한다. 이때 동료 평가자들은 논문에 조작·편향·부주의한 실수·과장은 없는지, 연구에 등장하는 실험이 재현 가능한지(replicability) 등을 검증한다.
“우리 자신이 관찰한 것조차도 반복 관찰되거나 엄격한 테스트를 통과하기 전까지는 새로운 발견이라거나 과학적 관찰이라고 받아들여서는 안 된다.”
이렇게 과학철학자 칼 포퍼가 말했듯, 반복 재현되지 않는 실험 연구는 진정한 과학이라 할 수 없기 때문이다.
논문이 동료 평가를 통과하면 과학 전문 학술지 〈사이언스〉와 〈네이처〉를 비롯해 전 세계 수많은 학회에서 발행하는 저널의 편집자들이 저널에 논문을 실어 발표한다. 이후 논문은 또 다른 과학자들이 인용하는 횟수를 통해 다시 한번 과학적 지식으로서의 가치를 인정받는다. 대표적으로 구글 학술검색에서 과학자들의 논문을 검색해보면 h-지수(n번 인용된 적이 있는 논문을 n편 보유)로 해당 과학자의 연구 성과를 간접적으로 확인할 수 있다. 여기까지가 논문 한 편이 발표돼 과학적 지식으로 거듭나는 과정이다.

“수단이 목표가 되면 길을 잃고 만다”
살라미 슬라이싱, 미끼 저널, 자기 인용, 자기 표절이 만든 논문 대량 생산 시대
스튜어트 리치는 이러한 논문 발표 시스템이 곧 ‘과학이 사회적 구조물’이라는 특성을 드러낸다고 말한다. 과학자, 동료 평가자, 편집자, 그리고 조금 더 확장해 논문을 인용하려는 또 다른 과학자까지, 논문 한 편에 연결된 사람들에 의해 해당 논문은 신뢰할 만한 과학적 지식이라는 타이틀을 얻는다. 동시에 리치는 사회적 구조물이라는 특성이 단점으로 작용할 수도 있다고 지적한다.
논문 발표 횟수로 인센티브를 제공하는 학계의 관행과 과학자로서의 명성을 얻기 위해 나쁜 연구자들이 주도하는 살라미 슬라이싱(salami slicing), 즉 논문 대량 생산 현상이 대표적이다. 실제로 인간의 23쌍 염색체에 대한 분석 결과를 23개의 각각의 단일 논문으로 쪼개거나 항우울제의 효과를 연구한 후 인구 집단별로 실험군과 대조군만 살짝 바꿔 논문을 쪼개 발표한 사례들이 등장한다. 한 예로, 2018년에 심리학자 로버트 스턴버그가 자신이 편집장으로 있던 〈심리과학의 전망〉 저널에서 물러나기도 했다. 자신의 논문을 인용해 저널의 사설을 씀으로써 자신의 h-지수를 올렸다는 것이 이유다. 이에 스튜어트 리치는 “지표 자체가 목표가 되면 더 이상 좋은 지표로서의 기능을 상실한다”고 한 굿하트의 법칙이 과학계에서도 증명되고 있는 셈이라고 말한다.

“연금술과 미신의 도구에서 진실을 추구하는 학문으로 거듭나기까지”
조작, 편향성, 부주의, 과장으로 훼손되기 쉬운 과학의 가치를 지키는 법
리치는 《사이언스 픽션》에서 과학자들을 위한 도덕적 기준을 제시함과 동시에 기술적 기준도 함께 제시한다. 또한 그러한 기준을 충족시키지 못한 과학 논문과 과학자들의 사례를 책 전반에 걸쳐 소개한다. 과학자들이 갖춰야 할 기준으로서 1942년에 사회학자 로버트 머튼이 주창한 네 가지 머튼 규범(Mertonian Norms), 즉 보편주의(universalism), 사심 없음(disinterestedness), 공동체성(communality), 조직적 회의주의(organized scepticism)를 제시한다. 이를 풀어서 말하면 과학적 지식은 인종, 성별, 나이, 성적 취향, 소득, 사회적 배경, 국적 등에 따라 차별적으로 판단되거나 돈, 정치, 이념, 개인적 이해, 명성을 위해 좌우되어서는 안 되며, 과학자들은 모든 지식을 서로 공유하되 각자의 주장을 액면 그대로 받아들여서는 안 된다는 것이다.
한편 과학 연구에서 발생하는 오류, 즉 의도적 조작, 연구자의 편향, 단순한 부주의, 연구를 과장하는 심리에 의해 철회된 논문들의 사례들도 소개한다. 리치는 “왜 무(無)가 아니고 무언가가 있는 걸까?”라는 철학적 질문을 인용하며 ‘연구를 시작하면 항상 무언가를 발견해내는 현상’이 팽배한 과학계의 현실에 대해서도 문제를 제기한다. 대표적으로 가장 흔하게 사용하는 통계값 중 하나인 p-값과 ‘통계적 유의미성’이라는 표현을 예를 들며 과학 연구 과정과 결과가 연구자 개인에 의해 얼마나 좌우될 수 있는지를 설명한다.

성과를 포장해서 발표한 이 시대의 베스트셀러 목록
“과연 과학적으로 신뢰할 수 있는가?”
저자는 이 책에서 에이미 커디(《자존감은 어떻게 시작되는가》의 저자), 캐럴 드웩(《마인드셋》의 저자), 매슈 워커(《우리는 왜 잠을 자야 할까》의 저자), 존 바그(《우리가 모르는 사이에》의 저자) 등과 같은 대중 과학 베스트셀러 저자들이 실제 연구 성과를 과장해 발표하고 있는 현실을 꼬집는다. 정확성도 떨어지고 좋은 내용은 없다는 것이 그의 주장이다.
리치가 제시하는 대안 중 대표적인 몇 가지는, 연구 방법의 타당성이 보장되는 재현 연구를 전문으로 실어주는 〈플로스 원〉과 같은 ‘메가 저널’, 과학 연구 전 과정에 가능한 한 모두가 참여할 수 있는 ‘오픈 사이언스’ 연구, 연구의 가설을 미리 제출해 실험의 목적과 결과를 모두 알 수 있도록 하는 ‘연구 사전 등록 제도’ 등이다. 이러한 모든 과정의 목적은 결국 진리를 추구하는 과학이라는 도구의 가치를 되새기는 것이기도 하다.
그의 주장을 요약하면 과학 논문의 반복 재현 위기를 자초한 것은 과학자 자신들인 셈이다. 과학의 가치를 지켜야 할 사람은 다름 아닌 과학자 자신이다. 모든 연구에 오류가 있고, 모든 데이터에 노이즈가 있다고 하더라도 학자로서의 양심, 동료 평가라는 객관적 시스템을 거쳐 나쁜 과학, 나쁜 연구를 걸러낼 때 과학의 가치를 지켜낼 수 있다.

우리가 그동안 ‘사실’이라고 맹신했던 과학적 연구 결과에 대한 검증을 요구하는 이 책은 잘못된 연구와 논문에 대항할 수 있는 최소한의 무기가 되어줄 것이다.

기본정보

ISBN	9788984055902
발행(출시)일자	2022년 01월 19일
쪽수	496쪽
크기	152 * 224 * 32 mm / 721 g
총권수	1권
원서(번역서)명/저자명	Science Fictions/Ritchie, Stuart

Klover 리뷰 (58)

[st*****]

재현성 위기를 중심으로 눈에 띄고 흥미로운 결과만 환영하는 과학계의 문화가 어떤 문제를 일으키고 이를 어떻게 해결해야할지 모색하는 책입니다. 같은 음식을 가지고 어제는 몸에 좋다고 말하다가 다음날에는 피해야한다는 연구결과가 나타나는 상황이 초래된 이유를 알 수 있습니다.

[gk*******]

관심있는 주제라서 구입해 봤어요. 잘 읽을게요.

[dj*****]

과학의 세계를 이해하는데 도움된다

[nh***]

>과학적>이라는 말의 의미를 새삼 곱씹어 볼 수 있는 책

[ar****]

《사이언스 픽션》은 연금술과 미신의 도구에서 진실을 추구하는 학문으로 거듭날 수 있었던 과학의 근본적인 정신과 진정한 가치를 다시금 생각하는 기회를 제공한다.

[iw********]

한치의 오차와 절대성이 중요한 과학에서 일어나서는 안되는 일들이 일어나다니 ㅜㅜ
강추입니다 !

[ki*****]

코로나 사태로 과학이 궁금해졌다 사실을 접하게 되다.
알면 어처구니가 없다. 사람이 하는 일은 믿을만 하더라도 항상 의심을 해봐야 겠다고 다시한번 생각했다.

책이 읽기 힘든 편이다.읽다가 잠이 든적도 있다.

[sh*****]

과학계의 어두운 모습을 알 수 있던 책이었다.

[so******]

논문의 양으로 연구자의 질을 평가하려고 하는 성과지향주의적인 학계의 분위기를 타파하는데 일조할 수 있으면 좋겠습니다.

[gu********]

평소 알고 있던 것이 마냥 정확했던 것이 아니었다는 걸 알게 된 책