Written by 양승훈
on 

사회과학은 파산한다. 하지만 NIH는 사회과학을 고칠 수 있는 계획이 있다. (Wired Nov 23, 2016 번역)

미국 국립보건원(NIH)이 나서서 사회과학 연구 마스터플랜을 세우려 한다. 왜 NIH일까? 막대한 데이터가 보험, 의료정책에 영향을 미치기 때문일 것이다. 

좀 더 구체적으론 재현가능성(reproducibility)라는 것이 포인트다. 쉽게 말하면 이렇다. 연구 데이터셋 다 공유하고, 공유해서 똑같은 데이터로 똑같은 실험을 반복해서 재현가능성을 높여라. 그걸 위해 모호한 개념들 통일도 좀 하고.. (물론 마지막 요구는 어렵고, 3가지 정도씩으로 합의하면 어떠냐는 절충안이 나오기도 한다. 회사만 놓고 봐도 순전히 숫자들로 가득찬 KPI(Key Performance Index: 핵심 성과 지표) 통일이 안 되지 않나. 그런데 고집불통 학자들이?)

제목만큼 내용이 섹시하진 않지만, 미국에서 폭발하는 데이터를 어떻게든 처리해서 유의미하게 활용할라고 하는지를 확인할 수는 있다. 

원문: Social Science is busted. But NIH has a Plan that Could Fix it.

 

사회과학은 파산한다. 하지만 NIH는 사회과학을 고칠 수 있는 계획이 있다.

오늘, 국립보건원(NIH)의 제멋대로 생긴 건물에 있는 한 작은 사무실에서 전략 계획이 배포됐다. 글머리 기호와 클립 아트로 완성된 58페이지 가량의 문서는 향후 4년간의 심리학, 경제학과 사회학 등 행동과학과 사회과학 연구의 방향을 자세히 설명한다. 그리고 직접 자금 조달을 차단하진 않지만, 이 계획은 국가에 있는 사회과학자들에게 배트-신호(bat-signal)가 된다. 이 계획은 NIH가 무엇에 관심이 있고, 어디에 보조금이 나갈지(나가기 쉬울지) 보여준다. 또한 이런 구상은 궁극적으로 행동과학과 사회과학 자체의 방향을 설정할 수 있다.

이 계획은 NIH 산하 27개 기관의 사회과학 연구를 관할하는 부문인 ‘행동과학 사회과학 연구원’에서 나왔다. 연구원의 바로 이전 보고서가 나온 것은 무려 10년 전의 일이다. 하지만 연구원장 Bill Riley가 말하듯이 스마트폰과 센서의 도래와 사람들에 대해 얻은 풍부하고 싶은 데이터로 인해 “사회과학 연구에 근본적인 변화가 발생했다.” 새로운 계획은 이러한 변화를 반영하는 것을 목표로 한다.

일반적으로, 이 계획은 연구에 의한 공중 의료 중재를 제시하고, 효과적인 치료 방법을 찾는 것과 실제 치료할 때 사람들을 대하는 것 사이의 간극을 줄여 불안감을 없애는 등, 사회과학을 좀 더 유용하게 만드는 것을 목표로 한다. 하지만 이 계획은 지난 2년간 재현가능 연구(replication – reproducible research)의 옹호자들이 제기해온 문제들에 대한 동의를 포함한다. 그 연구자들은 심리학과 다른 과학들의 기초가 모두가 생각하는 것처럼 견고하지 않다고 입장을 비쳤다. 사회과학의 미래에 대한 청사진으로서, 이 계획은 연관된 이슈에 대해 NIH가 어떻게 생각하는지에 대한 관점을 드러내고 있다.

한 예로, 본 계획은 과학자들에게 서로 다른 개념을 다루는 용어에 대해 합의함으로써, 연구자들이 서로 이전처럼 이야기하지 않길 요청한다. “종종, 행동과학 영역에서 보면, 사람들이 다른 현상에 대해 말하지만 사실은 같은 것을 의미하곤 한다”고 Riley는 전한다. 아니면 반대 현상도 벌어진다. 화학자들은 산소가 무엇인지 따지지 않는다. 하지만 심리학자들이 “신뢰” 같이 모호한 개념에 대해서 회의를 소집하면, 칼텍의 경제학자 Colin Camerer가 말하는 것마냥, 학자들은 그 단어가 무엇을 의미하는지에 대해서 합의하지 않은 채 서로 따지다가 초반 이틀은 허비해버릴 것이다.

그러한 모호함은 최근처럼 과학자들이 작업하는 방대한 양의 데이터 셋을 공유하고 비교하려 할 때는 훨씬 더 곤란한 상황을 연출한다. (만약에 당신이 ‘회복탄력성(resilience)’이라고 이름 붙은 두 개의 데이터 셋에 있는 변수들을 비교하려 한다면, 당신은 그 변수들이 어떻게 같은 것이라고 알 수 있을까?) 이런 문제들을 해결하기 위해, 본 계획은 과학자들이 엄격하게 용어들을 정의하는 데 합의를 하라고 제안한다. “우리는 ‘우울증’이라고 말할 때, 그게 무엇을 의미하고 어떻게 정의할 수 있는지 이해할 필요가 있다. 같은 측정 방법을 쓰든, 아니면 같은 프레임워크로 눈금을 매기든 말이다.” Riley는 전한다.

Camerer 같은 사회과학자는 NIH가 트위터부터 문자 메시지, 그리고 상세한 뇌파 스캔 등에 이르는 새로운 데이터 소스의 잠재성을 인정하는 것을 인상적으로 본다. “절대적으로 판타스틱 합니다.” Camerer는 말한다. “NIH는 그저 트렌드를 따라가려는 게 아니고 이끌고 가려고 하고 있어요.” 그리고 그는 용어를 정의하려는 것 같은 NIH 계획의 몇몇 우선순위 과제들이 재현가능성(reproducibility)에 대한 궁금증을 만든다고 전한다. 더 큰 데이터 셋에 대한 포커스가 연구를 더 왕성하게 만들 수 있게 한다고 UC Santa Babara 대학의 심리학자인 Jonathan Schooler는 말한다. 기존까지 너무 작은 집단의 사람에 한정해서 수행한 실험결과가 재현 불가능한 연구를 만들어 왔기 때문이다.

하지만 Camere는 모든 연구자가 어떤 연구대상을 측정하기 위한 단일한 매트릭스를 사용하는 것에 대해 만족하지 않는다. 심지어 그런 단일한 매트릭스가 비교하는 일을 더 쉽게 만들다 하더라도 말이다. 그는 말한다. “표준화에 대한 고전적인 문제가 있습니다. 그런 위험은 그리 우수하지 않은 척도 하나만 가지고 연구를 하다가 어려움에 처했을 때 발생합니다.”  모든 연구자들은 그저 평범한 데이터나 만들게 되는 것이다. 그럴 거면 3가지의 수용할 수 있는 척도를 갖고 있는 게 단지 한가지 척도보다 낫다는 것이다.

다른 연구자들은 이 계획이 재현가능성 문제를 전면과 중앙에 부각시키지 않는 것을 우려한다. 대신 이 계획은 데이터를 더 잘 관리하는 토론에 이슈를 한정시킨다. UC San Diego 대학의 인지과학자인 Hal Pashler는 “실망스러운 일이다. 왜냐하면 복제가 요즘 어디에서든 듣게 되는 가장 큰 이슈 아닌가?”라 전한다. 그와 Schooler는 NIH이 메타-과학에 적극적으로 지원 하고, 과학자들이 복제를 시행할 수 있게 용기를 북돋거나 다양한 연구소가 협업할 수 있는 대형 과제를 조성해야 한다고 생각한다. 그리고 이 계획은 연구과정에서 재현가능성에 영향을 미치는 핵심적인 부분인 연구 발표의 편향이나 사전 등록 같은 이슈에 대해 언급하지 않는다.

하지만 NIH 계획이 아직 수준에 못 미치더라도, 재현가능성의 지지자들은 너무 걱정하지 않아도 된다. NIH는 재원 조달을 더 많이 해주는 방식으로 연구에 더 많은 편익을 줄 수 있다. 하지만 지난 2년 동안의 재현가능성 연구 노력 덕택에, 다른 기금 모금 단체들이 기금을 투자하는 데 예전보다 더 적극적이다. 그리고 과학 연구의 방향을 정하는 데 돈만한 게 어디있겠나?