사회 현상을 설명하는 수많은 주장과 이론 속에는 언제나 오류의 위험이 도사리고 있다!
사회학의 거장 하워드 베커가 70년 연구 생활의 통찰을 집대성한 화제작!

‘연구를 통해 OO이 밝혀졌다’는 기사를 볼 때, 얼마나 이 결과를 믿을 수 있는가? ‘최근 통계 자료에 따르면’이라는 표현에 숨어있는 함정은 없는가? 여론 조사부터 빅데이터까지 온갖 통계 데이터가 범람하는 시대, 어떤 오류들이 그 속에 감춰져 있는가? 이 책은 사회학계의 독보적 거장 하워드 베커가 70년 연구 생활을 집대성한 보고서로, 데이터, 증거, 이론의 순환 구조를 체계적으로 정리하고 있다. 이 과정에서 우리가 증거로 활용하는 각종 데이터의 오류를 하나씩 파헤치며, 데이터를 생산하는 사람과 이를 활용하는 사람 모두가 꼭 알아야 할 날카로운 통찰을 전한다.
우리의 모든 행위는 데이터로 연결된다

우리는 수많은 통계와 설문 조사, 여론 조사, 시장 조사 등을 경험하고 이를 토대로 한 다양한 보고서와 뉴스를 접하며 산다. 때로는 업무나 연구 등의 목적으로 그런 데이터를 생산하기도 하고, 때론 그런 데이터를 활용해서 제안서나 보고서를 작성하기도 한다. 또 그렇게 작성된 제안서나 보고서를 검토한 후, 앞으로의 정책이나 사업 방향을 결정해야 할 수도 있다.
？증거의 오류？ 저자인 하워드 베커는 70년이 넘게 세계적인 사회학자로 활동해온 자신의 경험을 토대로, 바로 이 지점에서 문제를 제기한다. 어떤 이론이나 주장, 아이디어를 펼치려면 증거가 필요하다. 그래서 우리는 관찰 가능하고 기록 가능한 데이터를 찾아 나선다. 데이터는 수많은 물리적 객체의 집합이다. 경찰이 업무상 기록하는 현장 보고서, 제품 구매 리뷰를 인터뷰한 음성 파일, 연봉과 직장생활 만족도를 묻는 설문지, 주민센터 전입신고 기록, 유치원 아이의 일기장 등 실상 우리의 삶은 이러한 데이터에 둘러싸여 있다. 다만 어떤 아이디어를 주장하는가에 따라 필요한 데이터가 다를 뿐이다.
하지만 과연 특정 ‘데이터’가 그 ‘아이디어’를 확실히 뒷받침하는 제대로 된 ‘증거’인지는 또 다른 문제다. 우리는 누구나 ‘왜’ 그 일이 일어났는지를 알고 싶어 하며 우리를 둘러싼 사회 현상의 원인과 해결책을 찾고자 한다. 그러나 이 과정에서 ‘증거’로 활용되는 ‘데이터’에 오류가 있다면, 이를 기반으로 펼쳐지는 이론이나 아이디어가 타당한 추론이 되기 힘들 것이다. 하워드 베커는 노련한 사회학자의 시각에서 이 같은 문제를 제기하며, 데이터, 증거, 이론의 상호 의존적 순환 구조를 깊이 있게 설명한다.


오류는 어떻게 생겨나는가?
각종 통계와 설문조사, 보고서 등에 숨겨진 오류의 근원

이야기 하나. 2010년대 초반, 당시 미국에서는 사회적 고립이 국가적인 담론으로 떠오르고 있었다. 이때 한 연구팀이 명망 높은 ‘종합사회조사’의 데이터를 이용해서 논문을 발표했다. 종합사회조사는 1985년과 2004년 두 차례에 걸쳐 중요한 일을 상의하는 주변 사람들의 이름을 대고 그 사람과 어떤 관계인지 묻는 설문을 실시했는데, 2004년에는 그 숫자가 크게 감소한 데다가 아예 없다고 대답한 이들의 숫자가 세 배 가까이 증가했다고 한다. 이러한 결과는 휴대전화와 인터넷이 심각한 변화를 일으켰다는 논의와 우려 표출로 이어졌고, 전 세계적으로도 확산되어 연일 뉴스의 소재가 되었다. 하지만 과연 어디까지 진실이었을까?
이야기 둘. 1960년대 초 스탠퍼드 대학의 사회학 교수인 폴 월린과 레슬리 C. 월도는 사회 계층이 어린이의 학교 성적에 어떠한 영향을 주는지 알아보고자 했다. 두 학자는 학생들의 사회 계층을 측정하기 위해 8학년 학생 2,002명에게 그 당시에 유행하던 오거스트 홀링스헤드의 ‘사회적 지위 척도’에 나오는 질문들을 던졌다. 그중에는 아버지의 직업을 묻는 질문이 포함되어 있었는데, 한 아이가 ‘목사’라고 답했다. 과연 여기에는 어떤 함정이 있을까?
겉으로 보기에는 특별한 모순이 없어 보이지만, 실상 이 속에는 심각한 오류들이 있다. 하워드 베커는 다양한 사례 및 연구 보고서를 제시하며, 데이터 수집 과정에서 발생할 수 있는 오류들을 하나씩 짚어낸다. 대표적으로 ‘고용인’에 의한 오류, 개념 변화나 혼용으로 인한 오류, 허위 보고의 오류, 과감한 일반화의 오류, 직업적 이해관계로 인한 오류, 방법론적 도구 때문에 발생하는 오류 등을 들 수 있는데, 이 같은 과정을 함께 추적하다 보면 탈진실의 시대에 팩트를 구별하는 일이 얼마나 중요한지를 다시 한번 실감하게 된다.

어떻게 오류 없는 데이터를 수집해서 아이디어를 뒷받침할 것인가?
사회학 연구 방법론과 데이터 수집 과정에 대한 따끔한 고찰

하워드 베커는 사회학자들의 주요 연구 방법과 누가 데이터 수집 담당자인지를 중심으로, 어디에서 어떤 오류가 발생하는지를 설명한다. 사회학의 양갈래라 말할 수 있는 정성 연구와 정량 연구는 각 연구 방법에 따라 특징적인 오류를 반복하는 경우가 많고, 데이터 수집자의 사회적 상황과 데이터 수집의 동기는 데이터의 신뢰도에 영향을 끼쳐 증거 역할을 할 수 있는지 여부를 결정지기 때문이다.
이에 ？증거의 오류？ 1부에서는 데이터, 증거, 이론의 상관관계를 설명한 뒤, 오래된 논쟁의 대상이 되어온 정량 연구와 정성 연구의 차이와 특징을 밝힌다. 각 연구 방법에 따라 연구자들이 목표로 하는 것이 무엇인지, 그리고 그 때문에 어떤 점을 간과하고 어떤 오류를 일상화시키는지를 파헤친다. 동시에 자연 과학자들의 연구 모형을 자세히 소개하면서, 적어도 그들처럼 치열하게 수치 검증을 하고 변수 통제를 해야 하지 않은지 날카롭게 되묻는다.
2부에서는 데이터 수집의 주체가 되는 사람이 누군인지에 따라 세분화한 한 다음, 그처럼 다양한 사람들이 수집한 데이터를 견해와 이론의 증거로 활용할 때 예상하고 경계해야 할 오류, 실수, 고충에 대한 논의를 체계적으로 소개한다. 심지어 그 스스로 범했던 오류를 고백하며, 더 이상 이런 실수를 반복하지 않기를 당부하고 있다. 세계적인 석학의 이러한 울림은 사회학 종사자뿐만 아니라 데이터를 만들고 사용하는 우리 모두에게 깊은 혜안을 제공할 것이다.

책 속에서

그러나 내가 자료 검색 도중에 발견한 일부 사례를 보면, 데이터의 진실성과 신뢰성에 대한 책임이 직급이 매우 낮은 직원에게 떨어지는 일이 허다하다. 어떤 저자가 “해당 데이터가 알려주는 바는”이라고 할 때, 우리는 그 데이터를 수집하여 무엇인가를 알려줄 수 있는 형태로 최종 해석자에게 제공하는 이가 누구인지를 반드시 알아내야 한다.
다음과 같은 상황을 가정해보자. 시급을 받는 시간제 면담자인 해리엇이 설문 응답자와 대화한 후에 완성된 설문지를 짐에게 건네면, 짐은 응답을 코딩coding(부호화)하고 그 결과를 컴퓨터에 입력한다. 짐의 컴퓨터는 연구에 대한 지식이 전혀 없는 해롤드가 만든 프로그램을 이용하여 데이터를 축적한다. 그렇게 요약된 결과는 연구를 기획했지만 해리엇의 질문에 응답한 사람과 한 번도 대화를 나눈 적이 없으며 평생 한 번도 설문을 코딩해본 적이 없는 베커 박사에게 전달된다.
이 사슬(진짜 사슬과 같이 뒤로 갈수록 대개 길어지는 구조)에 속한 각각의 사람은 여정의 다음 단계로 나아가기 위해 데이터 준비 작업을 했다. 베커 박사는 그러한 활동에 대해 아는 것이 전혀 없다시피 하지만 (그가 알든 모르든 간에) 그 모든 활동은 그가 제공하는 증거로서 데이터가 지니는 가치에 영향을 끼친다. 연구 유형에 따라 연구에 참여하는 사람은 물론 그들이 하는 작업과 조직 환경도 달라진다. 그러한 차이가 연구 방향을 결정짓는 동기에도 영향을 준다.
_36쪽, <누가 데이터를 수집하는 것인가?> 중에서

국립과학재단의 보고서가 나온 1972년으로부터 몇 년 후에 똑같은 문제가 이름만 달리하여 다시 불거졌다. ‘노숙자’라는 명칭을 얻은 인구 집단의 숫자를 어떻게 산출해야 하는가(또한 그들을 어떠한 범주로 분류해야 할까) 하는 문제였다. 어쨌든 인구 조사는 노숙자를 ‘특정 장소’에 거주하는 사람으로 집계해야 한다. 그렇다면 인구 조사 양식의 거주지 항목에 이들의 주소를 무엇이라 적을 것인가? 주거지가 없어 인구 조사 양식을 받을 수 없는 사람들의 숫자를 어떻게 산출해야 하는가?
조사 연구자로 기량과 경험이 풍부한 피터 로시Peter Rossi는 문제의 일부를 해결하기 위해 최대한도로 숫자를 정확히 산출하고, 어디서든 마지막 한 사람까지 파악하는 데 수고나 비용을 아끼지 않기로 결심했다. 정해진 집이 없는 사람들의 숫자를 산출하려면 일부 전통적인 개념과 일반적이지 않은 통계 데이터 수집 개념을 혼합해야 했다. 그는 그때의 경험을 쓴 저서에서, 전략의 첫 단계가 노숙자에게 ‘어젯밤에 지낸 곳’을 묻는 식으로 질문을 바꿔서, 거주하는 곳의 의미를 재정의하는 작업이었음을 밝혔다. 그렇게 하지 않으면 ‘평소’ 밤잠을 자는 ‘집’이 없는 노숙자는 다른 사람들이 하듯이 질문에 제대로 대답할 수 없기 때문이었다.
이를 통해 우리는 이번 장 전체에 걸쳐 재차 다룰 중요한 방법론적 문제를 인식하게 된다. 유달리 투명하고 명백해 보이는 개념이라 해도 어김없이 모호한 부분을 포함하고 있다. 그러한 모호성은 대개 간과될 뿐 아니라 인식조차 되지 않지만, 그럼에도 예기치 않게 나타나서 측정과 결론 도출까지 연구 대상의 불변성을 유지하려는 우리의 시도를 망칠 수 있다.
_ 170~171쪽, <산출 불가능한 수치를 산출하는 법: 주거 부정인 사람들> 중에서

미국 범죄학의 선구자인 에드윈 서덜랜드Edwin Sutherland는 다른 범죄학자들이 완전히 간과했지만 상당히 만연해있던 법률 위반 행위를 규정하기 위해 ‘화이트칼라 범죄white collar crime’란 표현을 만들어냈다. 범죄학자들은 사람들이 현행법을 위반하는 원인을 규명하기 위한 이론을 고안할 때, 체포, 재판, 유죄 선고 등으로 이어지는 경찰 활동 기록을 토대로 했다. 서덜랜드는 그 결과 크나큰 오류가 발생했다고 지적했다.
“[경찰 기록을 토대로 한] 범죄자 통계를 보면, 흔히 인식되고 공식적으로 집계되는 범죄가 하위 계층에서 많이 발생하고 상위 계층에서 적게 발생한다는 것이 분명히 드러난다. 교도소에 들어가는 사람 가운데 상위 계층에 속하는 이는 2%도 되지 않는다.” 그러나 그는 범죄학자들의 주장에 사용된 범죄 표본이 “기업인과 전문직 종사자의 범죄 행위를 포함하고 있지 않으므로” 편향되어 있다고 지적했다. 그러한 행위의 범죄성에 대해서는 의문의 여지가 없었다. 하지만 이는 민사 재판에 제출된 증거들을 통해서 드러났다. 범죄를 계획하고 지시한 기업인들은 그 자신이나 기업이 기소되지 않았던 덕분에, 범죄학자들이 이론의 근거로 사용한 통계에서 빠졌다. 그 결과인 부적절한 표본 추출 때문에 빈곤층의 범죄와 관련된 이론을 뒷받침하는 증거로 제시된 통계적 연관성이 설득력을 잃었다. 서덜랜드는 다음과 같이 확고한 결론에 도달했다. “사실 범죄는 빈곤이나 빈곤이 유발하는 사이코패스적, 소시오패스적 질환과는 밀접한 관련이 없다. (중략) 그러므로 범죄 행위에 대한 상당히 다른 방향의 해석이 진행되어야 한다. 전통적인 해석은 편향된 표본에서 도출된 탓에 유효하지 않다. 하위 계층에 속하지 않은 사람들이 저지른 광범위한 분야의 범죄 행위를 포함하고 있지 않은 표본은 편향되어 있다고 할 수 있다. 그처럼 배제된 분야 중 하나가 기업인과 전문직 종사자의 범죄 행위다.”
_242~244쪽, <실제 범죄율과 검찰이 정의하는 범죄율> 중에서
세상 물정에 밝은 점, 격의 없는 어투, 경쾌하고 신랄한 산문체로 볼 때, 베커는 사회 과학계의 리처드 파인만이라 할 수 있다. 베커의 초기 연구가 끼친 영향력은 여전히 지대하다.”
_애덤 고프닉(Adam Gopnik),

“이 책은 사회 과학자의 아이디어, 관찰, 연구 방법의 관계를 사색적이고 독창적으로 해석한다. 베커는 중요하지만 빛을 잃은 전통에 새 생명을 불어넣는다. 데이터 수집의 실무 조직 관점에서, 방법론뿐만 아니라 입력-출력을 통해 얻는 ‘객관적’ 데이터라는 현실적 목표를 모두 고찰한다.”
_이도 테이버리(Iddo Tavory), 《Summoned》의 저자

“베커는 70년 동안 이름난 사회 과학자로 활동하면서 고민한 점들을 이 책에 담았다고 말한다. 감히 말하건대 그는 철학자이기도 하다. 이 책은 연구를 수행하고 이해하는 방법에 대한 안내서를 뛰어넘어 일상생활의 진실을 찾는 방법에 대한 지침서이다. 무분별하고 선동적인 주장이 난무하는 ‘탈-진실(post-truth)’의 시대에, 이처럼 시의적절한 책을 내놓은 사회 과학자, 인문학자, 철학자는 여태 없었다.”
_마이클 조이스(Michael Joyce), 《Foucault, in Winter, in the Linnaeus Garden》의 저자

그러나 내가 자료 검색 도중에 발견한 일부 사례를 보면, 데이터의 진실성과 신뢰성에 대한 책임이 직급이 매우 낮은 직원에게 떨어지는 일이 허다하다. 어떤 저자가 “해당 데이터가 알려주는 바는”이라고 할 때, 우리는 그 데이터를 수집하여 무엇인가를 알려줄 수 있는 형태로 최종 해석자에게 제공하는 이가 누구인지를 반드시 알아내야 한다.
다음과 같은 상황을 가정해보자. 시급을 받는 시간제 면담자인 해리엇이 설문 응답자와 대화한 후에 완성된 설문지를 짐에게 건네면, 짐은 응답을 코딩coding(부호화)하고 그 결과를 컴퓨터에 입력한다. 짐의 컴퓨터는 연구에 대한 지식이 전혀 없는 해롤드가 만든 프로그램을 이용하여 데이터를 축적한다. 그렇게 요약된 결과는 연구를 기획했지만 해리엇의 질문에 응답한 사람과 한 번도 대화를 나눈 적이 없으며 평생 한 번도 설문을 코딩해본 적이 없는 베커 박사에게 전달된다.
이 사슬(진짜 사슬과 같이 뒤로 갈수록 대개 길어지는 구조)에 속한 각각의 사람은 여정의 다음 단계로 나아가기 위해 데이터 준비 작업을 했다. 베커 박사는 그러한 활동에 대해 아는 것이 전혀 없다시피 하지만 (그가 알든 모르든 간에) 그 모든 활동은 그가 제공하는 증거로서 데이터가 지니는 가치에 영향을 끼친다. 연구 유형에 따라 연구에 참여하는 사람은 물론 그들이 하는 작업과 조직 환경도 달라진다. 그러한 차이가 연구 방향을 결정짓는 동기에도 영향을 준다.
_36쪽, <누가 데이터를 수집하는 것인가?> 중에서

국립과학재단의 보고서가 나온 1972년으로부터 몇 년 후에 똑같은 문제가 이름만 달리하여 다시 불거졌다. ‘노숙자’라는 명칭을 얻은 인구 집단의 숫자를 어떻게 산출해야 하는가(또한 그들을 어떠한 범주로 분류해야 할까) 하는 문제였다. 어쨌든 인구 조사는 노숙자를 ‘특정 장소’에 거주하는 사람으로 집계해야 한다. 그렇다면 인구 조사 양식의 거주지 항목에 이들의 주소를 무엇이라 적을 것인가? 주거지가 없어 인구 조사 양식을 받을 수 없는 사람들의 숫자를 어떻게 산출해야 하는가?
조사 연구자로 기량과 경험이 풍부한 피터 로시Peter Rossi는 문제의 일부를 해결하기 위해 최대한도로 숫자를 정확히 산출하고, 어디서든 마지막 한 사람까지 파악하는 데 수고나 비용을 아끼지 않기로 결심했다. 정해진 집이 없는 사람들의 숫자를 산출하려면 일부 전통적인 개념과 일반적이지 않은 통계 데이터 수집 개념을 혼합해야 했다. 그는 그때의 경험을 쓴 저서에서, 전략의 첫 단계가 노숙자에게 ‘어젯밤에 지낸 곳’을 묻는 식으로 질문을 바꿔서, 거주하는 곳의 의미를 재정의하는 작업이었음을 밝혔다. 그렇게 하지 않으면 ‘평소’ 밤잠을 자는 ‘집’이 없는 노숙자는 다른 사람들이 하듯이 질문에 제대로 대답할 수 없기 때문이었다.
이를 통해 우리는 이번 장 전체에 걸쳐 재차 다룰 중요한 방법론적 문제를 인식하게 된다. 유달리 투명하고 명백해 보이는 개념이라 해도 어김없이 모호한 부분을 포함하고 있다. 그러한 모호성은 대개 간과될 뿐 아니라 인식조차 되지 않지만, 그럼에도 예기치 않게 나타나서 측정과 결론 도출까지 연구 대상의 불변성을 유지하려는 우리의 시도를 망칠 수 있다.
_ 170~171쪽, <산출 불가능한 수치를 산출하는 법: 주거 부정인 사람들> 중에서

미국 범죄학의 선구자인 에드윈 서덜랜드Edwin Sutherland는 다른 범죄학자들이 완전히 간과했지만 상당히 만연해있던 법률 위반 행위를 규정하기 위해 ‘화이트칼라 범죄white collar crime’란 표현을 만들어냈다. 범죄학자들은 사람들이 현행법을 위반하는 원인을 규명하기 위한 이론을 고안할 때, 체포, 재판, 유죄 선고 등으로 이어지는 경찰 활동 기록을 토대로 했다. 서덜랜드는 그 결과 크나큰 오류가 발생했다고 지적했다.
“[경찰 기록을 토대로 한] 범죄자 통계를 보면, 흔히 인식되고 공식적으로 집계되는 범죄가 하위 계층에서 많이 발생하고 상위 계층에서 적게 발생한다는 것이 분명히 드러난다. 교도소에 들어가는 사람 가운데 상위 계층에 속하는 이는 2%도 되지 않는다.” 그러나 그는 범죄학자들의 주장에 사용된 범죄 표본이 “기업인과 전문직 종사자의 범죄 행위를 포함하고 있지 않으므로” 편향되어 있다고 지적했다. 그러한 행위의 범죄성에 대해서는 의문의 여지가 없었다. 하지만 이는 민사 재판에 제출된 증거들을 통해서 드러났다. 범죄를 계획하고 지시한 기업인들은 그 자신이나 기업이 기소되지 않았던 덕분에, 범죄학자들이 이론의 근거로 사용한 통계에서 빠졌다. 그 결과인 부적절한 표본 추출 때문에 빈곤층의 범죄와 관련된 이론을 뒷받침하는 증거로 제시된 통계적 연관성이 설득력을 잃었다. 서덜랜드는 다음과 같이 확고한 결론에 도달했다. “사실 범죄는 빈곤이나 빈곤이 유발하는 사이코패스적, 소시오패스적 질환과는 밀접한 관련이 없다. (중략) 그러므로 범죄 행위에 대한 상당히 다른 방향의 해석이 진행되어야 한다. 전통적인 해석은 편향된 표본에서 도출된 탓에 유효하지 않다. 하위 계층에 속하지 않은 사람들이 저지른 광범위한 분야의 범죄 행위를 포함하고 있지 않은 표본은 편향되어 있다고 할 수 있다. 그처럼 배제된 분야 중 하나가 기업인과 전문직 종사자의 범죄 행위다.”
_242~244쪽, <실제 범죄율과 검찰이 정의하는 범죄율

1부 데이터, 증거, 이론의 모든 것
1장 연구 모형의 몇 가지 역사적 배경
2장 데이터가 증거가 되기까지
3장 자연 과학자들은 어떻게 연구하는가

2부 누가 어떤 방법으로 데이터를 수집하는가
4장 모든 데이터 수집의 표본, 인구 조사
5장 공무원들이 증거로 수집하는 데이터
6장 ‘고용인’과 비과학자가 수집하는 데이터
7장 수석 연구자와 보조 연구원의 데이터
8장 정성 연구에 나타날 수 있는 부정확성

맺음말 ― 마지막으로 덧붙이는 생각
감사의 말