통계학은 어떤 학문일까
우리가 자주 접하는 여론조사
의학과 심리학에도 이용
요즘 주목받고 있는 통계학, 문과 출신은 숫자만 봐도 어질어질한데 통계학은 더 어려울 것 같은데…. 아무튼 통계학이 어떤 학문일까? 통계학은 지난 100년간 크게 발전한 학문이다. 그런데 요즘에는 왠지 모르지만 통계학이 주목을 받고 있다. 아마 빅데이터가 회자되고 있어서가 아닐까. 기업과 공공기관은 기술 발전 덕분에 다양한 종류의 데이터를 엄청나게 많이 수집할 수 있게 되었다. 그 데이터를 묻어두는 건 아까우니 이걸 좀 활용해보자, 그러려면 통계학을 알아야 한다.
우리 주변에서 예를 들자면 여론조사가 있다. 집권 여당 지지율도 이에 해당한다. 전월 대비 몇 포인트 내렸다는 식으로 언론에 보도된 것이 모두 통계학이다. 그리고 비즈니스에서도 통계학을 이용한다. 마케팅 리서치의 예로 ‘어느 연령층이 어떤 SNS를 가장 많이 이용하는가’를 조사해서 ‘대응분석’이라는 걸 한다. 20대는 트위터, 50대는 라인을 가장 많이 이용한다는 뜻이다. 어디에 광고를 낼지 기업이 검토할 때 도움이 된다.
또 의학에도 많이 사용한다. A약을 복용한 사람과 B약을 복용한 사람의 데이터를 비교해 어느 약이 잘 듣는지 판단할 때 이용하기도 한다. 그런 목적으로 쓰이는 분석기법은 통계학 입문서에서 많이 소개하는 ‘통계적 가설검정’이다.

데이터 분석 전문가는 뭘하는 사람인가
분석의 천재가 데이터를 물끄러미 바라보다가 영감을 받아서 ‘좋아, 이 방법으로 하자!’라고 하는 모습을 상상하면 안 된다. 클라이언트와 협의해서 분석의 목적을 명확히 하거나 목적에 맞는 분석기법을 모색하거나 데이터에 비정상적인 값이 섞여 있지 않은지 분석하는 등 착실하게 꾸준히 일하는 느낌이다. 여기서 주의할 점은 외부에 데이터 분석을 맡긴다고 해서 반드시 뛰어난 결과를 얻는다는 보장은 없다. 오히려 안 좋은 의미에서 충격을 받을 수도 있다.
56개 점포로 구성된 프랜차이즈 커피점이 정밀한 중회귀식 도출을 맡겼다고 하자. 그 결과물인 중회귀식에 ‘가장 가까운 역으로부터의 도보 시간’이 포함되지 않았다면 어떨 것 같은가. 매출을 분석할 때 ‘가까운 역으로부터의 도보 시간’을 고려하는 것은 커피업계의 상식이지만 분석을 의뢰받은 사람이 그 점을 알고 있다고 단언할 수는 없다. 분석 전에 협의를 충분히 하지 못하면 이와 같은 비극이 발생할 수 있다. 데이터 분석 업체는 분석의 전문가이지만 모든 비즈니스의 세부 사항에 정통한 것은 아니다.

데이터 사회를 살아가기 위한 생존술
‘즐겁게 통계학을 배우고 싶다!’는
얄팍한 속셈은 초전박살 나다
수포자도 한 권을 끝까지 읽을 수 있는 책!!
어느 날, 출판사 편집자로부터 ‘재미있는 기획이 있다’고 저자에게 호출이 왔다. 담당 편집자는 문과 출신도 이해할 수 있는 통계학 입문서를 만들고 싶다. “통계학은 왠지 편리할 것 같지 않나요? 글쎄요, 구체적으로 뭐가 편리하냐고 말씀하면 설명할 순 없지만요.” 상상하신 대로 담당 편집자도 문과 출신이었다. 그런 문과 출신 둘이 기획을 해서 대단한 지혜가 떠오를 리 없다. 이에 후일 이 책의 선생님으로 등장하는 다카하시 씨를 만나 회의를 해봤다. 참고로 다카하시 씨는 베스트셀러 《만화로 쉽게 배우는 통계학》의 원작자로 유명한 통계학자이자 저술가이다.

문과 출신 저자와 통계학의 대가의 대화
“통계학 입문은 수학을 못하는 사람이 보기에는 전혀 입문 같지 않아요. 아예 시작할 엄두가 안 나요.”
“아, 그건 시중에 나와 있는 입문서는 대학에서 처음 배우는 사람을 위한 것이니까요. 고교 수학을 알고 있다는 전제하에 풀어나가기 때문에 중-고등학교 수포자가 이해하는 건 무리죠.”
“그, 그렇게 통계학이 어려운가요!?”
“통계학은 원래 수포자를 대상으로 한 게 아니에요.”
“그렇다면… 수학의 기본 단계에서 좌절한 저희 같은 사람들은 이해를 못할까요?”
“알기 쉽게 말하자면, 운동을 못하는 사람이 프로레슬러 도장 문을 두드리는 것과 같아요.”
“으윽! (얼굴이 빨개짐) 하지만 시중에는 《한 권으로 비즈니스에 써먹을 수 있는 통계학!》 같은 책도 있잖아요. 그러니까 이번 기획도 그런 느낌으로 만들 수 있지 않을까요…….”
“아니, 한 권으로 배울 수 있을 리가 없죠(쓴웃음). 학문을 그렇게 우습게 보면 안 됩니다.”
“그러면, 아무튼, 수포자를 위한 통계학을 알기 쉽게 전반적으로 설명해주실 수 없을까요? 책을 두 권으로 만들어도 됩니다(웃음).”
“알기 쉽게, 라는 건 차치하고, 통계학은 여러분이 상상하는 것보다 훨씬 방대해요. 그러니 전반적으로 설명하려면 10권을 만들어도 안 됩니다.”
“그런가요…… (눈물)”
“그렇게 울상 하지 말아요. 물론 통계학 내용 중에는 수포자도 현대인의 교양으로써 알아두면 좋은 것도 있어요. 통계학은 쉽지 않다는 것도 그중 하나겠지요(웃음). 그럼, 조금 시간을 내어 수포자도 한 권을 끝까지 읽을 수 있는 수업으로 구성해보죠.”
*
수포자들에게 통계학은 ‘가까이하기에는 너무 먼 학문’이라는 인식은 바뀌지 않았지만 그 세계를 잠깐이라도 들여다봄으로써 엄청나게 많은 것을 얻을 수 있었다. 저자와 같은 문과 출신도 이 책을 통해 통계학의 세상을 들여다볼 수 있기를 기대한다!


<책 속으로>

표본 데이터에서 모집단의 상황을 추측하는 것이 통계학인가요?
실은 통계학은 두 종류가 있습니다. ‘추리통계학’과 ‘기술통계학’입니다. 앞에서 설명한 것은 추리통계학이에요.
그럼 기술통계학은 뭐죠?
추리한다는 발상이 없는 통계학입니다. 좀더 풀어서 말하자면 데이터를 정리함으로써 집단의 상황을 최대한 간결하게 표현하는 것이 목적인 통계학입니다.
그렇다면…?
총인구에서 차지하는 30세 미만 인구의 비율을 계산하거나 학교 교사가 반 평균을 계산하는 걸 예로 들 수 있겠네요.
아하! 그건 추리를 하려는 게 아니군요.
_<35쪽>에서

‘베이즈 통계학’이라고 들어본 적이 있나요
아뇨, 무슨 일인지 전혀 모르겠어요.
참고사항 정도로 조금만 설명할게요. 우리 수업에서 설명하는 통계학은 일반적인 것입니다. 평범한 통계학이라고 생각하면 됩니다. 그와 쌍을 이루는 것이 베이즈 통계학(Bayesian statistics)입니다.
쌍을 이룬다는 게 무슨 뜻일까요.
오른손과 왼손이라든지, 동쪽과 서쪽이라든지, 야구의 메이저리그와 마이너리그 같은 관계입니다. 어느 쪽이 더 훌륭하거나 대단하다는 뜻은 아닙니다.
학교에서는 무엇을 배우나요.
고등학교까지는 일반적인 통계학이죠. 대학에서도 원칙은 그쪽이지만 분야에 따라서는 달라질 수 있어요. 경제학이나 심리학, 기계학습 등에서는 베이즈 통계학을 배울 기회도 있습니다.
일반적인 통계학과 베이즈 통계학은 무엇이 다른가요.
_<36쪽>에서

연구자가 피험자를 온종일 모니터링하면서 식사 내용을 기록한다면 이야기는 달라집니다. 하지만 대면이나 전화로 ‘어제는 무엇을 먹었습니까?’ ‘쌀밥이요.’ ‘몇 그릇을 드셨나요?’ ‘작은 밥그릇으로 두 공기…어라? 세 그릇이었나?’ 이런 데이터가 몇백 명분 축적되었다고 합시다. ‘작은 밥그릇’이 구체적으로 어느 정도 크기인지도 잘 모르겠고, 애초에 정직하고 정확하게 답해야 할 의무도 없죠.
_<59쪽>에서

데이터 집계 결과를 시각화할 때는 왠지 모르지만 원형 차트로 표현하는 경우가 꽤 많더군요. 아래 그림은 어느 패밀리 레스토랑의 설문조사 결과입니다. 이렇게 질문의 선택지가 ‘3개 이상이고 순서성이 있을 때’는 원형 차트로 표현하는 게 좋습니다. 누적된 값을 파악하기 쉽거든요(원형 대신 가로띠 차트로도 가능). 그런데 질문의 선택지가 3개 이상이고 순서성이 없을 때 적절한 것은 원형이 아니라 가로 막대그래프입니다. 이유는 두 가지를 들 수 있어요. 하나는 누적된 값의 산출하는 게 별 의미가 없기 때문입니다. 즉 ‘그렇구나, 돼지고기 생강구이와 고등어 된장 조림으로 50% 정도인가’ 같은 발상을 하는 의미가 별로 없으니까요. 또 하나는 각 선택지 비율의 서열을 즉시 파악할 수 있기 때문입니다. 원형 차트로 나타내기 좋은 것은 질문의 선택지가 ‘3개 이상이고 순서성이 있는’ 경우이거나 질문의 선택지가 두 개인 경우입니다.
_<62쪽>에서

엽서를 보내는 사람은 추첨으로 뽑는 선물을 받고 싶거나 의견을 말하기 좋아하는 어르신이 대부분이어서 오늘 이야기를 들으니 편중되어 있다는 생각이 듭니다.
엽서를 보낸 사람들은 모집단인 ‘출판사가 독자라고 생각하는 사람’으로부터 무작위로 추출된 것이 아닙니다. 오히려 ‘출판사가 독자라고 생각하는 사람’에 포함되지 않은 사람들도 보냈을 것입니다. 그래서 보내온 독자 엽서의 집계 결과는 그 사람들의 의견을 모은 것에 불과하니까 아무 가치가 없습니다.
즉, 이런 말인가요? 모집단인 출판사가 독자라고 생각하는 사람 중에서 무작위로 추출된 사람들이 아니니까 독자 엽서를 보낸 사람들의 데이터 집계 결과를 보고 출판사의 높은 분이 ‘지난달보다 만족도가 떨어졌다’고 화를 내는 것은 잘못이라고요.
그렇죠. 잘못입니다.
_<74쪽>에서

- ‘확률 밀도 함수’는 히스토그램 계급폭을 좁혀나가 최종적으로 도달하는 곡선의 식이다.
- 확률 밀도 함수 그래프와 가로축 사이에 낀 부분의 면적은 1이다.
- 확률 밀도 함수의 그래프와 가로축 사이에 낀 부분의 면적은 비율 또는 확률과 동일시할 수 있다.
- 학술적으로 중시되는 확률 밀도 함수의 종류로는 ‘t분포’ ‘F분포’ ‘정규 분포’ 등이 있다.
- 정규 분포 그래프의 모양은 평균을 경계로 좌우대칭을 이루며 평균과 표준편차의 영향을 받는다.
- 평균이 0이고 표준편차가 1인 정규 분포를 ‘표준 정규 분포’라고 한다.
_<160쪽>에서

들어가며―
등장인물 소개


1일째
통계학의 세계로
오신 것을 환영합니다
1교시 통계학은 어떤 학문일까?
지난 100년간 크게 발전한 학문
통계학은 어디서 쓰일까?
의학과 심리학에도 이용된다
통계학은 쉽지 않다!
데이터 리터러시를 높여라!
통계학에는 두 종류가 있다
신흥세력 ‘베이즈 통계학’이란?
2교시 통계학에는 다양한 분석기법이 있다
대표적 분석기법① 중회귀 분석
대표적 분석기법② 로지스틱회귀 분석
대표적 분석기법③ 주성분 분석
3교시 빅데이터의 환상에 넘어가지 마라!
빅데이터는 만능 해결사?
데이터에 기반한 경영의 어려움
이 책으로 데이터 리터러시 높이자!
？ 1일째 수업 정리

2일째
‘무늬만 조사’에 휘둘리지 않는
무작위 추출법
1교시 조사의 신뢰성은 ‘무작위 추출법’으로 결정된다!
‘무늬만 조사’에 속지 마라!
신뢰할 수 있는 조사를 하고 싶다면 ‘무작위 추출법’을!
다카하시 선생님이 숫자를 해석하는 법/ 원형 차트는 신중하게 사용하자
2교시 4가지 무작위 추출법을 이해하자!
모든 대상으로부터 무작위로 추출하는 ‘단순 무작위 추출법’
층으로 나눠서 추출하는 층별 추출법
2단계로 추출하는 ‘2단 추출법’
층별+2단 조합 기술인 ‘층별 2단 추출법’
진실을 아는 것은 모집단뿐
무작위 할당이라니?
리뷰 경제의 위기
？ 2일째 수업 정리

3일째
데이터의 분위기를 파악하자!
수량 데이터 편
1교시 데이터는 먼저 분위기를 파악해야 한다!
데이터를 다루는 법의 기본을 배우자
데이터의 분위기를 파악하다니?
데이터는 두 종류로 나뉜다
2교시 ‘데이터가 흩어진 정도’를 수치화해 보자
‘평균’이란 ‘평평하게 고르는’ 것
제곱합, 분산, 표준편차로 ‘데이터가 흩어진 정도’를 파악하자.
평균을 기준점으로 삼은 것이 ‘제곱합’
제곱합의 약점을 해결하는 분산
분산을 루트로 나타낸 표준편차
제곱합, 분산, 표준편차는 통계학의 숨은 매니저 역할!
추리통계학에서 사용하는 ‘불편분산’
평균의 약점을 해결하는 ‘중앙값’
3교시 사실은 우리 주변에 있었다!? 데이터의 ‘기준화’
데이터의 규격을 통일하는 ‘기준화’
기준값은 모두 알고 있는 그 숫자였다!?
만화 칼럼/ 다카하시 선생님의 데이터는 깔끔해!
？ 3일째 수업 정리

4일째
데이터의 분위기를 파악하자!
범주형 데이터 편
1교시 범주형 데이터의 분위기는 ‘비율’로 파악하라!
범주형 데이터의 분위기 파악방법은 간단하다!
제곱합을 변형해 보자.
범주형 데이터의 분위기를 파악하는 방법은 초단순!
2진 데이터는 수량 데이터로 취급할 수 있다!
그 집계 방법은 틀렸어요!
다카하시 선생님의 숫자를 보는 관점/ ‘선거는 하는 게 좋다’는 이야기
？ 4일째 수업 정리

5일째
데이터를 가시화한다!
정규 분포
1교시 데이터의 분위기를 한눈에 알 수 있다!
히스토그램과 확률 밀도 함수
‘도수분포표’로 ‘히스토그램’을 만들자
확률 밀도 함수 그래프와 가로축 사이에 낀 부분의 면적은 1
2교시 정규 분포를 마스터하자!
중요한 확률 밀도 함수를 기억하자
정규 분포에 일치하는 데이터가 존재하는가?
특별한 정규 분포 ‘표준 정규 분포’
표준 정규 분포의 특징을 파악하자!
면적\u003d비율\u003d확률
확률 밀도 함수의 엄격한 정의
만화 칼럼/ 읽을 수 있어? 그리스문자
？ 5일째 수업 정리

6일째
실전!
모집단의 비율을 추정해보자
1교시 표본 데이터에서 모집단의 비율을 추정하자!
표본 데이터를 통해 모집단의 상황을 알아보자
신뢰 구간의 공식을 도출하다
단 1번의 조사로 신뢰 구간을 믿어도 될까?
표본의 인원수, 신뢰 구간, 신뢰율의 관계
왜 주요 언론은 ‘신뢰 구간’을 보도하지 않을까?
6일째 수업 정리

7일째
실전!
중회귀 분석을 해보자
1교시 회귀 분석을 마스터하자!
회귀 분석이 무엇일까?
회귀식을 구하려면 공식에 대입하기만 하면 된다!
회귀식은 어떻게 해석할까?
실측값, 예측값, 잔차란?
결정 계수란?
다카하시 선생님의 숫자 보는 법/ 원칙적으로는 피해야 할 세로 막대 그래프
2교시 중회귀 분석을 마스터하자!
중회귀 분석은 회귀 분석의 발전판
통계학은 마법의 학문이 아니다
7일째 수업 정리

보강
통계적 가설검정이 뭘까?!
모든 수업을 종료! 하기 전에…
가설이 옳은지 추론한다


후기
부록 회귀식 도출