책속에서

P. 15 각 장의 테크닉은 함께 일하는 선배 데이터 과학자가 보내는 조언이라 생각해도 좋습니다. 다른 생각을 하지 않고 조언을 그대로 따라가 보는 것도 좋습니다. '나라면 이렇게 하겠다'와 같이 다른 관점에서 분석을 수행해 대책을 세워 보는 것도 좋습니다. 선배 데이터 과학자가 경험은 풍부할지 모르나, 초보자에게서 현장에 대한 신선한 시각이 나오는 경우가 의외로 많습니다. 이 책에는 현장감을 높이기 위해 다소 긴 코드도 많이 실었습니다. 각자의 시점에서 개선안을 생각해 보는 것 역시 이 책을 읽으면서 느낄 수 있는 즐거움입니다. 분석 방법은 한 가지가 아니라는 점이 중요합니다. 이 책을 발판 삼아 동료 엔지니어와 의논의 장을 열어 보기 바랍니다.
P. 47 여기에서는 클러스터 수를 4로 했습니다. 특정한 값이 좋다고 단언할 수는 없으므로 클러스터 수를 바꿔 가면서 몇 차례 시도해 보기 바랍니다. 난수 시드를 고정하는 이유는 결과가 매번 달라지는 것을 방지하기 위함입니다. 난수 시드를 고정하지 않으면 매번 결과가 달라지므로 어느 정도 분석이 진행될 때까지는 고정하는 것이 좋습니다. 다음 행에서 모델을 구축하고, 다음 행에서 클러스터링 결과를 store_clustering['cluster']에 저장합니다. 이렇게 클러스터링 결과를 데이터로 가짐으로써 이후의 분석에 이용할 수 있습니다. 여기에서는 0, 1, 2, 3의 4개 클러스터로 나눴습니다.
P. 123 그래서 이번 장에서는 지속해서 반복할 수 있는 구조를 구축합니다. 데이터는 항상 업데이트됩니다. 이때 잘못된 데이터가 제공되지 않도록 폴더 구성도 함께 정리하면서 매달 원활하게 데이터를 업데이트할 수 있는 소규모 구조를 만들어 봅시다. 그리고 데이터 업데이트 시점에 지난달 데이터와 비교함으로써 개선이 이루어졌는지에 관한 검증도 함께 진행합니다.
P. 184 이것으로 머신러닝용 데이터를 가공하기 위한 테크닉 열 가지를 마쳤습니다. 실제로는 설명 변수를 만드는 과정에서 과거 1개월 데이터만으로 충분한지, 주문 취소 수 등도 평일/휴일을 나눠 집계해야 하는지 등 검토할 부분이 많이 남아 있습니다. 여기에서는 예제이기 때문에 다소 조잡한 설명 변수를 만들었지만 실제 프로젝트에서라면 더 다양한 설명 변수를 만들어야 할 것입니다. 시행착오를 통해 데이터에 적합한 설명 변수를 찾아내는 것이 좋습니다. 다음 장에서는 모델을 구현합니다.
P. 244 10_output_ml_result 폴더에 모델이 만들어집니다. 여기에서 models에 있는 모델 파일과 교환해도 되지만, 매달 업데이트해야 할 것인지는 숫자 또는 월별 모델의 정밀도를 보고 판단하는 것이 좋기 때문에 자동으로 업데이트하는 형태로 구현하지 않습니다. 의도치 못한 데이터가 들어왔을 때 역효과가 발생할 가능성도 있으므로 어떤 모델을 사용해 신규 데이터를 예측할 것인지 신중하게 검토합니다.

PART 1 데이터 분석 시스템
CHAPTER 01 분석 준비를 위한 테크닉 10 3
테크닉 1 데이터를 모두 로딩하자 5
테크닉 2 데이터를 유니온(결합)하자 9
테크닉 3 폴더 안에 있는 파일을 확인하자 11
테크닉 4 여러 데이터를 유니온(결합)하자 13
테크닉 5 데이터 통계량을 확인하자 16
테크닉 6 불필요한 데이터를 제거하자 18
테크닉 7 마스터 데이터를 조인(결합)하자 20
테크닉 8 마스터가 존재하지 않는 코드에 이름을 설정하자 21
테크닉 9 분석 기초 테이블을 파일에 저장하자 24
테크닉 10 셀을 사용하기 쉽게 정리하자 25

CHAPTER 02 데이터를 시각화하고 분석하기 위한 테크닉 10 28
테크닉 11 데이터를 로딩하고 불필요한 항목을 제외하자 29
테크닉 12 데이터 전체 이미지를 파악하자 32
테크닉 13 월별 매출을 집계하자 34
테크닉 14 월별 추이를 시각화하자 37
테크닉 15 매출로부터 히스토그램을 만들자 39
테크닉 16 시/도/군/구별 매출을 집계해서 시각화하자 41
테크닉 17 클러스터링을 위해 데이터를 가공하자 43
테크닉 18 클러스터링을 이용해 매장을 그룹화하자 45
테크닉 19 그룹의 경향을 분석하자 47
테크닉 20 클러스터링 결과를 t-SNE로 시각화하자 48

CHAPTER 03 시각화 구조를 구축하기 위한 테크닉 10 51
테크닉 21 매장을 필터링해서 시각화하자 53
테크닉 22 여러 매장의 상세 정보를 시각화하자 58
테크닉 23 슬라이드바를 이용해 주문 건수를 조사하자 61
테크닉 24 토글 버튼을 이용해 지역 데이터를 추출하자 63
테크닉 25 날짜를 지정해 데이터를 추출하자 66
테크닉 26 스토리를 생각해서 데이터를 구축하자 69
테크닉 27 주문 취소 이유를 분석하자 75
테크닉 28 가설을 검증하자 76
테크닉 29 스토리를 기반으로 부속과 데이터를 조합해 대시보드를 만들자 80
테크닉 30 대시보드를 개선하자 87

CHAPTER 04 보고 구조를 만들기 위한 테크닉 10 91
테크닉 31 특정 매장의 매출을 엑셀로 출력하자 93
테크닉 32 엑셀 테이블을 정리해 출력하자 99
테크닉 33 매출 이외의 데이터도 출력하자 101
테크닉 34 문제가 있는 위치를 빨간색으로 출력하자 104
테크닉 35 엑셀의 셀 함수를 이용해 일 단위로 집계하자 105
테크닉 36 꺾은선 그래프로 출력하자 107
테크닉 37 보고서용 데이터를 준비하자 109
테크닉 38 데이터시트에 필요한 데이터를 출력하자 113
테크닉 39 요약 시트를 만들자 116
테크닉 40 매장별 보고서를 엑셀로 출력하자 121

CHAPTER 05 분석 시스템을 구축하기 위한 테크닉 10 123
테크닉 41 기본 폴더를 만들자 125
테크닉 42 입력 데이터 확인 구조를 만들자 127
테크닉 43 보고서(본부용) 작성 처리를 함수화하자 132
테크닉 44 보고서(매장용) 작성 처리를 함수화하자 136
테크닉 45 함수를 실행하고 동작을 확인하자 141
테크닉 46 데이터 업데이트에 대응해 폴더를 만들자 143
테크닉 47 시/도/군/구별로 폴더를 만들고 데이터를 출력하자 144
테크닉 48 지난달 데이터를 동적으로 로딩하자 146
테크닉 49 과거 데이터와 비교하자 151
테크닉 50 화면에서 실행할 수 있게 하자 153

PART 2 머신러닝 시스템
CHAPTER 06 머신러닝용 데이터를 가공하기 위한 테크닉 10 161
테크닉 51 데이터 가공을 위한 밑준비를 하자 162
테크닉 52 데이터를 로딩하고 데이터 가공 방향성을 검토하자 164
테크닉 53 1개월분 데이터로 기본적인 가공을 하자 166
테크닉 54 머신러닝용 변수를 만들자 168
테크닉 55 매장 단위로 집계해서 변수를 만들자 170
테크닉 56 데이터 가공과 매장별 집계를 함수로 실행하자 173
테크닉 57 모든 데이터를 로딩하고 데이터를 가공하자 176
테크닉 58 목적 변수를 만들자 178
테크닉 59 설명 변수와 목적 변수를 연결해 머신러닝용 데이터를 완성하자 181
테크닉 60 머신러닝용 데이터를 확인하고 출력하자 182

CHAPTER 07 머신러닝 모델을 구현하기 위한 테크닉 10 185
테크닉 61 폴더를 만들고 머신러닝용 데이터를 저장하자 186
테크닉 62 범주형 변수에 대응하자 187
테크닉 63 학습 데이터와 테스트 데이터를 나누자 189
테크닉 64 모델 하나를 구현하자 190
테크닉 65 모델을 평가하자 192
테크닉 66 모델의 중요도를 확인해 보자 196
테크닉 67 모델 구현부터 평가까지의 과정을 함수화하자 197
테크닉 68 모델 파일과 평가 결과를 출력하자 199
테크닉 69 알고리즘을 확장해 다각적으로 평가하자 200
테크닉 70 평일/휴일 모델을 한 번에 실행하자 203

CHAPTER 08 머신러닝 모델로 새로운 데이터를 예측하기 위한 테크닉 10 208
테크닉 71 폴더를 만들고 데이터 로딩을 준비하자 209
테크닉 72 예측할 신규 데이터를 로딩하자 210
테크닉 73 신규 데이터를 매장별로 집계하자 212
테크닉 74 신규 데이터의 범주형 변수에 대응하자 215
테크닉 75 모델 투입 직전의 형식으로 정리하자 216
테크닉 76 모델 파일을 로딩하자 217
테크닉 77 신규 데이터를 예측하자 218
테크닉 78 예측 결과를 히트맵으로 그리자 220
테크닉 79 실적 데이터를 만들자 222
테크닉 80 현장용 보고서를 만들어 출력하자 223

CHAPTER 09 소규모 머신러닝 시스템을 만들기 위한 테크닉 10 226
테크닉 81 폴더를 만들고 초기 변수를 정의하자 227
테크닉 82 신규 데이터를 로딩하고 매장별 데이터를 만들자 231
테크닉 83 월별 매장 데이터를 업데이트하자 235
테크닉 84 머신러닝용 데이터를 만들고 업데이트하자 236
테크닉 85 머신러닝 모델용 사전 데이터를 가공하자 239
테크닉 86 머신러닝 모델을 구현하고 평가하자 240
테크닉 87 신규 데이터 예측을 위한 밑준비를 하자 244
테크닉 88 신규 데이터를 예측하자 245
테크닉 89 현장용 보고서를 만들고 출력하자 246
테크닉 90 머신러닝 모델의 정밀도 추이를 시각화하자 249

CHAPTER 10 머신러닝 시스템 대시보드를 만들기 위한 테크닉 10 252
테크닉 91 단일 데이터를 로딩하자 253
테크닉 92 업데이트 데이터를 로딩해 매장별 데이터를 만들자 255
테크닉 93 머신러닝 모델의 중요 변수 데이터를 로딩하고 결합하자 256
테크닉 94 머신러닝 모델의 예측 결과를 로딩하고 결합하자 257
테크닉 95 머신러닝 모델용 사전 데이터를 가공하자 259
테크닉 96 매장 분석용 대시보드를 만들자 261
테크닉 97 머신러닝 모델의 정밀도 평가 대시보드를 만들자 264
테크닉 98 머신러닝 모델의 혼동 행렬 대시보드를 만들자 266
테크닉 99 머신러닝 모델의 변수 중요도 분석 대시보드를 만들자 269
테크닉 100 머신러닝 모델의 예측 결과를 시각화해서 검증하자 272