인공지능에게 배신당하지 않고 함께 살아가려면 어떻게 해야 할까?
인공지능 윤리의 권위자 김명주 교수가 전하는 미래 AI 시대의 기회와 위기!

★ AI 윤리의 교과서이자 필독서. 미래 AI 시대를 준비하는 우리 사회가 함께 읽어야 할 책!
★ 네이버, 카카오, KT 등 국내 최고 IT 기업의 인공지능연구 책임자들의 강력 추천!

“인공지능이 인류의 마지막 기술일 수 있다!” 세계적인 석학 스티븐 호킹 박사는 아주 짧지만 명확한 경고의 메시지를 반복하여 전했다. MS의 빌 게이츠, 애플의 스티브 위즈니악, 테슬라의 일론 머스크 등 세계적인 빅테크 기업 수장들도 인공지능의 위험성에 대해 경고의 목소리를 똑같이 내고 있다. 닉 보스트롬, 스튜어드 러셀, 프랭크 윌첵, 맥스 태그마크 등 노벨상 수상자나 세계 유수의 대학교수들도 “인공지능이 인류 사상 최대의 성과인 동시에 최후의 성과이자 인류의 재앙이 될 수 있다!”고 주장했다.
정보화사회에서 미래의 지능정보사회로의 대전환을 이끄는 4차 산업혁명의 혁신 신기술 가운데 최고의 핵심 기술은 바로 인공지능이다. 70년이라는 짧지 않은 역사에도 불구하고 인공지능의 존재감과 위력을 전 세계인들이 대중적으로 인식하기 시작한 지는 겨우 10년 남짓 됐지만, 한편으로는 인공지능의 어두운 그늘에 대한 심각한 경고가 집중적으로 표출되고 있었다.
그때 우리는 2016년 구글의 인공지능 알파고가 바둑 천재 이세돌 9단을 4승 1패로 이긴 사건으로 인공지능이 우리의 생각보다 얼마나 더 똑똑할 수 있는지를 목격하며 큰 충격을 받았고 곧바로 인공지능의 엄청난 잠재력과 발전 가능성에 대한 기대감으로 투자 계획이 정부는 물론 기업과 대학 등 사회 전반에 걸쳐 이뤄졌다. 이후 5년이 지나서야 2021년 인공지능 챗봇 ‘이루다’ 사건으로 우리가 인공지능을 자칫 잘못 다룰 경우 얼마나 불안하고 불편하며 심지어 위험하기까지 한 상황이 연출될 수 있는지 깨닫게 됐다.
검찰과 경찰을 대상으로 컴퓨터범죄 수사 기법을 교육해오며 정보 보호와 디지털 윤리가 갈수록 중요함을 느낀 김명주 교수는 인터넷윤리실천운동을 전개하면서 인문학 및 사회과학 전문가들과 더불어 2년 넘게 연구하여 2018년 국내 최초로 인공지능 윤리 가이드라인 를 만들었다. 인공지능에 의한 부작용과 역기능, 위험성을 모두 법으로 포괄해내기에는 시간적으로 따라잡기 힘들 만큼 인공지능의 발전 속도는 빠르다. 아울러 인공지능이 미치는 사회 영역 역시 전문가들도 가늠할 수 없을 정도로 광활해 모두를 한곳에 집약해 소수가 관리하는 것 자체가 불가능하다. 따라서 ‘처음 시작 단계부터’ 발전 방향을 올바르게 잡아야 하고 사회적 담론을 최대한 형성해야 하는데, 그 핵심이 ‘인공지능 윤리’이기 때문이다.
네이버, 카카오, KT 등 국내 최고 IT 기업의 인공지능연구 책임자들이 AI 관계자들의 교과서, AI 연구 개발자들의 필독서라며 강력하게 추천하는 이유가 이 책 《AI는 양심이 없다》가 담고 있는 ‘인공지능으로 인해 사회적 대전환이 시작되면 부작용과 역기능, 심지어 심각한 위험성이 드러난다고 해도 다시 원래로 되돌리는 것은 불가능하다’는 문제의식 때문이다. 그렇기 때문에 이 책은 AI 관계자나 전문가뿐만 아니라 우리 사회가 함께 읽어야 하며, ‘미래 AI 시대에 대한 방어적 준비’에 관해 이야기를 나누어야 한다.
저자는 인공지능이 열어줄 미래에 대한 올바른 방향 제시와 더불어 구체적인 준비도 따라야 함을 강조한다. 비가역적인 사회 대전환이 따라오기 때문에 발생 가능한 문제와 상황에 대해 소수의 전문가 중심에서 벗어나 사회 구성원 모두가 이해하며 공감할 수 있어야 한다는 논지다. 저자는 미래에 인공지능에게 배신당하지 않고 함께 살아가려면 어떻게 해야 할지, 지혜를 찾고자 했다. 이 지혜를 ‘윤리’라는 단어 안에 함축했다. 윤리는 가치 판단의 기준으로 사람에게 요구된다. 그리고 이 윤리는 사람만이 가지고 있는 ‘양심’으로 인하여 발현한다. 반면에 인공지능은 ‘양심’이 없다. 인공지능으로 인하여 등장하는 윤리적인 문제의 근원은 바로 이것이다. 책 제목도 이렇게 정해졌다.
‘인공지능은 이미 우리의 삶을 흔들고 있고, 앞으로도 흔들어댈 것이다’
미래 AI 시대의 사회 변화에 대한 이해력과 통찰력을 제공하는 책!
흔히 기술을 가치중립적이라고 한다. 이용하는 사람과 상황에 따라 기술은 유익할 수도 있지만 해로울 수도 있기 때문이다. 새로운 기술이 등장할 때마다 우리는 기술 자체에 흥분하고 기대감을 높이며 몰입하지만, 뒤따라 찾아온 부작용과 역기능은 우리를 배신하며 참 많이 힘들게 한다. ‘왜 시작 단계에서부터 우리는 기술의 숨겨진 그늘을 예상하지 못했을까?’ ‘단지 편리함과 이익에 눈이 멀어 어슴푸레 드러난 기술의 역습 기미를 우리는 왜 가볍게 여겼을까?’ 이 책 《AI는 양심이 없다》는 이 같은 질문을 던지면서 어김없이 우리를 여기저기에서 흔들어대기 시작한 ‘인공지능’에 대해 이야기한다. 더욱이 4차 산업혁명이라 할 만큼 비가역적인 사회 대전환을 이루는 혁신 신기술 ‘인공지능’에서 이 질문들이 얼마나 중요한지 강조하고 있다.
저자는 우리를 상대로 인공지능이 이미 흔들어대거나 조만간 흔들 이슈를 사례별로 정리하는 데 많은 부분을 할당했다. 책의 1장 “‘죽음’을 흔드는 AI”에서는 고인이 남긴 디지털 흔적과 디지털 유산을 통해 디지털 부활이 시작되었고 이로 인해 사후 디지털 고용과 명예훼손, 사자의 퍼블리시티권과 경제적 이득, 프로파일링과 잊힐 권리, 사망자 계정과 사후 프라이버시 등 고인의 죽음을 흔드는 손으로서의 AI 문제를 다룬다. 2장 “‘존재’를 흔드는 AI”에서는 가상 인플루언서, 가상 아나운서, 가상 가수, 아바타와 메타버스 등 존재하지 않는 존재인 가상 인간의 출현과 이로 인해 발생하는 신뢰성 문제와 디지털 윤리에 대해 논한다. 3장 “‘신뢰’를 흔드는 AI”에서는 이루다와 알파고부터 시작하여 왓슨, 콤파스, 버추얼휴먼, 휴머노이드, 자율주행차 등 4차 산업혁명의 핵심 신기술인 인공지능이 가져온 혁신의 이면에 드러난 차별과 편견, 의인화와 위조, 적대적 공격과 불신 등 윤리적 문제에 대한 불안과 걱정을 다룬다. 마지막 4장 “흔들림 너머 AI 바로 보기”에서는 인공지능에게 왜 윤리가 필요한지, 처음 시작 단계에서는 법보다 올바른 윤리가 먼저 형성되어야 하는지 당위성을 설명하며 구체적이고 현실적인 대안으로써 ‘인공지능 윤리’의 원칙과 각 분야에서 적용해야 할 윤리 기준들이 무엇인지 이해를 돕는다.
이러한 과정을 통해 인공지능으로 인해 발생하는 윤리적인 문제의 근원이 무엇인지, 우리 안에 자리 잡아온 인공지능 이용에 대한 막연한 불안과 우려에 대해 구체적인 실체가 무엇인지, 우리가 흔들림 없이 인공지능을 이용하려면 어떻게 해야 할지 파악하게 해준다. 저자는 ‘죽음, 존재, 신뢰’는 말할 것도 없고 인간이 지금까지 조심스럽게 대했던 근간을 인공지능이 하나씩 하나씩 흔들어댈 시간이 점점 다가온다며, 예상되는 흔들림을 정확하게 바로 보면서 이 흔들림을 넘어설 구체적인 준비를 해야 한다고 강조한다. 인공지능이 아직은 본격화되지 않은 기술이기에 우리에게 준비할 시간이 조금 남아 있다면서, 지금 우리에게는 무엇보다 윤리적 상상력과 함께 머리를 맞댈 공론의 장이 필요하다고 말한다.
신뢰할 수 있는 인공지능을 확보하라!미래 AI 시대를 준비하는 최적의 솔루션 ‘인공지능 윤리’
3차 산업혁명과 정보화사회에서 발생해 성장한 ‘인터넷 윤리’는, 4차 산업혁명과 지능정보사회에서는 ‘인공지능 윤리’로 연장선에 있지만 보다 확대되고 심화된 내용을 포함한다. 예를 들어, 인공지능의 의인화 현상은 인터넷 윤리에서 이미 중요하게 다루고 있는 남용과 중독 문제, 개인 정보와 프라이버시 정보 유출 문제를 더 심화시키며 확대하고 있기 때문이다.
‘정보 격차’ 또는 ‘디지털 격차’에 대한 해소는 주로 국제적으로나 국가적 차원에서 다뤄온 인터넷 윤리의 핵심 주제였다. 정보기술의 접근성 및 활용 수준에 따라 개인별로 새로운 생산수단 확보와 직업 종사 기회가 갈리게 되므로 빈익빈 부익부 현상이 갈수록 심화되기 때문이다. 그런데 이제는 인공지능 신기술에 의해 기존의 정보격차보다 더 심화된 새로운 격차 발생이 예고되자 아예 ‘인공지능 격차’라고 부르며 문제의 심각성을 강조하며 구체적인 대안을 요구하고 있다. 이에 대해 후발적 조치의 성격이 강한 법보다 ‘인공지능 윤리’를 통해 선제적으로 대응하는 것이 시급하게 필요한 이유다.
그렇다면 인공지능 윤리의 기본 원칙에는 무엇이 있어야 할까? 저자가 여러 전문가들과 더불어 연구하여 2018년 국내 최초로 만든 인공지능 윤리 가이드라인 의 경우를 들여다보자. 인공지능의 특성을 기반으로 도출된 네 가지 기본 원칙인 공공성(publicness), 책무성(accountability), 통제성(controllability), 투명성(transparency), 즉 영단어 첫 글자를 딴 ‘PACT’다. 이는 이듬해인 2019년에 OECD가 발표한 <인공지능 윤리 원칙>과 거의 일치한다. 2020년 말에 발표된 우리나라의 <국가 인공지능 윤리 기준>도 유사한 원칙을 제시하고 있다. 이러한 윤리 기준과 원칙을 출발점으로 하여 구체적인 실무 지침 그리고 나중에는 인공지능 법까지도 만들어진다.
전 국민 누구나 인공지능 제품 또는 인공지능 서비스의 이용자가 될 수 있다. 인공지능이 이끌 4차 산업혁명 시대와 지능정보사회의 시각에서 볼 때, 모든 구성원이 인공지능 이용에 있어서 갖춰야 할 시각과 자세를 미리 알아두는 것은 꼭 필요하다. 저자는 인공지능 윤리 가이드라인을 소개하며, 독자들에게 “인공지능 시대, 나는 어떻게 생각하고 준비하며 행동해야 할까?”라는 질문에 대한 밑그림도 각자 그려보기를 제안한다.

추천사
최근 인공지능 기술의 놀라운 발전은 기계·전기·컴퓨터 등과 마찬가지로 인류에게 기존 기술로 불가능했던 혁신적인 가치와 기회를 제공하기도 하지만, 뜻하지 않은 위험과 위기를 가져올 수도 있다. 이 책에서는 인공지능을 기회와 위기 양쪽의 의미로 기존 사회를 흔드는 손으로서 체계적으로 설명한다. 연구자로서 양날의 검인 인공지능에 대해 다시 한 번 고민하게 하고, 어떤 방향으로 인공지능 기술을 연구 개발해야 하는지 반성하게 하는 중요한 책이다. 인공지능 학계와 산업계 그리고 정책 입안자나 관계자 들이 교과서처럼 일독할 것을 권장한다.
_ 하정우 네이버 AI Lab 인공지능연구소장

김명주 교수는 인공지능 윤리의 대표적인 권위자다. 특히 기술을 기반으로 인공지능 윤리를 바라보는 몇 안 되는 전문가다. 기술에 대한 이해 없이 선언적인 시각에서 바라보는 인공지능 윤리는 절반의 이야기만을 담고 있다. 그 자체가 편향성을 띄고 있기도 하다. 기술에 대한 충분한 이해가 토대가 된 이 책은 교조적이지 않다. 사례 중심에서 우리 사회가 함께 고민해야 할 주제를 차분히 정리하고 있다.
_ 김대원 카카오 CDR Lab 정책팀장(상무)

우리는 이미 AI 시대를 살고 있다. 얼굴 인식이나 글자 인식은 보편적으로 쓰이며, AI와 음성으로 대화하는 것도 일상이다. 그럼에도 AI에 대한 불안과 두려움이 만연해 있다. 사용자와 개발자 간 AI의 능력에 대한 인식 차이도 제법 크다. 이 책은 이런 ‘인공지능 격차’를 해소해줄 인문·사회과학서다. 인공지능 기술과 윤리에 대한 이해도를 높이고 싶은 독자나, 인류와 공존할 수 있고 신뢰할 수 있는 인공지능을 만드는 것에 관심이 있는 AI 연구 개발자들에게 필독서로 추천한다.
_ 배순민 KT AI2XL 인공지능연구소장

프롤로그

1장 ‘죽음’을 흔드는 AI

디지털 부활의 시작
다시 살아나다 | 사후 디지털 고용과 명예훼손 | 사자의 퍼블리시티권과 경제적 이득
새로운 애도 프로그램의 출현
다시 만나다 | 디지털 페르소나 | 디지털 부활을 구현할 특허
디지털 흔적과 디지털 유산
고인이 남긴 디지털 기록들 | 프로파일링과 잊힐 권리 | 사망자 계정과 사후 프라이버시 | 고인의 죽음을 흔드는 손
살아 있는 자의 디지털 영생
디지털 쌍둥이 | 모호해진 산 자와 죽은 자의 경계
살아 있는 자의 생물학적 영생
노화와 죽음을 치료하려는 시도 | 새로운 기술, 새로운 생각 | 포스트 휴머니즘과 인공지능 | 인간과 인공지능의 공존 관계

2장 ‘존재’를 흔드는 AI

존재하지 않는 존재, 가상 인간
버추얼 휴먼과 아바타 | 인플루언서에 대한 국내외 인식 | 가상 인플루언서의 등장
가상 인플루언서
휴먼 인플루언서를 능가하는 가상 인플루언서 | 가상 인플루언서의 장점과 문제점 | 가상 인플루언서의 신뢰성 문제 해결 방식
가상 아나운서
한·중·일의 가상 아나운서 | 가상 아나운서의 영향력과 전망
가상 가수
한국과 일본의 가상 가수 1세대 | 보컬로이드 가상 가수 | 인공지능 기술과 가상 가수
아바타와 메타버스
아바타의 등장 | 메타버스의 급습 | 메타버스 윤리: 디지털 윤리 vs 아날로그 윤리

3장 ‘신뢰’를 흔드는 AI

인공지능과 혁신
이루다와 알파고 | 의료계를 뒤흔든 인공지능 | 금융계의 판도를 바꾼 로보 어드바이저 | 리걸 테크의 꽃 인공지능 변호사 | 예술 영역에도 발을 디딘 인공지능
인공지능과 4차 산업혁명
4차 산업과 4차 산업혁명 | 4차 산업혁명의 핵심 신기술 | 불안과 걱정을 몰고 온 인공지능
인류의 마지막 기술일까?
초지능 슈퍼인텔리전스 | 인류에 대한 초지능의 위협 | 인공지능이라는 ‘존재적 위험’
책임지지 않는 인공지능
자율 주행차 사고와 책임 소재 | 탈인간 중심의 법체계는 가능할까?
사람을 차별하는 인공지능
흑인을 차별하는 인공지능 | 여성을 차별하는 인공지능 | 공립학교를 차별하는 인공지능 | 챗봇이 보여준 차별과 편견
착각하게 만드는 인공지능
인공지능의 의인화 | 불쾌한 골짜기 | 딥페이크와 딥누드 | 의료 영상의 완벽한 위조
안전하지 못한 인공지능
적대적 공격과 오픈 소스 | 취약한 인공지능 컨테이너 | 신뢰할 수 있는 인공지능을 향해

4장 흔들림 너머 AI 바로 보기

흔들리는 인간을 위한 윤리
인공지능에게 윤리가 필요한 이유 | ESG 경영과 인공지능 윤리 | 개발자 중심에서 이용자 중심으로 | ‘윤리’의 바다를 항해하는 ‘법’이라는 배
인터넷 윤리를 품은 인공지능 윤리
인터넷 윤리의 등장 | 인공지능 윤리의 등장 | 개인 정보와 프라이버시 정보 유출 | 일라이자 효과 vs 중독 현상 | 새로운 윤리의 기본 원칙
인공지능 윤리 원칙의 도출
5 Whys에 의한 특성 분석 | 차별적 특성과 보편적 특성 | 인공지능 윤리의 기본 원칙
공공성과 책무성 이해하기
공공성 관련 원칙들 | 책무성 관련 원칙들
통제성과 투명성 이해하기
통제성 관련 원칙들 | 투명성 관련 원칙들
인공지능 바로 보고 마주하기
국가 인공지능 윤리 기준 | 교육 분야에서 인공지능 윤리 | 대학에서 인공지능 윤리 | 공공 분야에서 인공지능 윤리 | 인공지능 생태계와 정부의 역할 | 전 국민을 위한 인공지능 윤리

에필로그
주석
찾아보기
참고 문헌