표정은 개인 정체성의 상징..인공지능으로 '감정 읽기' 가능할까 [전문가의 세계 - 박주용의 퓨처라마 ⑥]

얼굴 들여다보기 그리고 과학기술의 미래

[경향신문]

일러스트 | 김상민 기자

로마의 시인 오비디우스(Ovidius, 기원전 43~기원후 17)의 <변신> 제3권에 나오는 에코(Echo)와 나르키수스(Narcissus)의 이야기다. 나르키수스가 어느 날 숲속을 걷고 있는데 산의 요정인 에코가 나르키수스를 사랑해 따라오기 시작했다. 그 낌새를 알아챈 나르키수스가 “누구인가”라고 묻자, 에코는 “누구인가”라며 말을 따라 하다가 곧 정체를 드러내고 나르키수스를 껴안으려 했다. 그러나 나르키수스는 뒷걸음치며 에코를 거절했고, 상심한 에코는 평생 산속에 혼자 살며 들려오는 소리를 따라서 냈다고 한다(그래서 echo가 영어로 ‘메아리’를 뜻하게 된다). 이에 나르키수스를 괘씸하게 여긴 복수의 여신 네메시스(Nemesis)는 그를 벌주기 위해 한여름날 사냥을 하다가 목이 매우 말라진 나르키수스를 연못으로 인도하고 연못에 비친 자신의 얼굴과 사랑에 빠지게 한다. 젊음으로 가득 찬 아름다운 얼굴이 자신인 줄도 모르고 이루어질 수 없는 사랑에 빠진 나르키수스는 마음속의 열병으로 인해 몸이 녹아내려 황금색과 흰색이 뒤섞인 꽃이 되어, 그 꽃에 자기 이름인 나르키수스(수선화)를 붙여주었다.

얼굴은 언제나 나와 함께하는 몸의 일부로서 다른 사람들이 나를 알아보게 하는 나의 정체성 그 자체와 같은 존재이다. 몇 해 전 페이스북이 인기를 끌어 사용자 수가 빠르게 늘고 있을 때 필자가 속한 동호회에서는 각자 프로필 사진을 자기가 ‘좋아하는’ 만화 캐릭터로 바꾸는 놀이를 해본 적이 있다. 50명이 넘는 회원들이 참여했는데, 조건은 단순히 ‘좋아하는’ 캐릭터로 하자는 것이었음에도 불구하고 대부분의 경우 그 캐릭터들과 회원들의 실제 얼굴이 매우 닮았다는 것을 관찰하고 나서 놀라워했다. 자기 자신에 대한 지극한 사랑의 열병으로 몸이 녹아내릴 정도(이런 ‘자기애성 인격장애’는 전체 인구의 1% 정도가 앓는 드문 병으로 알려져 있다)는 아니더라도 사람이라면 자신의 얼굴을 조금씩은 좋아한다는 것을 알려준 경험이었다.

얼굴은 이처럼 우리 정체성의 상징이기도 하고 약간의 만족감을 주는 친밀한 존재이지만, 또한 거울과 같은 제3의 물체를 사용해 무한히 직진하려는 빛의 천성을 인공적으로 꺾어버려야만 비로소 우리가 직접 볼 수 있는 역설의 존재이기도 하다.

코로나로 원격수업·회의 일상화
다른 사람을 오래 쳐다볼 때보다
자신 얼굴 몇 시간씩 보니 피로감

얼굴의 그러한 역설적인 면모(얼굴의 얼굴!)에 대해 다시 생각하게 된 것은 코로나19로 거의 모든 회의가 원격으로 진행되기 시작하면서였다. 같은 건물에서 일하는 학생들·동료들과 수업이나 회의를 원격으로만 하라는 지침이 처음 내려왔을 때 필자는 신문에서 읽은 ‘카메라에 잘 보이는 법’이라는 기사 내용을 따라 하는 정도로만 반응을 하며 크게 마음에 두지 않았다. 그런데 2020년 2월경부터 시작된 원격회의가 반년 넘게 지속되면서 필자는 회의 내내 필자 본인의 얼굴에 눈을 떼지 못한 채 몇 시간씩 바라보고 있었으며, 왜 그런지 설명할 수는 없었지만 다른 사람의 얼굴을 오래 쳐다보고 있을 때보다 더 깊은 피로감이 쌓여 간다는 사실을 깨닫게 되었다. 내 얼굴에 특별한 문제가 있는 것은 아닐 텐데 왜 그런지 고민하던 중, 전 세계 많은 사람들이 필자와 똑같이 자기 얼굴을 바라보면서 피로해하고 있다는 것을 알게 되었다. 이 현대 나르키수스들의 고통은 어디에서 오는 것일까?

거울에 비친 모습 어색한 까닭은
반사면에 적응 못한 이질감 때문

현대 심리학과 생리학 연구에 따르면, 거울에 비치는 우리의 모습을 우리가 어색하게 느끼는 까닭은 우리의 몸과 완벽히 동일하게 움직이는 개체의 이미지라는 것이 실은 ‘완벽하게 평평한 거울이나 줌’과 같은 인공적인 물체가 아니었다면 좀처럼 볼 수 없는, 즉 긴 인류의 역사를 통틀어 우리에게는 결코 자연스러운 것으로 자리 잡지 못했기 때문이라고 한다. 물론 수많은 반사면이 산재한 현대 기술 사회에 익숙해진 우리들은 거울을 보며 자동차를 후진시키고 아침에 면도를 하는 등 꽤나 편하게 살고는 있지만 그것들을 끊김 없이 긴 시간 동안 사용하는 것은 견디기 어려운 이질감과 산만감의 근원이 된다. 이러한 사실을 잘 아는 외국의 한 레스토랑은 실내를 온갖 거울로 장식하면서도 사람들이 자신의 몸을 직접 바라볼 수 없도록 각도를 조절하기도 한다.

하지만 우리 자신과 거울에 비친 모습은 단순한 실용의 측면을 넘어 자의식의 생성이라는 측면에서 아주 중요하고 밀접한 관계를 갖고 있다. 잉글랜드 태생으로 독일에서 활동한 생리학자 윌리엄 T 프레이어(William Thierry Preyer, 1841~1897)는 아이들의 심리 발달을 연구하기 위해 자기 아들의 행동을 매일 관찰했는데, 아들이 생후 14개월에는 거울에 비친 자신의 모습을 보고 다른 사람이라고 생각하는 듯 손을 흔들며 인사를 했고, 17개월에는 다양한 표정을 지어가면서 거울 속 사람의 반응을 살펴보았다고 기록했다. 두 돌이 되자 아이가 거울 속 사람의 이마에 색종이가 붙어 있는 것을 보고서는 거울이 아니라 자신의 이마에 손을 가져가 떼어내는 것을 보며 프레이어는 아이들이 거울에 비친 ‘사람의 모습’이라는 타자와 같은 물리적 개체가 실은 자신임을 아는 순간이 바로 ‘나’라는 개념을 깨닫는 순간이라고 했고, 이렇게 ‘내가 존재한다’는 사실을 아는 것이 성장 과정 가운데 제일 중요한 변혁기라고 했다.

이처럼 자신의 행동을 그대로 따라 하는 거울 속의 상을 보면서 자신의 존재를 깨닫는 것이 가능한 것은 사실 나의 몸과 거울에 비친 상처럼 서로 떨어져 있는 두 가지 다른 물체의 움직임 사이에 물리적, 논리적 연관성이 있다는 것을 인지하게 하는 두뇌의 기능과 깊은 관련이 있다. 상이한 물체의 연관성을 인지하는 것은 인간의 아주 원초적인 기능으로서, 생후 4개월 된 아이도 그림과 소리의 싱크가 잘 맞는지 안 맞는지에 따라 다른 반응을 보인다는 연구 결과가 있을 정도이다. 그런데 흥미롭게도 나와 다른 사람들이 사회적으로 교감할 때는 둘 사이에 아주 완벽한 싱크보다는 약간의 시간적 지연이 존재하는 것을 더 자연스럽게 받아들인다고 한다. 즉 우리가 앞에 서 있는 친구에게 몸짓을 하거나 말을 걸었을 때 그 친구가 조금의 지체도 없이 곧바로 나의 행동을 따라 하거나 대답을 하는 것은 부자연스럽고 위협적으로 느끼고, 약간의 시차를 두고 반응이 와야 마음이 안정되고 그 사람을 더 신뢰하게 된다는 것이다.

그런데 여기에서 더 나아가 현대과학은 이렇게 다른 사람과 공감대를 형성할 때와 내가 나를 인식할 때 활성화되는 두뇌의 위치가 동일하다는 것도 발견해냈다. 즉 인간은 본성적으로 타인과 나를 반드시 함께 생각한다는 것이다. 사람의 두뇌는 누군가가 나에게 손을 뻗어올 때 그것을 흉내 내서 그 사람에게 손을 뻗으려고 하게 하는데, 이탈리아의 신경과학자인 지아코모 리촐라티(Giacomo Rizzolatti, 1937~)가 최초로 이러한 ‘거울 신경계’를 원숭이 두뇌에서 찾아냈고 곧이어 인간의 두뇌에서도 찾아냈다. 이 거울 신경계는 영화 속에서 주인공이 끔찍한 냄새를 맡는 장면에서는 우리도 모르는 새 코를 찡그리고, 옆 사람이 바늘에 찔려 아파하는 모습을 보면 우리도 그 통증을 느끼듯 움찔하게 만드는 동질감과 유대감의 근원이 된다. 또한 걸음마조차 시작하지 않은 아기도 자기의 행동을 따라 하는 사람을 더 좋아한다는 사실은 거울 신경계의 활성화로 생겨나는 유대감을 사람이 본능적으로 좋아할 수밖에 없다는 것을 알려준다. 그래서 어른이 된 우리도 원격으로 회의를 할 때 나의 말에 동의한다는 뜻으로 고개를 끄덕여주는 동료가 ‘엄지척’ 아이콘을 화면에 띄우는 게으른 동료보다 훨씬 더 믿음직하게 생각되는 것이다.

단순히 ‘잘생겼다’ ‘아니다’ 넘어
얼굴의 복잡한 현상 규명 잰걸음

최근 ‘한국인 표정 프로젝트’ 착수
‘감정분석 AI 나오나’ 주목받기도

이처럼 ‘얼굴을 본다’는 것은 단순히 잘생겼다, 아니다를 넘어 우리 자신에 대해 많은 것을 깨닫게 해주는 복잡한 현상인데, 필자도 최근 국내 여러 연구진과 함께 한국인의 얼굴 표정을 모으는 국가 프로젝트를 진행하게 되면서 그 진가를 조금씩 배워가고 있다. 이 프로젝트를 시작한 배경은 한국인의 얼굴로부터 감정을 판별해낼 수 있는 인공지능을 개발해 우리의 감정 상태에 맞춰주는 서비스 기술을 개발하는 토대를 만들자는 것이었다. 얼굴 학습에 사용되는 외국의 데이터에는 당연히 한국인·동양인의 얼굴이 많이 부족한 상황이고 우리가 경험적으로 느끼고 있는 감정 표현에 대한 문화적 차이들이 반영돼 있지 않기 때문에 한국인의 데이터베이스를 새로이 구축해야 한다는 현실도 한몫을 했다. 한국인의 감정을 인식하는 인공지능을 만드는 긴 여정에서 이것은 첫 발걸음에 지나지 않겠지만 이러한 연구가 진행될 것이라는 소식을 접한 대중은 아주 큰 관심을 보여주었고, 우리 연구진이 처음에는 미처 상상하지 못했던 다양한 아이디어들이 필자에게 전해졌다. 그 가운데 특히 제일 인상적이었던 것은 소통에 어려움을 겪고 있을 노년층이나 장애인들을 위한 기술과 서비스 개발에 힘써달라는 요구가 많았다는 점이다. 마스크로 가려지지 않은 타인의 얼굴에 경계심이 먼저 생기는 팬데믹(세계적 대유행) 시대에도 새로운 미래 기술의 수혜자로서 약자를 생각하라는 요청이 많았다는 사실은 사람들과의 유대감을 우선시하는 우리의 본능이 사라지지 않았다는 것을 알게 해주었다.

교류 꺼려진 ‘거리 두기’ 벗어나
과학으로 교감할 미래 사회 기대

유대감과 동질감이 인간 행태의 기본이라는 사실은 아주 오래전부터 알려져 있었다. 1776년 출간된 <국부론(The Wealth of Nations)>’으로 알려져 있는 애덤 스미스(Adam Smith)가 그보다 앞선 1759년의 <도덕 감정론(The theory of moral sentiments)>’이라는 책에서 “다른 사람이 눈물을 흘리면 우리도 눈물이 나오려고 한다. 다른 사람이 아픔에 얼굴을 찡그리면 우리도 얼굴이 일그러진다”고 한 것도, <명상록>의 저자로 유명한 로마 황제 마르쿠스 아우렐리우스(Marcus Aurelius, 기원후 121~180)가 “충만한 인생을 위한다면 다른 사람의 마음에 들어가고, 자신의 마음에 남들이 들어오게 하라”고 한 것도 매우 잘 알고 있는 당연한 사실의 반복이었다. 팬데믹 공포가 드리운 미래를 대비한다며 단순히 사회적 격리를 더 확실히 강제할 수 있는 방법만 생각한다면 불행한 21세기 나르키수스만 수없이 생겨날 위험이 있다. 사회적 거리를 초월해 다시 교감하고 공존감을 느낄 수 있도록 하는 과학기술을 상상해야 할 때이다.

▶박주용 교수



서울대학교 물리학과를 졸업하고 미국 미시간대학교(앤아버)에서 통계물리학·네트워크과학·복잡계과학으로 물리학 박사 학위를 받았다. 하버드 데이나-파버 암연구소에서 연구원으로 시스템스 생물학을 연구하고, 현재 카이스트 문화기술대학원에서 문화와 예술의 물리학을 연구하고 있다. 제주도에 현무암 상징물 ‘팡도라네’를 공동 제작·설치했고, 대전시립미술관의 ‘어떻게 볼 것인가: 프로젝트 X’에서 큐레이터로 활동했다. 학창 시절 미식축구에 빠져 대학팀 랭킹 알고리즘을 창시한 뒤 지금도 빠져 있으며, 남는 시간에 자전거와 모터사이클을 타고 싶어 한다.

박주용 교수