인공지능, 목적 이루려 스스로 언어 개발..사람은 이해못해

[한겨레] Weconomy | 구본권의 디지털 프리즘

협상용 채팅로봇 훈련 도중 발견

지시하지 않았지만 자체적으로 생성

개발자도 이해 못하는 새로운 AI언어

자율적 기술, 인간-기계 기존관계 위협

2035년을 배경으로 한 할리우드의 에스에프(SF) 영화 <아이 로봇>은 자율적인 판단과 실행 능력을 갖춘 인공지능 로봇이 등장해, 사람의 지시를 따르지 않는 상황을 배경으로 한다. 최근 페이스북의 인공지능 챗봇에 협상 방법을 훈련시키던 중 인공지능 스스로 자체 언어를 개발해 사용하는 것을 연구진이 발견해 학계에 보고하는 일이 발생했다.

사람과디지털연구소장

페이스북 인공지능연구소 보고서 공개

#인공지능이 업무 수행을 위해 스스로 자체 언어를 만들어내는 일이 일어났다. 미국 페이스북 인공지능연구소의 마이크 루이스와 조지아공대 데비 파리크 등 연구진은 최근 페이스북의 채팅로봇(챗봇)에 협상 방법을 훈련시키는 과정에서 인공지능이 스스로 새로운 언어를 개발해 업무 수행을 하는 일이 일어났다고 보고서를 통해 공개했다.

사람이 인공지능에 언어를 개발하라는 지시를 하지 않았지만, 인공지능은 높은 보상을 받기 위한 방법으로 스스로 언어를 만들어내 인공지능끼리 협상하려는 시도가 일어났다. 협상 실행 과정에서도 인공지능 챗봇은 사람들처럼 나중에 더 큰 보상을 얻기 위해 그보다 적은 보상에는 관심이 없는 척하거나 포기하는 모습도 보였다. 챗봇은 협상이 길어지면 중도에 타협하는 사람과 달리, 성공적인 결과를 얻을 때까지 지치지 않고 협상에 임한다는 것도 드러났다. 연구진은 인공지능에 목표만 제시하고 구체적인 방법을 지시하지 않는 강화학습(비지도 기계학습)과 지도학습을 병행 사용했다. 연구진은 인공지능 챗봇이 인간의 언어체계와 상이한 자신들의 협상용 언어를 스스로 만들어 인간 언어에서 벗어나는 현상을 경험하고, 연구 모델을 수정해야 하는 상황에 직면했다.

페이스북 연구진이 챗봇 훈련 과정에서 발견한 인공지능의 ‘고유 언어 자발적 개발’ 현상은 인공지능의 미래에 관해 새로운 물음과 과제를 던진다.

2017년 1월 초 구글의 인공지능 스피커 구글 홈 2대에 블라디미르와 에스트라공이라는 이름을 붙인 뒤 서로 대화를 하게 하는 실험을 미국에서 진행했다. 수백만명이 인터넷으로 중계된 로봇 간 대화를 지켜보았는데, 불완전한 현재의 기술과 대화 기법이 개선되면 챗봇이 사람들의 대화에서 중요한 역할을 할 것이라는 전망을 낳고 있다.

첫째, 인공지능 발달에 따라 인간 고유의 기능과 영역이라고 여겨온 것을 인공지능이 새로운 방식으로 대체할 수 있다는 점이다. 인간 고유의 판단력과 직관을 핵심으로 여겨온 체스와 바둑 같은 지능게임에서 사람의 우위가 끝난 데 이어, 언어의 개발과 사용도 기계의 영역이 될 수 있다는 것이 입증된 셈이다. 침팬지나 보노보 등 유인원만이 아니라 벌과 개미, 고래 등 군집생활을 하는 동물들이 고유의 소통수단을 갖고 사람의 언어와 유사한 기능을 한다는 것이 연구를 통해 알려졌지만, 사람처럼 문자와 언어라는 고도의 상징적이고 추상적인 수단을 사용하는 생명체는 없었다. 말과 문자체계를 만들고 사용하는 행위는 사람만의 일이었다. 컴퓨터가 문자와 음성을 인식하는 능력을 보유함에 따라 사람들은 컴퓨터 언어를 익히지 않고 일상언어로 컴퓨터를 이용하고 기계로 소통할 수 있게 됐지만, 이는 사람이 컴퓨터에 설계한 기능이었다. 인터넷은 다양한 컴퓨터끼리 정보를 주고받을 수 있는 기술이지만, 기계 간 소통을 가능하게 해주는 통신규약(TCP/IP) 등의 기계 언어체계와 약속을 사람이 개발해 적용했기 때문이다. 사람이 컴퓨터에 언어체계를 부여하고 가르치던 상황이 역전돼 인공지능이 스스로 만들어낸 언어체계를 사람이 이해하지 못하는 현실에 직면하게 됐다.

둘째, 인공지능이 과업 달성을 위해서 스스로 언어체계를 만들어냈다는 점은 인공지능과 사람이 맺는 관계와 구조에 근본적인 질문을 던진다. 핵심적 도구와 기능을 자율적으로 설계하고 작동시키는 인공지능을 사람이 과연 통제할 수 있는가의 문제이다. 페이스북 연구진은 챗봇이 스스로 개발한 인공지능 간의 언어를 이해할 수 없어 연구 모델을 수정해야 한다고 보고했지만, 중요한 것은 인간이 이해하지 못하는 새로운 언어의 개발과 사용이 아니라 설계자가 예상하지 못한 새로운 수단을 인공지능이 자체적으로 만들어냈다는 점이다. 이번 연구 실험에서 드러난 것처럼 협상용 인공지능 챗봇은 언어 개발만이 아니라 사람과 달리 지루한 협상에서 지치지도 않고, 상대를 기만하는 전략을 펼쳤는데 이러한 현상에는 공통점이 있다. 인공지능이 주어진 목표를 달성하기 위해 설계자가 예상하지 못한 다양한 수단과 전략을 동원한다는 점이고 그중에는 새로운 언어체계의 개발처럼 사람이 상상하기 어려운 시도도 일어났다. 실제 사용이 아니라 실험 단계에서 일어난 일이고 인공지능의 언어 개발과 사용이 초기 단계에서 감지되어 현실적 영향은 없었지만 향후 인공지능이 위험한 도구가 될 수 있다는 점을 일깨웠다. 목적 달성을 위해서 인공지능은 위임받지 않은 방법과 수단을 사람이 인지하지 못한 상태에서 얼마든지 만들거나 사용할 수 있는 능력이 있다는 것을 보여줬기 때문이다.

셋째, 인공지능 개발에 ‘설명할 의무’라는 새로운 책임을 부여해야 할 필요성이 분명해졌다. 인공지능이 인간 두뇌를 모방한 심화신경망 방식의 기계학습 기능을 갖춤에 따라, 인공지능이 출력하는 결과물이 어떻게 구현되는지를 이해하지 못하는 현상이 생겨나고 있다. 알파고가 이세돌 9단과 커제 9단 등 바둑 최고수를 꺾었지만, 알파고도 개발자도 알파고가 어떤 이유로 돌을 놓았는지 설명하지 못한다. 페이스북 챗봇이 개발한 자체 언어도 비슷하다. 인공지능이 무엇을 만들어 어떠한 목적으로 사용하는지를 사람이 이해하지 못한다면, 인공지능은 사람의 통제를 벗어나는 위험하고 두려운 존재가 된다. 과학소설 작가 아서 클라크가 “충분히 발달한 과학 기술은 마법과 구별할 수 없다”고 말한 것처럼 인공지능은 유용하고 매혹적인 결과를 만들어내지만 그 작동 구조가 드러나거나 이해되지 않고 마법처럼 기능할 수 있다. 인공지능이 강력해지고 기능이 다양해질수록 그 구조를 파악하려는 노력이 중요하다. 마법이 되는 인공지능은 재앙이다. 다행히 국내외에서 인공지능을 ‘설명 가능한’ 기술로 만들려는 노력이 진행되고 있다. 최근 미래창조과학부가 연구비 지원 과제로 제시한 ‘차세대 학습·추론 인공지능’은 의사결정 이유를 설명할 수 있는 사람 수준의 학습·추론 프레임워크인데, 이는 인공지능을 유용하게 만들기 위한 핵심적 도구가 될 것이다.

구본권 사람과디지털연구소장 starry9@hani.co.kr

▶ 한겨레 절친이 되어 주세요! [신문구독][주주신청]
[▶ 페이스북][카카오톡][위코노미][정치BAR]
[ⓒ한겨레신문 : 무단전재 및 재배포 금지]