[IT 칼럼]'왜'라는 답변 찾아주는 인공지능

딥러닝으로 뒤덮인 세상은 모든 것의 원인과 근거를 상세하게 설명하지 못하는 안개 낀 사회의 모습을 띤다.

알고리즘이 신용평가를 대신하는 흐름이 뚜렷해지고 있다. 렌도라는 홍콩의 핀테크 스타트업은 소셜네트워크서비스의 데이터만으로 개인의 신용도를 평가한다. 미국의 제스트파이낸스라는 곳은 7만여개의 변수를 사용해 대출 평가를 진행한다. 개인의 금융이력을 따져 보수적으로 금융거래를 진행하던 과거와는 판이한 서비스들이 속속 출현하고 있다.

삽화 김상민 기자

이들 기업은 머신러닝, 인공지능이라는 수식어로 기술력을 뽐낸다. 인공지능이 높은 예측률로 빚을 되갚지 못하는 사람을 판별할 수 있다고 강조한다. 신용 사각지대에 놓인 사람들에게도 혜택이 주어질 것으로 선전한다. 하지만 이러한 언급 뒤에는 중요한 취약점이 숨겨져 있다. 설명 가능성이다.

인공지능의 기술적 실체라 할 수 있는 딥러닝은 말 그대로 깊은 학습과정을 거치며 예측 결과를 제시하고 의사결정을 내린다. 사용자들의 방대한 데이터를 받아들여 학습하고, 최적의 예측치를 추정하는 형태로 스스로를 만들어간다.

문제는 의사결정을 내리는 과정과 이유를 알고리즘 설계자조차도 설명할 수 없다는 사실이다. 의사결정을 내리는 피드백루프가 투명하지 않고, 어떤 판단으로 가중치를 재설정하는지 알아낼 길이 없다. 딥러닝 알고리즘을 블랙박스라고 부르는 이유다.

예를 들어, 신용대출자가 인공지능 신용평가사로부터 대출이 거부됐다는 통보를 받았다고 가정해보자. 대출자는 어떤 이유로 자신의 신용평가가 낮은지 이유를 설명해줄 것을 요청하게 될 것이다. 하지만 인공지능은 근거를 알려주지 못한다. 알고리즘 설계자조차도 합리적인 답변을 내놓기 어렵다. 현재의 인공지능 신용평가 시스템이 지닌 치명적인 약점이다.

딥러닝으로 뒤덮인 세상은 이처럼 모든 것의 원인과 근거를 상세하게 설명하지 못하는 안개 낀 사회의 모습을 띤다. ‘딥러닝: 비판적 평가’라는 논문을 발표했던 뉴욕대 개리 마르커스 교수는 인공지능이 “상관관계와 인과관계를 구분하지 못한다”고 평했는데, 이를 염두에 둔 것이다.

‘설명의 문제’가 해소되지 않으면 알고리즘 오류로 인한 사고의 법률적 책임을 누구에게 부과할지 모호해질 수밖에 없다. 알고리즘 설계자의 편향된 코딩에 책임을 물어야 할 것인지, 아니면 알고리즘 자체의 오류로 결론을 내릴 것인지 판단할 근거가 없다. 법은 무력화하고 책임은 회피되는 혼란의 상태가 도래할 수도 있다.

해법이 없는 것은 아니다. 기술 영역에선 설명가능한 인공지능(Explainable Artificial Intelligence)이 대안으로 제시된다. 의사결정 과정에서 생략된 ‘왜’라는 답변을 찾아주는 인공지능 알고리즘이다. 인공지능이 이 방식으로 개발된다면 앞선 의구심들은 일정 부분 해소될 수 있다. 인공지능의 판단에 설명을 요청할 권리도 보장 받을 수 있다. 하지만 주류적 기술로 자리잡기엔 여전히 요원하다. 군사 영역의 필요로 연구되고 있는 점 또한 찜찜한 대목이다.

기술은 그것을 둘러싼 환경, 제도 등과 결합하고 소통하며 진화한다. 처음 개발된 기술이 사회와의 교류 없이 원형 그대로 채택된 경우는 찾아보기 어렵다. 설명 가능한 인공지능도 마찬가지다. 인공지능이라는 기술에 설명을 요구할 권리를 사회가 수없이 압박하면서 서서히 관심을 받게 됐다.

기술은 끊임없이 사회적 견제에 노출돼야 하고, 인간과 제도는 건강한 기술로 성장할 수 있도록 감시하고 평가해야 한다. 인공지능에 의한 의도적·비의도적 차별을 극복하기 위해서는 결국 인간과 사회가 지속적으로 기술의 방향을 유도할 수밖에 없다. 그것은 어디까지나 인간의 몫이다.

<이성규 메디아티 미디어테크랩장>

© 주간경향 (weekly.khan.co.kr), 무단전재 및 재배포 금지

〈경향신문은 한국온라인신문협회(www.kona.or.kr)의 디지털뉴스이용규칙에 따른 저작권을 행사합니다.〉