풀HD가 순식간에 4K UHD로.. AI기반 화질변환 기술 첫선

김문철 교수팀, 기술개발 성공
"UHD TV·360도 VR 등 적용"

김문철 KAIST 교수팀이 개발한 인공지능으로 풀 HD 영상을 4K-UHD 화질로 업스케일링하는 하드웨어의 시연 모습. KAIST 제공

국내 연구진이 인공지능을 통해 풀 HD 영상을 4K UHD 초고화질 영상으로 변환하는 기술을 개발했다.

KAIST(총장 신성철) 전기 및 전자 공학부 김문철 교수팀은 딥러닝을 이용한 기술 중 하나인 '심층 콘볼루션 신경망'을 기반으로 초당 60프레임의 초고해상도 4K UHD 화면을 실시간으로 생성할 수 있는 알고리듬과 하드웨어를 세계 최초로 구현했다고 16일 밝혔다.

최근 가전 TV 시장은 퀀텀닷(양자점), 유기발광다이오드(OLED) 등 차세대 기술 경쟁이 치열해지면서 소비자의 눈높이를 맞추기 위한 4K UHD 해상도가 주류로 자리 잡고 있다.

특히 우리나라는 지난해 5월 31일부터 세계 최초로 지상파 4K UHD TV 본방송을 시작했고, IPTV와 케이블 방송에서도 4K UHD 서비스를 제공하고 있다. 하지만 아직 제작 비용 부담 등으로 인해 4K UHD 방송 콘텐츠가 부족한 실정으로, 현재 HD급 방송 콘텐츠를 4K UHD TV 단말에 맞춰 고품질로 변환하는 '업스케일링' 기술이 필요한 상황이다.

최근 딥러닝 기법을 이용한 업스케일링 기술 연구가 활발히 이뤄지고 있는 가운데, 심층 콘볼루션 신경망 기술을 적용한 기술이 화질 성능에서 괄목할 성과를 보이고 있다. 하지만 심층 콘볼루션 신경망 기술은 연산 복잡도가 매우 높고 사용되는 메모리가 커 작은 규모의 하드웨어를 통해 초고해상도 영상을 실시간으로 변환하는 데 한계가 있었다. 또 기존의 프레임 단위로 영상을 처리하던 방식은 DRAM과 같은 외부 메모리 사용이 필수적인데, 이로 인해 영상 데이터를 처리할 때 지나친 외부 메모리 접근으로 인한 병목현상과 전력 소모가 발생했다.

연구팀은 프레임 단위 대신 라인 단위로 데이터를 처리할 수 있는 심층 콘볼루션 신경망 구조를 개발해 외부 메모리를 사용하지 않고도 작은 규모의 하드웨어에서 초당 60 프레임의 4K UHD 초해상화를 구현했다. 이 하드웨어 기반의 기술은 기존 소프트웨어 방식의 심층 콘볼루션 신경망 기반의 고속 알고리듬과 비교해 필터 파라미터를 65% 정도만 적용하고도 유사한 화질을 유지했다.

김 교수는 "이번 연구는 심층 콘볼루션 신경망이 작은 규모의 하드웨어에서 초고품질 영상 처리에 실질적으로 응용 가능한 기술임을 보인 매우 중요한 사례"라며 "현재 프리미엄 UHD TV 및 UHD 방송 콘텐츠 생성, 360도 VR 콘텐츠, 4K IPTV 등의 서비스에 효과적으로 적용할 수 있다"고 말했다.

남도영기자 namdo0@