글로벌 테크 기업들이 업스케일링에 주목하는 이유

IT동아 · 2024.07.08 17:01:45

[IT동아 권명관 기자] 정보통신산업진흥원(NIPA)이 지난달 발표한 자료에 따르면, 디지털 콘텐츠 부문에서 급성장한 유망 기술 1위는 ‘업스케일링(Upscaling)’으로 나타났다. 지난 2023년 5월부터 2024년 4월까지 IT 뉴스매체 대상으로 키워드를 분석한 결과 업스케일링은 100% 성장했다. 최근 업계에서 높아진 업스케일링 기술에 대한 관심을 수치로 보여준 셈이다.

출처=정보통신산업진흥원

업스케일링은 이미지와 영상의 ‘크기를 키우는’ 기술이다. 저화질 이미지를 큰 디스플레이 크기에 맞춰 억지로 늘리면 화소(픽셀)는 깨지고, 경계 부분은 계단처럼 보이는 ‘계단현상(Aliasing)’ 등이 나타난다. 이러한 문제를 해결하기 위해 대상 픽셀과 가장 가까이 있는 픽셀들의 평균값으로 부족한 부분을 추정해 채워 넣었는데(일명 보간법), 업스케일링의 기본 원리에 해당한다. 다만, 이러한 방식은 이미지 크기를 키우더라도 이미지 품질 자체는 높이기 어려웠다.

이 같은 단점을 보완하기 위해 최근 인공지능(AI)를 활용한 업스케일링이 등장했다. 컨볼루션 신경망(CNN), 생성형 적대 신경망(GAN. Generative Adversarial Network) 등 AI 모델을 활용해 더욱 정교하게 화질을 끌어올리고 있다.

특히, AI 업스케일링은 이미지 품질을 높이는데 국한되지 않는다. 패널의 화면 구현 성능을 높여 주기도 하며, 영상 처리 순서를 어떻게 적용하느냐에 따라 게임 렌더링 효율성을 극대화하는데도 쓰인다. 이처럼 다양한 쓰임새 때문에 여러 기업이 각자의 사업과 제품에 맞춰 업스케일링 기술을 조금씩 다르게 변형, 개발해 적용하는 추세다.

TV에 장착한 ‘온디바이스AI’가 구현하는 업스케일링

업스케일링 기술에 가장 힘을 쏟고 있는 업계는 단연 TV 시장이다. 삼성전자, LG전자 등은 이미 제품에 화질을 개선할 수 있는 AI 칩을 ‘온디바이스’ 형태로 적용해 출시하고 있다.

AI 칩을 기기에 직접 장착했다는 뜻의 ‘‘온디바이스AI’ TV다. 보통 생성형 AI 모델은 사용자가 원하는 요청을 이해하고 분석한 뒤, 그에 따른 대답, 반응, 피드백, 생성 결과물을 돌려주는 방식으로 동작하는데, 이를 위해 대용량 컴퓨팅파워를 필요로 한다. 따라서 연산, 생성 등의 과정은 성능이 제한적인 개인 컴퓨터, 모바일 기기에서는 거의 구현하기 어려웠다. 보통 원 서버(Origin Server)인 데이터센터를 활용하기 때문에 촘촘하게 연결된 온라인망, 인터넷 환경을 반드시 필요로 한다.

하지만, 대규모 연산을 필요로 하지 않는 단순한 기능을 구현한다거나, 폐쇄적인 개인정보만을 활용하는 AI 모델은 기기에 직접 AI 칩을 장착해 활용하는 사례가 늘고 있다. TV에 장착되어 있는 업스케일링 AI 칩이 대표적인 사례다.

삼성전자는 ‘8K AI 업스케일링 프로’ 기능에 대해 “저해상도 영상도 8K 급으로 업스케일링해 더욱 선명한 화질을 제공하고, 명암비를 강화해 3차원 깊이감을 더했으며, 스포츠 종목을 자동 감지해 움직임을 부드럽게 보정하는 기능까지 지원한다”라고 설명했다.

‘그래픽카드+게임 타이틀’ 중심의 업스케일링

게임 업계도 TV 업계 못지않게 업스케일링 기술에 적극적으로 투자하고 있다. 게임은 높은 화질을 바탕으로 몰입감을 극대화하는 대표적인 디지털 콘텐츠인만큼 게임 관련 업체들은 ‘어떻게 게임의 화질을 높일 수 있을지’ 늘 고민한다.

게임을 만드는 게임 제작사뿐만 아니라 고사양 게임의 필수 요소인 그래픽카드 제조사도 나름의 방식으로 변형, 개발한 자체 업스케일링 기술을 잇따라 소개하고 있다. 대표적인 것이 엔비디아의 ‘DLSS(Deep Learning Super Sampling)’와 AMD의 ‘FSR(FidelityFX Super Resolution)’이다.

3

엔비디아 DLSS(Deep Learning Super Sampling) 단계별 화질 개선효과 소개 모습, 출처=엔비디아

업스케일링은 보통 저화질 콘텐츠를 고해상도로 감상할 수 있게 하기 위한 경우가 많지만 게임 업계, 특히 그래픽카드 업체들은 연산 효율을 높이기 위해 활용한다. 실시간 반응성을 우선하기 때문이다. 이에 게임 그래픽을 구성하는 디지털 정보들을 패널 표시 영상으로 변환(렌더링)하는 과정을 최대한 빠르게 처리하기 위해 일부러 해상도를 떨어뜨려 신속하게 연산하고, 마지막에 고해상도로 영상을 업스케일링하는 방식을 채택하고 있다. 처음부터 고화질 영상을 렌더링하는 것이 더 확실한 화질을 얻을 수 있지만, 연산 작업 시간이 길어져 게임 이용자의 몰입감을 헤칠 수 있기 때문이다.

엔비디아의 DLSS는 해상도를 키우는 ‘SR(Super Resolution)’, 기존에 없었던 프레임을 새롭게 생성해 영상의 움직임을 부드럽게 만드는 ‘FG(Frame Generation)’, 노이즈를 제거하면서도 광원과 그림자, 빛 반사 영역까지 그대로 재현해주는 ‘RR(Ray Reconstruction)’ 등의 기능을 갖췄다.

다만, 이러한 기술은 특정 게임에 제한적으로 적용된다는 단점이 있다. 언리얼엔진(게임 제작에 사용되는 대표적인 도구)을 통해 게임 개발 단계부터 엔비디아 DLSS 적용을 설정할 수 있긴 하지만, 해당 게임의 그래픽 정보들을 사전에 엔비디아 GPU가 학습해 둬야 하기 때문이다.

콘텐츠 자체를 고도화하는 업스케일링

가장 효과적인 업스케일링 방법은 콘텐츠 파일 자체를 AI 모델로 분석하고 업스케일링(SR, Super Resolution), 복원(Restoration), 개선(Enhancement) 등의 과정을 처리하는 것이다. 이는 출력 화면을 개선하는 방식(온디바이스 AI)이나 특정 게임 데이터를 사전에 학습한 그래픽카드 내 AI 칩을 활용하는 방식보다 더 확실하고 효과적이다. 화질 개선 AI 모델을 개발하는 대표적인 글로벌 기업으로는 ‘토파즈(Topaz)’가 있으며, 국내에는 SKT의 ‘수퍼노바 AI’, 포바이포(4BY4)의 ‘픽셀’ 등이 있다.

포바이포는 초고화질 영상을 제작하는 업체로 시작해 자체 화질 개선 AI 모델을 개발하면서 콘텐츠 AI 솔루션 업체로 전환했다. 픽셀 솔루션의 가장 큰 장점은 해상도와 이미지의 크기를 업스케일링하면서 채도, 명암비, 디노이즈(De-noise), 선예도 등 화질을 결정짓는 4가지 요소를 동시에 개선한다는 점이다. 포바이포는 이러한 결과에 대해 AI 도입 이전부터 화질 전문 인력이 화질을 개선해왔던 노하우와 기존에 확보하고 있던 초고화질 콘텐츠를 AI 학습용 데이터로 활용했기 때문이라고 설명한다.

CES 2024에서 2개 부분 혁신상을 수상한 포바이포의 화질 개선 AI 솔루션 ‘픽셀’ / 출처=포바이포

윤준호 포바이포 대표는 “화질 개선 AI 모델의 쓰임은 단순히 콘텐츠 화질 개선에 그치지 않는다”라며, “기기, 반도체, 플랫폼, 특수효과 등 다양한 영역에서 작업 효율을 높이거나 처리속도를 빠르게 하는 방식으로 활용될 가능성이 높은 기술”이라고 설명했다.

한 디지털 콘텐츠 업계 관계자는 “최근 오픈AI의 소라(Sora)를 필두로 루마AI의 드림머신(Dream Machine), 런웨이의 젠-3 알파(Gen-3 Alpha)' 등 다양한 업체들이 텍스트 투 비디오(TTV) 기능을 제공하는 영상 생성형 AI를 속속 선보이고 있지만 제작 가능한 영상들은 대부분 4초 가량으로 제한되어 있다”라며 “1분 이상 영상을 빠르고 완성도 있게 만들기 위해서는 막대한 컴퓨팅 파워와 장시간 렌더링을 필요로 하기 때문”이라고 말했다. 이어서 “이 문제는 저화질로 빠르게 영상을 생성해 렌더링 하고, 화질 개선 AI 모델을 연달아 사용하는 방식으로 해결할 수 있을 것”이라고 업스케일링 기술의 가능성을 제시했다.

글 / IT동아 권명관(tornadosn@itdonga.com)

사용자 중심의 IT 저널 - IT동아 (it.donga.com)

번호	제목	글쓴이	작성일	조회	추천
설문	정치에 절대 관여 안 했으면 싶은 스타는?	운영자	25/06/23	-	-
이슈	[디시人터뷰] 짧지만 강렬하게, 인플루언서 장은비	운영자	25/06/24	-	-
4122	[리뷰] 진짜 세균까지 잡아? ‘LG 퓨리케어 오브제컬렉션 360° 공기청정기 UV살균’ [1]	IT동아	24.07.31	2318	2
4121	AMD, '플루이드 모션 프레임 2' 지원 테크니컬 프리뷰 드라이버 출시	IT동아	24.07.31	336	0
4120	[스타트업-ing] 딜리버리엠, “블로그에 글 쓰듯 글로벌 웹사이트를 만들 수 있습니다”	IT동아	24.07.30	311	0
4119	[혁신스타트업 in 홍릉] 세븐포인트원, VRㆍ비대면 기술로 ‘치매 예방 위한 디지털 영양제’를 꿈꾸다	IT동아	24.07.30	297	0
4118	여행 속에서 온전한 나를 찾도록 돕는 ‘포먼트립’ [동국대학교 캠퍼스타운]	IT동아	24.07.30	286	0
4117	LG전자, 서울시와 손잡고 전기차 충전 솔루션 사업 확대	IT동아	24.07.30	261	0
4116	젠슨 황·저커버그 대담으로 들여다본 '생성형 AI의 향방'	IT동아	24.07.30	257	0
4115	[정구태의 디지털자산 리터러시] 디지털자산 업계의 다양성 확보와 건강한 생태계 조성	IT동아	24.07.30	939	0
4114	[스타트업-ing] 선상원 로드원 대표, “허니콤 볼라드로 사고를 방지합니다” [1]	IT동아	24.07.30	454	0
4113	삼성전자, 2024 파리 올림픽 메달리스트 대상 ‘셀카 마케팅’ 나서 [5]	IT동아	24.07.29	2787	5
4112	[리뷰] 집에서도 고주파로 피부 케어, 메디큐브 에이지알 울트라튠 40.68	IT동아	24.07.29	2148	0
4111	[SBA x IT동아] 여성 과학자들이 만든 페미닌 헬스케어 스타트업 ‘이너시아’	IT동아	24.07.29	295	0
4110	[리뷰] 에이수스 젠북 S 16 OLED로 확인해 본 AMD 라이젠 AI 9 HX 370 [14]	IT동아	24.07.29	3946	1
4109	[스타트업-ing] 로웨인 “로봇으로 차세대 수직농장 현실화”	IT동아	24.07.29	279	1
4108	[스타트업-ing] CIT “ASE 증착 기술, 국내외 다양한 성과 이어져”	IT동아	24.07.29	250	0
4107	[주간투자동향] 딜리버스, 146억 원 시리즈B 투자 유치	IT동아	24.07.29	245	0
4106	[이럴땐 이렇게!] 해외 여행 시 플러그와 전압 정리 한 눈에	IT동아	24.07.29	1703	1
4105	[리뷰] AI 시대의 워크스테이션 노트북, 델 프리시전 5690 [4]	IT동아	24.07.29	1113	0
4104	[투자를IT다] 2024년 7월 4주차 IT기업 주요 소식과 주가 흐름	IT동아	24.07.28	5186	2
4103	[농업이IT(잇)다] 넥스트그린, 기후변화 속 고부가가치 작물 재배 ‘식물공장 육묘 시스템’을 제안하다	IT동아	24.07.26	313	0
4102	[자동차 디자人] 영국 스포츠카 브랜드 ‘로터스’ 디자인 수장 ‘벤 페인’	IT동아	24.07.26	312	0
4101	[생성 AI 길라잡이] 내 손으로 만드는 광고 시안, 코바코 'AiSAC' [4]	IT동아	24.07.26	8700	2
4100	[리뷰] 성능은 갖추고 가격은 낮췄다, 낫싱 CMF 버즈 프로 2	IT동아	24.07.26	1020	0
4099	[SBA x IT동아] 고차원 “아프기 전 관리하는 구강·수면 케어 전파”	IT동아	24.07.26	983	0
4098	마이바흐 첫 전기차 ‘EQS SUV’ 출시…주행가능 거리 612km	IT동아	24.07.25	322	0
4097	[스타트업 첫걸음] 멘토링, 멘티가 되는 것도 준비가 필요하다	IT동아	24.07.25	343	0
4096	[스타트업-ing] 이영은 이니티움 대표, “초등학생도 음악을 작곡할 수 있습니다” [7]	IT동아	24.07.25	6096	1
4095	리클 “의류 재활용 비즈니스를 위한 업무혁신, 그랜터 AI로 가속화”	IT동아	24.07.25	519	1
4094	[SBA X IT동아] 아임토리 “로봇 팔 도입한 제조업 현장, AI 공정 최적화로 효율 극대화”	IT동아	24.07.25	1134	0
4093	차트분석 도구 ‘트레이딩뷰’ 파고들기 - 21	IT동아	24.07.25	295	0
4092	람보르기니 ‘분당 전시장’ 오픈…최초 하이브리드 SUV ‘우루스 SE’ 공개	IT동아	24.07.24	350	0
4091	방문 어려운 해외∙오지 분석, “인공위성으로 한 눈에” - 스텔라비전	IT동아	24.07.24	257	0
4090	DAXA, 자율규제안 제·개정 “가상자산법 안착 위해 노력할 것”	IT동아	24.07.24	965	0
4089	릿툰 “웹툰도 이젠 숏폼이 대세, 인스타그램 아닌 전문 플랫폼 필요” [동국대학교 캠퍼스타운]	IT동아	24.07.24	268	0
4088	‘케이블 노출 없이 깔끔하게’ 에이수스, BTF 설계로 PC 시장 변화 주도 나선다	IT동아	24.07.24	277	0
4087	‘클라우드에서 AI PC까지’ 인공지능 시대를 위한 AMD의 전략	IT동아	24.07.23	555	1
4086	[신차공개] 르노 ‘그랑 콜레오스’ 가격 공개·KGM ‘액티언’ 흥행 예고	IT동아	24.07.23	385	0
4085	클라우드 오류가 불러온 '사이버 정전', 발생 원인과 교훈은?	IT동아	24.07.23	576	1
4084	[자동차와 法] 판례로 보는 휴가철 교통사고	IT동아	24.07.23	498	0
4083	[혁신스타트업 in 홍릉] 틸더 “의료데이터 활용, 소비자에 실질적 혜택 제공하는 게 관건”	IT동아	24.07.23	310	0
4082	운약근답올핏 “혼자 할 수 있는 재활 운동 기구 ‘라이클’을 개발합니다” [동국대학교 캠퍼스타운]	IT동아	24.07.23	263	0
4081	[스케일업] 두디스 [2] 어센트코리아 "경영자는 모든 것을 숫자로 판단해야"	IT동아	24.07.23	5113	0
4080	[정구태의 디지털자산 리터러시] 건전한 디지털자산 시장을 위한 민간 중심 감시시스템 구현	IT동아	24.07.22	239	0
4079	텐스토렌트, 웜홀 AI 가속기 판매 돌입··· '증명의 시기 왔다' [10]	IT동아	24.07.22	2984	1
4078	‘휴대성ㆍ디자인ㆍ다중작업까지’ 다양한 선택지 갖춘 인텔 AI PC [1]	IT동아	24.07.22	454	0
4077	가상자산 거래소, 예치금 이용료율 발표 ‘최대 2.5%까지 이자 제공’	IT동아	24.07.22	237	0
4076	[뉴스줌인] 커세어의 새로운 SFX 폼팩터 파워서플라이, 뭐가 다를까? [6]	IT동아	24.07.22	1255	1
4075	차트분석 도구 ‘트레이딩뷰’ 파고들기 - 20	IT동아	24.07.21	388	0
4074	AMD 개발자들이 말하는 '라이젠 9000ㆍ라이젠 AI 300' 이야기 [48]	IT동아	24.07.20	10026	11
4073	공항, 병원, 은행 모두 멈췄다… 전 세계적 전산 장애 발생 [1]	IT동아	24.07.19	472	0
뉴스	디올 타임피스, 까나쥬를 더한 La D My Dior 컬렉션의 신제품 공개	디시트렌드	06.26

최근 방문

즐겨찾기 갤러리

이미지 올리기 이용안내

갤러리 이슈박스, 최근방문 갤러리

연관 갤러리

개념글 리스트

차단하기

[IT동아 갤러리]

갤러리 본문 영역

TV에 장착한 ‘온디바이스AI’가 구현하는 업스케일링

‘그래픽카드+게임 타이틀’ 중심의 업스케일링

콘텐츠 자체를 고도화하는 업스케일링

▶ 다가오는 AI PC 시대, AI PC로는 무엇을 할 수 있을까?▶ [리뷰] 인텔 코어 울트라 5 품은 갤럭시 북4 프로로 경험한 ‘인공지능(AI) PC’▶ [생성 AI 길라잡이] 3세대로 업그레이드된 인공지능 콘텐츠 생성 ‘런웨이ML’

추천 비추천

댓글 영역

① NFT 발행

② NFT 구매

하단 갤러리 리스트 영역

왼쪽 컨텐츠 영역

갤러리 리스트 영역

페이지 이동

오른쪽 컨텐츠 영역

알림 설정

알림

디시콘 리스트

디시콘

디시콘 검색결과(0)

인기 디시콘