글로벌 테크 기업들이 업스케일링에 주목하는 이유

IT동아 · 2024.07.08 17:01:45

[IT동아 권명관 기자] 정보통신산업진흥원(NIPA)이 지난달 발표한 자료에 따르면, 디지털 콘텐츠 부문에서 급성장한 유망 기술 1위는 ‘업스케일링(Upscaling)’으로 나타났다. 지난 2023년 5월부터 2024년 4월까지 IT 뉴스매체 대상으로 키워드를 분석한 결과 업스케일링은 100% 성장했다. 최근 업계에서 높아진 업스케일링 기술에 대한 관심을 수치로 보여준 셈이다.

출처=정보통신산업진흥원

업스케일링은 이미지와 영상의 ‘크기를 키우는’ 기술이다. 저화질 이미지를 큰 디스플레이 크기에 맞춰 억지로 늘리면 화소(픽셀)는 깨지고, 경계 부분은 계단처럼 보이는 ‘계단현상(Aliasing)’ 등이 나타난다. 이러한 문제를 해결하기 위해 대상 픽셀과 가장 가까이 있는 픽셀들의 평균값으로 부족한 부분을 추정해 채워 넣었는데(일명 보간법), 업스케일링의 기본 원리에 해당한다. 다만, 이러한 방식은 이미지 크기를 키우더라도 이미지 품질 자체는 높이기 어려웠다.

이 같은 단점을 보완하기 위해 최근 인공지능(AI)를 활용한 업스케일링이 등장했다. 컨볼루션 신경망(CNN), 생성형 적대 신경망(GAN. Generative Adversarial Network) 등 AI 모델을 활용해 더욱 정교하게 화질을 끌어올리고 있다.

특히, AI 업스케일링은 이미지 품질을 높이는데 국한되지 않는다. 패널의 화면 구현 성능을 높여 주기도 하며, 영상 처리 순서를 어떻게 적용하느냐에 따라 게임 렌더링 효율성을 극대화하는데도 쓰인다. 이처럼 다양한 쓰임새 때문에 여러 기업이 각자의 사업과 제품에 맞춰 업스케일링 기술을 조금씩 다르게 변형, 개발해 적용하는 추세다.

TV에 장착한 ‘온디바이스AI’가 구현하는 업스케일링

업스케일링 기술에 가장 힘을 쏟고 있는 업계는 단연 TV 시장이다. 삼성전자, LG전자 등은 이미 제품에 화질을 개선할 수 있는 AI 칩을 ‘온디바이스’ 형태로 적용해 출시하고 있다.

AI 칩을 기기에 직접 장착했다는 뜻의 ‘‘온디바이스AI’ TV다. 보통 생성형 AI 모델은 사용자가 원하는 요청을 이해하고 분석한 뒤, 그에 따른 대답, 반응, 피드백, 생성 결과물을 돌려주는 방식으로 동작하는데, 이를 위해 대용량 컴퓨팅파워를 필요로 한다. 따라서 연산, 생성 등의 과정은 성능이 제한적인 개인 컴퓨터, 모바일 기기에서는 거의 구현하기 어려웠다. 보통 원 서버(Origin Server)인 데이터센터를 활용하기 때문에 촘촘하게 연결된 온라인망, 인터넷 환경을 반드시 필요로 한다.

하지만, 대규모 연산을 필요로 하지 않는 단순한 기능을 구현한다거나, 폐쇄적인 개인정보만을 활용하는 AI 모델은 기기에 직접 AI 칩을 장착해 활용하는 사례가 늘고 있다. TV에 장착되어 있는 업스케일링 AI 칩이 대표적인 사례다.

삼성전자는 ‘8K AI 업스케일링 프로’ 기능에 대해 “저해상도 영상도 8K 급으로 업스케일링해 더욱 선명한 화질을 제공하고, 명암비를 강화해 3차원 깊이감을 더했으며, 스포츠 종목을 자동 감지해 움직임을 부드럽게 보정하는 기능까지 지원한다”라고 설명했다.

‘그래픽카드+게임 타이틀’ 중심의 업스케일링

게임 업계도 TV 업계 못지않게 업스케일링 기술에 적극적으로 투자하고 있다. 게임은 높은 화질을 바탕으로 몰입감을 극대화하는 대표적인 디지털 콘텐츠인만큼 게임 관련 업체들은 ‘어떻게 게임의 화질을 높일 수 있을지’ 늘 고민한다.

게임을 만드는 게임 제작사뿐만 아니라 고사양 게임의 필수 요소인 그래픽카드 제조사도 나름의 방식으로 변형, 개발한 자체 업스케일링 기술을 잇따라 소개하고 있다. 대표적인 것이 엔비디아의 ‘DLSS(Deep Learning Super Sampling)’와 AMD의 ‘FSR(FidelityFX Super Resolution)’이다.

3

엔비디아 DLSS(Deep Learning Super Sampling) 단계별 화질 개선효과 소개 모습, 출처=엔비디아

업스케일링은 보통 저화질 콘텐츠를 고해상도로 감상할 수 있게 하기 위한 경우가 많지만 게임 업계, 특히 그래픽카드 업체들은 연산 효율을 높이기 위해 활용한다. 실시간 반응성을 우선하기 때문이다. 이에 게임 그래픽을 구성하는 디지털 정보들을 패널 표시 영상으로 변환(렌더링)하는 과정을 최대한 빠르게 처리하기 위해 일부러 해상도를 떨어뜨려 신속하게 연산하고, 마지막에 고해상도로 영상을 업스케일링하는 방식을 채택하고 있다. 처음부터 고화질 영상을 렌더링하는 것이 더 확실한 화질을 얻을 수 있지만, 연산 작업 시간이 길어져 게임 이용자의 몰입감을 헤칠 수 있기 때문이다.

엔비디아의 DLSS는 해상도를 키우는 ‘SR(Super Resolution)’, 기존에 없었던 프레임을 새롭게 생성해 영상의 움직임을 부드럽게 만드는 ‘FG(Frame Generation)’, 노이즈를 제거하면서도 광원과 그림자, 빛 반사 영역까지 그대로 재현해주는 ‘RR(Ray Reconstruction)’ 등의 기능을 갖췄다.

다만, 이러한 기술은 특정 게임에 제한적으로 적용된다는 단점이 있다. 언리얼엔진(게임 제작에 사용되는 대표적인 도구)을 통해 게임 개발 단계부터 엔비디아 DLSS 적용을 설정할 수 있긴 하지만, 해당 게임의 그래픽 정보들을 사전에 엔비디아 GPU가 학습해 둬야 하기 때문이다.

콘텐츠 자체를 고도화하는 업스케일링

가장 효과적인 업스케일링 방법은 콘텐츠 파일 자체를 AI 모델로 분석하고 업스케일링(SR, Super Resolution), 복원(Restoration), 개선(Enhancement) 등의 과정을 처리하는 것이다. 이는 출력 화면을 개선하는 방식(온디바이스 AI)이나 특정 게임 데이터를 사전에 학습한 그래픽카드 내 AI 칩을 활용하는 방식보다 더 확실하고 효과적이다. 화질 개선 AI 모델을 개발하는 대표적인 글로벌 기업으로는 ‘토파즈(Topaz)’가 있으며, 국내에는 SKT의 ‘수퍼노바 AI’, 포바이포(4BY4)의 ‘픽셀’ 등이 있다.

포바이포는 초고화질 영상을 제작하는 업체로 시작해 자체 화질 개선 AI 모델을 개발하면서 콘텐츠 AI 솔루션 업체로 전환했다. 픽셀 솔루션의 가장 큰 장점은 해상도와 이미지의 크기를 업스케일링하면서 채도, 명암비, 디노이즈(De-noise), 선예도 등 화질을 결정짓는 4가지 요소를 동시에 개선한다는 점이다. 포바이포는 이러한 결과에 대해 AI 도입 이전부터 화질 전문 인력이 화질을 개선해왔던 노하우와 기존에 확보하고 있던 초고화질 콘텐츠를 AI 학습용 데이터로 활용했기 때문이라고 설명한다.

CES 2024에서 2개 부분 혁신상을 수상한 포바이포의 화질 개선 AI 솔루션 ‘픽셀’ / 출처=포바이포

윤준호 포바이포 대표는 “화질 개선 AI 모델의 쓰임은 단순히 콘텐츠 화질 개선에 그치지 않는다”라며, “기기, 반도체, 플랫폼, 특수효과 등 다양한 영역에서 작업 효율을 높이거나 처리속도를 빠르게 하는 방식으로 활용될 가능성이 높은 기술”이라고 설명했다.

한 디지털 콘텐츠 업계 관계자는 “최근 오픈AI의 소라(Sora)를 필두로 루마AI의 드림머신(Dream Machine), 런웨이의 젠-3 알파(Gen-3 Alpha)' 등 다양한 업체들이 텍스트 투 비디오(TTV) 기능을 제공하는 영상 생성형 AI를 속속 선보이고 있지만 제작 가능한 영상들은 대부분 4초 가량으로 제한되어 있다”라며 “1분 이상 영상을 빠르고 완성도 있게 만들기 위해서는 막대한 컴퓨팅 파워와 장시간 렌더링을 필요로 하기 때문”이라고 말했다. 이어서 “이 문제는 저화질로 빠르게 영상을 생성해 렌더링 하고, 화질 개선 AI 모델을 연달아 사용하는 방식으로 해결할 수 있을 것”이라고 업스케일링 기술의 가능성을 제시했다.

글 / IT동아 권명관(tornadosn@itdonga.com)

사용자 중심의 IT 저널 - IT동아 (it.donga.com)

번호	제목	글쓴이	작성일	조회	추천
설문	이번주 설문은 탈모 걱정 없어 보이는 머리숱 금수저 스타는?	운영자	25/07/14	-	-
4197	[혁신스타트업 in 홍릉] 이마고웍스 “인공지능 치과 기술 세계 리더로”	IT동아	24.08.27	5220	0
4196	김민수 비로보틱스 “모든 사람이 로봇과 함께하도록”	IT동아	24.08.27	184	0
4195	[IT’s 가성비] 갤럭시 S20+, 중고폰 시장에서 더욱 돋보여? [4]	IT동아	24.08.26	1477	0
4194	[IT하는법] 나만의 QR코드 만들고 사용하는 법 [1]	IT동아	24.08.26	1095	0
4193	실시간 전기요금이 궁금하다면?[이럴땐 이렇게!] [1]	IT동아	24.08.26	1573	0
4192	LG전자, 장비 인증 획득으로 ‘5G 특화망’ 사업 본격화	IT동아	24.08.26	224	0
4191	[스케일업] 파나띠꼬 [2] 매드해터 “브랜딩은 나를 알리는 과정, 브랜드 코어를 단단히 다져라”	IT동아	24.08.26	975	0
4190	[주간투자동향] PIP랩스, 약 1092억 원 규모 시리즈B 투자 유치	IT동아	24.08.26	169	0
4189	SKT, 패스키 SaaS로 비밀번호 없는 시대 앞당긴다	IT동아	24.08.26	164	0
4188	[생성 AI 길라잡이] 간단한 문장 입력으로 영상 만들어주는 ‘핫샷’	IT동아	24.08.23	281	0
4187	[스케일업] 모넷코리아 [1] “스마트 IoT 솔루션 도입, 의외로 저렴해서 놀랄 것”	IT동아	24.08.23	309	0
4186	캐논, EOS R1 및 R5 마크 II로 '전문가 시장 주도권' 회복할까	IT동아	24.08.23	234	0
4185	[스케일업] 비투랩 [1] “펨토초 레이저로 글로벌 임플란트 시장 도전"	IT동아	24.08.23	883	0
4184	차트분석 도구 ‘트레이딩뷰’ 파고들기 - 23	IT동아	24.08.23	224	0
4183	[IT하는법] 개인정보 유출로 해킹 걱정된다면, '털린 내 정보 찾기 서비스'	IT동아	24.08.23	1672	0
4182	[스케일업] 반프 [1] “타이어 디지털 전환 시대의 문을 엽니다”	IT동아	24.08.23	212	0
4181	[시승기] 라인업 첫 고성능 모델 ‘BMW 뉴 X1 M35i xDrive’ [11]	IT동아	24.08.22	3031	4
4180	[스타트업 첫걸음] 기고를 마치며	IT동아	24.08.22	4988	1
4179	[IT신상공개] ‘사진놀이’용 토털솔루션, 인스탁스 미니 리플레이	IT동아	24.08.22	2124	1
4178	한국후지쯔, “손바닥 정맥 인증, DX 여정의 모범사례”	IT동아	24.08.21	251	0
4177	AI 종합 기업 꿈꾸는 AMD··· ZT시스템즈, 사일로 AI 인수 배경은?	IT동아	24.08.21	241	0
4176	한국후지쯔 “MC, 제약·바이오 기업 디지털 전환 파트너” [1]	IT동아	24.08.21	1233	1
4175	공번서 MSI코리아 대표 “노트북 혁신 20년, 원칙 지키며 발전해 나갈 것” [6]	IT동아	24.08.21	2306	0
4174	[혁신스타트업 in 홍릉] 케이디바이오 “서민의 삶을 바꾸는 미생물 솔루션 선보일 것”	IT동아	24.08.20	226	0
4173	[자동차와 法] 청라 전기차 화재 사고 관련 법률적 쟁점들 살펴보니	IT동아	24.08.20	230	0
4172	"똑똑의사, 한국형 왕진제도의 지원자 될 것" [동국대학교 캠퍼스타운] [3]	IT동아	24.08.20	1428	3
4171	휴먼컨설팅그룹 “국내 환경에 맞춘 HR 솔루션, SaaS 시장까지 확장”	IT동아	24.08.20	455	0
4170	[월간자동차] 24년 7월, 신차·중고차 판매 증가…BMW5 시리즈 1위 탈환	IT동아	24.08.19	221	0
4169	폰 하나로 전화번호 2개 쓰려면 이렇게! [이럴땐 이렇게!] [10]	IT동아	24.08.19	11841	8
4168	업비트·빗썸 상반기 실적, 2분기 들어 감소세	IT동아	24.08.19	207	0
4167	가상자산 거래소, 이용자 보호 위해 ‘신고센터·상담센터’ 개설	IT동아	24.08.16	365	0
4166	유럽, 영미권 아이폰에 삼성월렛, 구글페이 도입 가능해져··· 한국은 일단 제외 [9]	IT동아	24.08.16	1506	2
4165	에이피알, “홈 뷰티 디바이스를 모두가 누릴 수 있도록 개발합니다”	IT동아	24.08.16	283	0
4164	구글 반독점 철퇴, 검색 시장 '춘추전국시대' 올까? [47]	IT동아	24.08.14	9144	14
4163	가상자산 급락, 일본 금리 인상과 미국 고용 지표 부진 탓	IT동아	24.08.14	319	0
4162	[인터뷰] 한백시스템 “바닥형 신호등 주간 시인성 개선해 보행자 안전 확보”	IT동아	24.08.14	310	0
4161	[뉴스줌인] KT클라우드도 적용한 '액침냉각', 어떤 기술인가?	IT동아	24.08.14	1078	1
4160	쿠페형 SUV ‘폴스타4’ 출시…‘화재 이력 제로·배터리 안전성’ 강조	IT동아	24.08.13	371	0
4159	[고려대 미래내일] 청년 일경험 사업, 디지털 기술 인재 무럭무럭	IT동아	24.08.13	328	0
4158	[리뷰] 퀄컴 스냅드래곤X엘리트 기반 AI PC, MS 서피스 프로 11세대 [1]	IT동아	24.08.13	1115	0
4157	[스타트업人] 신약 개발의 검증인, 트윈피그바이오랩의 '임상시험 PM' 이야기	IT동아	24.08.13	1136	0
4156	프론트웍스 “영상 의뢰인과 창작자를 위한 허브, 필름어스” [동국대학교 캠퍼스타운]	IT동아	24.08.13	277	0
4155	[뉴스줌인] 로봇청소기 시장도 ‘빌트인’이 대세 될까? ‘LG 로보킹 AI 올인원’	IT동아	24.08.12	289	0
4154	[리뷰] ‘휴대성ㆍ성능ㆍ배터리’ 삼박자 딱! 에이수스 젠북 S 16 OLED [3]	IT동아	24.08.12	2100	0
4153	무더운 여름철 차량 관리는 이렇게! [이럴땐 이렇게!] [1]	IT동아	24.08.12	6036	0
4152	[주간투자동향] 올라운드닥터스, 70억 원 규모 시리즈A 투자 유치	IT동아	24.08.12	250	0
4151	LG유플러스, '중고폰 진단센터' 전국 100개 매장으로 확대	IT동아	24.08.12	1181	0
4150	[투자를IT다] 2024년 8월 1주차 IT기업 주요 소식과 주가 흐름	IT동아	24.08.12	241	0
4149	[농업이IT(잇)다] 브로코스 “브로콜리 추출 ‘비타민 U’ 담은 브로콜-WE(위)로 위 건강 지킬 것”	IT동아	24.08.09	299	0
4148	업비트·빗썸, 유튜브 채널 개편 “쉽고 재미있는 콘텐츠로 이용자 보호 기여”	IT동아	24.08.09	300	0
뉴스	‘불꽃야구니퍼트, 오랜만의 등판 화려하게 장식할 수 있을까? 거세게 부는 바람 속 파이터즈의 운명은?	디시트렌드	07.14

최근 방문

즐겨찾기 갤러리

이미지 올리기 이용안내

갤러리 이슈박스, 최근방문 갤러리

연관 갤러리

개념글 리스트

차단하기

[IT동아 갤러리]

갤러리 본문 영역

TV에 장착한 ‘온디바이스AI’가 구현하는 업스케일링

‘그래픽카드+게임 타이틀’ 중심의 업스케일링

콘텐츠 자체를 고도화하는 업스케일링

▶ 다가오는 AI PC 시대, AI PC로는 무엇을 할 수 있을까?▶ [리뷰] 인텔 코어 울트라 5 품은 갤럭시 북4 프로로 경험한 ‘인공지능(AI) PC’▶ [생성 AI 길라잡이] 3세대로 업그레이드된 인공지능 콘텐츠 생성 ‘런웨이ML’

추천 비추천

댓글 영역

① NFT 발행

② NFT 구매

하단 갤러리 리스트 영역

왼쪽 컨텐츠 영역

갤러리 리스트 영역

페이지 이동

오른쪽 컨텐츠 영역

알림 설정

알림

디시콘 리스트

디시콘

디시콘 검색결과(0)

인기 디시콘