맞후임으로 학교선배가옴

육군 갤러리

1/3

라이브 비디오를 실시간 스타일 변환하는 'Live2Diff' 등장 https://www.aitimes.com/news/articleView.html?idxno=161703 라이브 비디오를 실시간 스타일 변환하는 AI 도구 등장 라이브 비디오 스트림을 즉시 애니메이션으로 변환하는 인공지능(AI) 도구가 나왔다. 기존과는 다른 '단방향 어텐션 모델링(uni-directional attention modeling)' 방식으로 성능을 높였다는 설명이다. 벤처비트는 17일(현지시간) 상하이 AI연구실과 막스 플랑크 정보학연구소, 난양이공대학교 연구진이 라이브 비디오 스트림을 실시간으로 스타일 변환하는 AI 도구 ‘라이브2디프(Live2Diff)’ 논문을 아카이브에 게재했다고 전했다.라이브2디프는 라이브 비디오 스트림 처리를 위한 비디오 확산(diffusion) 모www.aitimes.com라이브 비디오 스트림을 즉시 애니메이션으로 변환하는 인공지능(AI) 도구가 나왔다. 기존과는 다른 '단방향 어텐션 모델링(uni-directional attention modeling)' 방식으로 성능을 높였다는 설명이다. 벤처비트는 17일(현지시간) 상하이 AI연구실과 막스 플랑크 정보학연구소, 난양이공대학교 연구진이 라이브 비디오 스트림을 실시간으로 스타일 변환하는 AI 도구 ‘라이브2디프(Live2Diff)’ 논문을 아카이브에 게재했다고 전했다.라이브2디프는 라이브 비디오 스트림 처리를 위한 비디오 확산(diffusion) 모델에 단방향 어텐션 모델링을 구현한 첫번째 사례로 소개됐다.일반적으로 비디오 확산 모델은 기반이 되는 트랜스포머 아키텍처의 기본 구성 요소인 어텐션 메카니즘의 양방향 특성 때문에 라이브 비디오 스트림에 대한 실시간 처리가 불가능하다. 일반적으로 문장 속 단어와 같은 순차 데이터를 학습해 맥락과 의미를 추적하는 트랜스포머 모델은 서로 떨어져 있는 데이터 요소들의 관계를 이해하는 데 어텐션 메커니즘을 사용한다.이런 트랜스포머의 어텐션 메커니즘을 라이브 비디오에 적용할 경우, 비디오 프레임 간의 관계를 이해하기 위해 과거 프레임과 미래 프레임 모두에 대해 시간적으로 양방향 처리가 필요하다. 특히 미래 프레임을 처리를 위해서는 지연이 불가피하다.이 문제를 해결하기 위해 라이브2디프는 각 프레임에 대해 미래 프레임 없이 과거 프레임과 몇 개의 초기 워밍업 프레임만 연관시켜 시간이 흘러도 일관성을 유지하는 단방향 어텐션 모델링을 도입했다.연구진은 "우리의 접근 방식은 미래 프레임 없이도 시간적 일관성과 자연스러움을 보장한다”라며 “이는 실시간 비디오 번역 및 처리를 위한 새로운 가능성을 열어준다"라고 설명했다.특히 이 기술은 엔비디아 '4090 GPU'와 같은 일반 소비자 하드웨어에서 초당 16프레임의 속도로 비디오를 실시간 온디바이스 처리하도록 최적화됐다.연구진은 실시간 웹캠 입력을 사용해 얼굴을 애니메이션 스타일 캐릭터로 변환하는 라이브2디프의 능력을 시연했다. 광범위한 실험 결과, 라이브2디프가 시간적 일관성과 자연스러움에서 기존 방법을 능가한다는 것을 양적 측정 및 사용자 연구에서 확인했다고 전했다.라이브2디프는 엔터테인먼트 산업에서 실시간 스트리밍과 가상 이벤트를 재정의할 수 있는 잠재력을 가지고 있다는 평이다.증강 현실(AR)과 가상 현실(VR) 분야에서 몰입형 경험을 향상할 수 있고, 실시간 스타일 전송을 통해 실시간 비디오 피드에서 현실 세계와 가상 환경 간의 간극을 줄일 수 있다. 또 게임이나 가상 투어, 건축 및 디자인과 같은 전문 분야에서도 응용될 수 있다.연구진은 라이브2디프의 전체 코드를 곧 오픈 소스로 공개할 계획이다.https://arxiv.org/html/2407.08701v1 Live2Diff: Live Stream Translation via Uni-directional Attention in Video Diffusion Models Live2Diff: Live Stream Translation via Uni-directional Attention in Video Diffusion Modelsarxiv.org 작성자 : ㅇㅇ

맞후임으로 학교선배가옴 앱에서 작성

육갤러(211.234) 2024.07.08 18:27:34

조회 208 추천 0 댓글 1

이거우짜노

얼굴만 알고 하나도 안친함

- dc official App

고정닉 0

전체 댓글 0개

등록순

본문 보기

타인의 권리를 침해하거나 명예를 훼손하는 댓글은 운영원칙 및 관련 법률에 제재를 받을 수 있습니다.
Shift+Enter 키를 동시에 누르면 줄바꿈이 됩니다.

갤러리 리스트
번호	제목	글쓴이	작성일	조회	추천
설문	흡연때문에 이미지 타격 입은 것 같은 스타는?	운영자	24/07/15	-	-
이슈	[디시人터뷰] '좋아해요'로 마음을 사로잡은 배우 최하슬	운영자	24/07/17	-	-
1714803	점프는 ㅅㅂ 어캐해야 걸림?? [1]	육갤러(223.39)	18:36	194	0
1714802	금욜이니까 갑자기 군인형아가 보고싶네 [6]	형아(211.234)	18:34	78	0
1714801	짬찌기준 [5]	ㅇㅇ(106.102)	18:30	192	0
1714799	아니 사지방 인터넷안되노 프린트해야되는데 [1]	육갤러(106.101)	18:27	86	0
1714798	입대하는데 질문좀 [16]	ㅇㅇ(118.235)	18:24	254	1
1714796	장래희망 에렌예거 << ㅁㅌㅊ [9]	ㅇㅇ(106.101)	18:20	168	1
1714794	아 진짜 좆같다 저 새끼	형아(211.234)	18:17	87	0
1714793	입대1년이지나도변한건 학력밖에없구나 [2]	ㅇㅇ(106.101)	18:16	175	0
1714792	오늘 임신한 여자가 아기낳아도 집못가면 개추	ㄴㄹ(223.38)	18:16	82	0
1714791	국군을좀먹는 쓸모없는소령대위상사중사 다사라졋으면.	ㅇㅇ(106.101)	18:12	62	0
1714790	15년 외국 산, 만 26살 군대갈려고 한국들어왔다.	육갤러(175.223)	18:12	43	0
1714789	걍씨발하루하루가좆같다. 내일이두렵다	ㅇㅇ(106.101)	18:11	82	0
1714788	무능한 간부들 왤케많냐	육갤러(118.235)	18:11	39	0
1714787	이거 어디가야 개꿀임?	ㅇㅇ(106.101)	18:09	92	0
1714786	형님들 동미참 가면 야간근무 해야하나요	ㅇㅇ(106.101)	18:09	31	0
1714785	엉덩이 많이 커? [3]	육갤러(211.203)	18:07	270	0
1714784	선임 부조리 평가좀	육갤러(223.39)	18:07	72	0
1714782	군대엔 애미뒤진새끼들이 너무나도많음.	ㅇㅇ(106.101)	18:06	84	0
1714781	퇴근햇는데도 전화쳐하고잇네	ㅇㅇ(106.101)	18:06	46	0
1714780	5급도 현역입대 가능한가요? [2]	육갤러(211.36)	18:04	106	0
1714779	군대에서 모은 월급으로 새출발 가능할까?	육갤러(183.108)	18:02	49	0
1714778	집에 시발 가고싶다	ㅇㅇ(211.235)	18:02	54	0
1714777	외박 점프 잠깐 가는것도 걸리냐 [3]	ㅇㅇ(106.101)	18:01	197	0
1714776	이거 신고할수 있냐	ㅇㅇ(118.235)	17:51	52	0
1714775	병무청 ㅈ같다	육갤러(223.38)	17:51	29	0
1714774	ㅈㅇㄲㅈ - D-105 [2]	ㅇㅇ(211.235)	17:48	55	0
1714773	대위까지는 아무나 달 수 있는 계급 아님? [5]	ㅇㅇ(118.235)	17:36	322	0
1714772	짬ㅁㅌㅊ? [1]	ㅇㅇ(117.111)	17:35	141	0
1714771	육군 진짜로 부모님한테 사진찍어 보내줌?	ㅇㅇ	17:34	47	0
1714770	말출 나가면 전역 전날에 복귀하냐? [2]	육갤러(223.39)	17:28	118	0
1714769	퇴근까지 39분 ㅋ 섹스 ㅋㅋㅋ [3]	형아(211.234)	17:21	162	0
1714768	분대장 상3, 일6 중 누가 함? [5]	ㅇㅇ(118.235)	17:16	262	0
1714767	수도병원 면회 질문 ㅜ	육갤러(223.62)	17:15	21	0
1714765	육갤 3대 병신	ㅇㅇ(211.234)	17:14	130	6
1714763	사격 진누 흔함?	육갤러(223.39)	17:11	62	0
1714762	상5여도 휴가복귀는 [2]	육갤러(223.39)	17:09	187	0
1714761	친형제가 같은중대 동기면 형이라고하냐 이름으로부르냐 [1]	ㅇㅇ	17:09	86	0
1714760	k6쏴본 사람 있음? [2]	육갤러(223.39)	17:03	45	0
1714759	500일때보다 80일 남앗을 때 더 막막한 거 같냐	육갤러(118.235)	17:02	67	0
1714758	전차승무 갈까 자주포조종 갈까 [1]	육갤러(218.209)	16:59	40	0
1714757	짤 제일안좋은 육군부대라는데 ㄹㅇ임? [7]	ㅇㅇ(121.176)	16:52	415	2
1714756	아 병신 애미뒤진새끼 하나 있네 ㅋㅋㅋ [4]	형아(211.234)	16:50	200	3
1714755	오늘하루도버텨냇다 [4]	ㅇㅇ(106.101)	16:47	150	0
1714754	애미뒤진하루가끝낫네	ㅇㅇ(106.101)	16:47	62	0
1714753	군인들 충성! 하는거 너무 좋은듯	형아(211.234)	16:46	92	0
1714752	국기에대한경례 [1]	육갤러(223.38)	16:45	63	0
1714751	휴가 거리	육갤러(211.235)	16:43	24	0
1714750	[육군] 국방모바일 설치한애들 질문좀 [3]	육갤러(175.199)	16:40	116	0
1714749	다음주 입대합니다 [2]	ㅇㅇ(39.7)	16:35	141	0
1714748	군대 안가는법 올리면 처벌이지? [1]	육갤러(59.0)	16:35	165	4