VR Overview by 모비인사이드 심상용님
- VR? : Virtual Reality/가상현실, 특수한 안경과 장갑을 사용하여 인간의 시각, 청각 등 감각을 통하여 컴퓨터의 소프트웨어 프로그램 내부에서 가능한 것을 현실인 것처럼 유사 체험하게 하는 유저 인터페이스 기술
- AR?: Augmented Reality/증강현실, 실세계에 3차원의 가상물체를 겹쳐서 보여주는 기술을 활용해 현실과 가상환경을 융합하는 복합형 가상 현실
VR Storytelling by Venta VR 전우열님
- 디바이스에 따라 스토리를 구성할 것
- 과거에는 벽면형 입체 영상이 유행이었으나 비용규모가 크고 거대한 스크린이 필요함. 최근에는 이 거대한 화면을 HMD(Head Mount Display) 내에 넣는 것.
- 체험형: 클래시 오브 클랜 360의 경우 자연스러운 시선유도를 통해 체험형 스토리 텔링
- 체험형: 고층 빌딩에 고양이를 구하러 가는 영상
- 체험형: 운전, 자전거 같은 체험형의 경우 몸의 움직임을 느낄 수 있는 시뮬레이터 역시 필요
– 대포 모양의 시뮬레이터에 탑승하여 롤러코스터등의 체험 - 체험형: 1인칭의 영어학습 체험 > 문제에 대한 답을 선택하는 상호작용이 가능
- 공간형: 네스카페 360의 경우 전체 화면에 각각의 다른 장면을 넣어 공간을 활용한 공간형 스토리텔링
- 치매 체험 영상: VR 착용자를 바라보며 배우가 연기, 몰입감을 줌
- 페이스를 급하게 하지 말 것
- 어디에든 재미 요소가 있도록 해야하며, 억지로 방향을 유도해선 안된다.
- 관객을 억지로 특정 방향을 보도록 하지 말 것
- 1인칭 영화 ‘하드코어 헨리’: 빠르게 움직이는 동작의 경우 멀미를 유발할 수 있음
즉, 모바일의 경우 머리의 움직임을 고려
- 1인칭 영화 ‘하드코어 헨리’: 빠르게 움직이는 동작의 경우 멀미를 유발할 수 있음
360 Camera
- 렌즈 일체형: 여전히 고프로(GoPro)가 성능면에서 우월하다. (UHD 가능), 이외에 Qbix, 샤오미 Yi 모델 등
- 렌즈 교환식: BlackMagic Design Micro Camera(Raw 촬영 가능, HD X 60p까지 촬영가능), 이외에 Panasonic GH4, Codex actions cam 등
- 고급장비: Arri Alexa Mini (UHD 60p Prores로 촬영가능), RED Epic Dragon(Raw 지원, 6k에서 60p로 촬영가능)
- 촬영장비
- 360 Heres: 고프로용으로 가장 많은 VR리그를 개발
- 고프로용 VR리그
- 고프로용 S3D VR리그
- 수중 촬영용 VR하우징
- Freedom 360: 고프로용 VR리그와 수중용 하우징 제품, Qbic용 VR리그 제품이 있음
- 고프로용 VR리그
- 수중촬영용 VR하우징
- Qbic용 VR리그
- Google Jump Array + GoPro Odyssey: 구글에서 나온 베타 VR리그 & 스티칭 프로그램.
- 12K까지 가능
- 프레임: 18~24가능
- Stereoscopic 3D 지원 (매트릭스 장면 같은 360)
- VR 장비
- Red Dragon
- Samsung, LG 360…
- Nokia Camera Ozo
- Samsung beyond 3D
- 페이스북의 오큘러스 인수, 구글, 삼성 등 참여
- VR 이용자 중 얼리어댑터 및 초기 다수자 증가. 시장규모도 확대 전망 (Virtual Reality Ecosystem / Landscape 검색)
- VR 주목받는 시장
- 비디오게임, 라이브 이벤트, 비디오 콘텐츠, 리테일, 부동산, 교육, 헬스케어, 엔지니어링, 군대
- #성인 : 성인 비디오 시장 규모 80~100억달러, VR의 비중은 1~2%, 2016년 말 전세계적으로 1~2천만명이 성인콘텐츠를 즐길것으로 예상
- #성인: 2014.Nov > 2016. Apr., VR 성인 콘텐츠 검색 비율 9900% 상승, 일본에서 2016년 6월 성인 VR페스타 01 개최
- #광고: 높은 집중도와 아이트래킹을 통한 분석 예상
- 360 Heres: 고프로용으로 가장 많은 VR리그를 개발
Stitch
- Stitch: 여러대의 카메라로 영상을 자연스럽게 이어주는 작업
- 메인 프로그램
- Kolor Autopano pro + Autopano video (GoPro가 Kolor를 인수)
- PTGui + Video Stitch
- Google Jump : 아직 베타 느낌
- VentaVR: 영상별 시차로 인한 단차 발생
- Felix and Paul Stitch: 현재 Stitching 가장 잘하는 회사
- 프리미어 같은 일반 편집 프로그램도 사용가능
- 후보정
- Sweetening: Nuke를 활용한 Sweeting
- Sticking 보정
- Color 보정
- 편집 시 유의할 점
- 시청자의 관람 각도를 생각하는 편집: 사용자의 시선, 자연스러운 동선
VR Audio by GAUDIO 이규태님
- 소리는 우리 경험의 절반이다. VR에서 소리는 더욱 중요하다.
- VR 제작자는 적합한 VR 오디오 솔루션을 기다리고 있다.
- 사례: 360 영상은 만들었으나 영상에 적합한 음향이 지원되지 않았다. 왜?
- 기존 스테레오 방식으로 음향을 만들고 아쉬움을 표함: 입체감이 있다면 방향을 돌렸을 때 다른 방향에서 소리가 들렸어야하는데 반영되지 못함.
- 배경음악만 크게 들리게 하여 음향을 포기
- 기존의 3D 오디오 시스템으로는 영상과 음향의 위치 정보가 일치하지 않아 가상현실이라는 미디어에 적합하지 않다. (Dolby, DIS 등의 입체음향으로 재생시)
- 또한 유저의 위치변동을 고려하지 않는다는 점에서 VR에 적합하지 않다. ex) 도로를 걸어갈 때 우측 앞에서 나던 소리가 음원을 지나쳐도 여전히 우측 앞에서 난다.
- 사례: 360 영상은 만들었으나 영상에 적합한 음향이 지원되지 않았다. 왜?
- VR Audio는 어떻게 만들어질까?
- 사람이 청각을 통해 공간을 인식하는데는 다양한 단서가 활용되는데
- 첫번째로 음원과 유저의 위치를 실시간으로 취득하여,
- 두번째로 유저의 두 귀 간격에 따라, 머리크기에 따라 소리가 닿는 속도/세기가 달라지며
- 마지막으로 위의 값이 연산된 최종값을 입히는 것이다.
- 이를 Binaural Rendering이라고 하며, 이를 얼마나 빠르게, 고음질로 제공하느냐가 중요하다.
- 사람이 청각을 통해 공간을 인식하는데는 다양한 단서가 활용되는데
- VR Audio의 구현과정
- Full flow: 음원취득 > 후반작업(믹싱, 마스터링) by 콘텐츠 제작업체 > 유통 > 랜더링/재생
- 음원취득: Ambient Sound(다양한 각도의 소리) + Object Sound(중심 사물, 인물) + 후시 녹음(배우에게 마이크를 설치할 수 없는 경우)
- Ambient Sound/Ambisonics: First order(W,X,Y,Z축의 마이크. 이 중의 메인 마이크는 Tetra Mic(약 100만원 대), Second Order 등 여러개 채널로 구성된 마이크로 First Order의 메인 마이크를 중심으로 다면체로 만들어진다. 이 때 마이크 방향(Mic Array)는 원하는 방향을 향해 설치한다. 현재 YouTube는 First Order만 지원한다. 그러나 First Order의 경우 마이크가 적기 때문에 방향성(Localization)에는 한계가 있다.
- Object Sound: 중심 사물, 인물 소리 녹음
- 후시녹음: Ambient Sound를 재생하며 녹음하는 것이 노하우
- 따라서 실내+마이크 설치 가능한 의상이 제일 편하며 > 외부+마이크 설치 가능 의상 > 야외+유저가 움직이는 장면(마이크 설치가 제한되어 카메라 위에 마이크를 설치함. 이 경우 높낮이가 다르므로 보정이 필요) > 바람이 심하면 Wind Noise 발생, 수영복 같은 경우 카메라를 스탠딩으로 사용하고 마이크는 착용시킬 수 없어 후시녹음이 최악의 상황
- 사례: 유저가 시뮬레이터에 착석하면 시선은 스포츠카 안, 아름다운 해안가 도로를 달리고 있다.
- 엔진소리가 크므로 사람의 대화소리는 줄이고 엔진소리를 크게
- 헬맷의 측면에 마이크를 설치하여 Wind noise 녹음 + 소리 높낮이(마이크가 머리 위에 설치되었으므로) 보정
- 오픈 에어링 장면이어서 배우의 대사를 후시 녹음으로 완료
- 후반 작업(믹싱, 마스터링)
- Ambient 소스를 각 채널로 뿌려주고, 유저의 행동에 따라 Object Sound를 삽입하며 Binaural Rendering을 통해 공간감 형성
- 강한 음원의 경우 고개를 돌려도 음향이 남아있는 경우(reverb) 엔지니어와 협업을 통해 이를 감소/제거
- Full flow: 음원취득 > 후반작업(믹싱, 마스터링) by 콘텐츠 제작업체 > 유통 > 랜더링/재생
- 오디오 구현과정에 많은 시간이 소요되므로 기존의 스튜디오에서 하나하나 음원을 적용했던 것에서 타임라인이나 위치좌표에 따라 음원파일/메타 데이터를 랜더링/재생하는 것이 지향점
디자인과 VR, 새로운 차원의 몰입감을 위해 by 이상수, 황갑환 AIXLAB 공동대표
- VR은 기존의 영상문법과는 다른 기획과 연출이 필요하다. 왜?
- Zoom in/out: 360 카메라 설정상 불가능
- Cut:공간이 순식간에 바뀌는 느낌은 기존 영화와 달리 단절되어 느껴짐
- Transition: 공간 전체에 적용할 수 있는 넓은 형태의 트랜지션이 필요함
- Editing: 컷을 통한 편집 구성과는 다르고 번거로운 여러 트랜지션 효과를 사용하는게 좋음
- Frame: 360 공간 전체를 구성하므로 프레임이 사라짐
- Layout: 프레임이 없기 때문에 레이아웃을 구성할 범위가 10~20배 증가
- VR에서 기획/연출, UX와 그에 맞는 디자인은 우리가 해왔던 방법과 완전히 다르다.
- VR 콘텐츠 디자인에서 디자이너의 역할이 중요한 이유: 기존의 디자인(편집, 모션그래픽, GUI)는 이미 레드오션, 그러나 새로운 매체, 기술의 등장으로 이에 맞는 좋은 디자인이 필요하며 기존의 모바일, 태블릿, PC의 UX/UI를 벗어나 새로운 차원의 연구가 필요
- 구현 방법
- 게임 엔진활용: Real-Time Render인 Unity, Unreal Engine 활용
- 따라서 다양한 Input Device/ Interaction 요소가 가능
- Position Tracking을 통해 가상 공간에서 돌아다닐 수 있고 인터렉티브 요소가 가능하므로 경험적 측면에서 압도적으로 뛰어남
- 따라서 궁극의 퀄리티가 나온다면 최고의 몰입감과 UX를 선사 가능
- 장애물
- 괜찮은 비주얼 콘텐츠를 작동하려면 아티스트 입장: 모델링, 손맵, 복잡한 모델링이 필요하므로 간단한 소스라도 시간이 오래걸릴 수 밖에 없음 > 따라서 제작단계의 최적화가 필요함
- 3D 제너럴리스트가 다 혼자할 짓이 아니다.: 최소 제대로 된 파이프라인을 갖추고 많은 인원이 제작에 투입되어야하는 상황
- 괜찮은 비주얼 콘텐츠를 작동하려면 개발자 입장: 양 눈에 Left/Right를 높은 프레임 레이트로 실시간 랜더링으로 뿌려주어야 함. 따라서 하드웨어의 사양이 더 높아져야하며 아티스트가 콘텐츠, 기획과 최적화도 고려해야하므로 부담이 매우 증가. 개발자에겐 더 강력한 프로그래밍 기술이 필요. 또한 Depth of Field, Particle, Bokeh, Fog등 퀄리티 높이는 기법이 프레임 레이트를 저하시키므로 사용할 수 있는 이펙트 제한이 걸림. 따라서 수많은 최적화와 테스트를 위해 인력,시간의 소요는 비용으로 직결
- 괜찮은 비주얼 콘텐츠를 소비하는 유저 입장: 높은 하드웨어 사양을 필요로 하므로 전파력이 약함. (GTX 980 ㅠㅠ) 오큘러스와 PC도 비쌈. 대중화된 모바일 플랫폼에서 Real-Time Engine 기반 VR은 퀄리티의 한계가 있다. 즉, 높은 퀄리티를 내려면 모바일 성능이 높아지거나 엄청난 최적화가 필요하다.
- 빠르게 전파될 수 있는 플랫폼이 적다.
- VR 영상 제작 대비 많은 제작 인력, 시간 노력이 소요
- 시장이 열리지 않은 상황에서 전파력이 크지 않을 수 있지만 제대로만 구현한다면 몰입감과 VR경험을 선사할 수 있다.
- 이를 극복하기 위해 Pre-Render(미리 랜더링)를 통해 자주 구현함: 다만 인터렉티브가 불가하고 360 공간을 임의로 돌아다닐 수 없으며, 리얼타임 엔진에 비해 해상도가 아직까지 좋지 않다.(미리 랜더링 하고 일부를 보여주는 방식이기 때문에) 그러나 VR에서 중요한 이동의 제약, 낮은 인터렉션 수준에도 불구하고 Pre-Render 기반의 영상을 제작하는 이유는 짧은 시간 내 고퀄리티 콘텐츠 제작이 가능하기 때문이다. 리얼타임엔진 활용시 많은 시간과 노력이 드므로 마케팅 측면에서 비효율적이다. 또한 360VR 실사 촬영물과 CG 합성이 리얼타임 엔진보다 비교적 용이하다. 게다가 모션그래픽 디자이너/3D 아티스트에게 있어 비교적 낮은 진입장벽이다. (리얼타임 엔진 대비)
- 그러나 나름 많은 배포채널, SNS, 방송채널(실시간), 홍보/마케팅 수단으로 활용할 가능성이 높음
- 하드웨어 사양을 크게 타지 않으므로 스마트폰 보유자의 절대다수에게 VR을 빠르게 체험시켜줄 수 있음
- 궁극적으로 리얼타임 기반의 엔진으로 넘어가게 될 것이므로 이에 대한 관심과 연구가 필요. 디자인 능력, 조형적 감각, 3D 그래픽스의 전반적인 높은 스킬이 필요할 것.
- CG/모션 그래픽 기반의 VR영상 콘텐츠 제작 팁
- HMD or Web 베이스의 직사각형 플랫폼? or 둘다 고려? > 둘 다 하면 제일 좋지만 HMD를 고려하면 Web 베이스도 크게 문제 없다.
- 주의사항
- 프레임이 없는 360 파노라마의 특성상 오브젝트의 등장/소멸에 있어서 개연성 있는 트렌지션(화면전환) 필요
- 제작하려는 콘텐츠의 특성에 맞추어 360 전방우를 활용할 수 있는 애니매이션 동선 혹은 이벤트를 발생시키는 것이 좋음
- HMD를 고려하면 과도한 카메라 무빙과 애니매이션에 제약이 발생
- Spherical Render 결과물(구형을 사각형으로 편 이미지)를 보고 3차원으로 파악할 수 있어야한다.
- 아직 이론화된 연출법은 없다.
- CG기반 VR은 실제 촬영처럼 카메라가 정지할 필요까진 없으나 천천히 움직어야함
- 카메라 로테이션 값에 애니매이션을 주는데 고민: 상당수 멀미발생
- 수평선이 일직선이어야함: 정면을 볼 때 주변이 수평이 아니면 이상하게 느낄 수 있음
- 카메라의 가속/감속 움직임을 최대한 자제: 어지럽지 않도록
- 카메라의 급작스런 상하움직임 자제: FPS 게임의 걸어가는 모션의 Y축 구현은 VR에서 역효과
- 카메라 진행 경로에 레일, 탈것을 활용하면 체험자가 짐작할 수 있어 어지러움 줄일 수 있음
- 입체(Stereoscopic 3D)를 고려하여 물체의 앞뒤 관계를 설정해야함: 파노라마는 문제가 없지만 입체를 고려하면 사전 계획이 필요하며 Stereoscopic 3D(S3D)에 대한 이해가 필요.
- 앞의 요소들을 무시할 경우 HMD를 착용하고 체험 시 심한 멀미 혹은 어지러움 느낌
- 어지러움에 대한 가이드라인, 이론적 법칙이 존재하지 않지만 최소 카메라에 있어서는 모션그래픽적인 텐션감(이동)을 줄일 필요는 있다.
- ㄷ따라서 기존 제작 영상을 컨버팅 개념이 아니다.