[Mobiacademy]VR 영상과 제작의 모든 것

/ junbro
VR Overview by 모비인사이드 심상용님
  1. VR? : Virtual Reality/가상현실, 특수한 안경과 장갑을 사용하여 인간의 시각, 청각 등 감각을 통하여 컴퓨터의 소프트웨어 프로그램 내부에서 가능한 것을 현실인 것처럼 유사 체험하게 하는 유저 인터페이스 기술
  2. AR?: Augmented Reality/증강현실, 실세계에 3차원의 가상물체를 겹쳐서 보여주는 기술을 활용해 현실과 가상환경을 융합하는 복합형 가상 현실
VR Storytelling by Venta VR 전우열님
  1. 디바이스에 따라 스토리를 구성할 것
    1. 과거에는 벽면형 입체 영상이 유행이었으나 비용규모가 크고 거대한 스크린이 필요함. 최근에는 이 거대한 화면을 HMD(Head Mount Display) 내에 넣는 것.
    2. 체험형: 클래시 오브 클랜 360의 경우 자연스러운 시선유도를 통해 체험형 스토리 텔링
    3. 체험형: 고층 빌딩에 고양이를 구하러 가는 영상
    4. 체험형: 운전, 자전거 같은 체험형의 경우 몸의 움직임을 느낄 수 있는 시뮬레이터 역시 필요
      – 대포 모양의 시뮬레이터에 탑승하여 롤러코스터등의 체험
    5. 체험형: 1인칭의 영어학습 체험 > 문제에 대한 답을 선택하는 상호작용이 가능
    6. 공간형: 네스카페 360의 경우 전체 화면에 각각의 다른 장면을 넣어 공간을 활용한 공간형 스토리텔링
    7. 치매 체험 영상: VR 착용자를 바라보며 배우가 연기, 몰입감을 줌
  2. 페이스를 급하게 하지 말 것
    1. 어디에든 재미 요소가 있도록 해야하며, 억지로 방향을 유도해선 안된다.
  3. 관객을 억지로 특정 방향을 보도록 하지 말 것
    1. 1인칭 영화 ‘하드코어 헨리’: 빠르게 움직이는 동작의 경우 멀미를 유발할 수 있음
      즉, 모바일의 경우 머리의 움직임을 고려
360 Camera
  1. 렌즈 일체형: 여전히 고프로(GoPro)가 성능면에서 우월하다. (UHD 가능), 이외에 Qbix, 샤오미 Yi 모델 등
  2. 렌즈 교환식: BlackMagic Design Micro Camera(Raw 촬영 가능, HD X 60p까지 촬영가능), 이외에 Panasonic GH4, Codex actions cam 등
  3. 고급장비: Arri Alexa Mini (UHD 60p Prores로 촬영가능), RED Epic Dragon(Raw 지원, 6k에서 60p로 촬영가능)
  4. 촬영장비
    1. 360 Heres: 고프로용으로 가장 많은 VR리그를 개발
      • 고프로용 VR리그
      • 고프로용 S3D VR리그
      • 수중 촬영용 VR하우징
    2. Freedom 360: 고프로용 VR리그와 수중용 하우징 제품, Qbic용 VR리그 제품이 있음
      • 고프로용 VR리그
      • 수중촬영용 VR하우징
      • Qbic용 VR리그
    3. Google Jump Array + GoPro Odyssey: 구글에서 나온 베타 VR리그 & 스티칭 프로그램.
      • 12K까지 가능
      • 프레임: 18~24가능
      • Stereoscopic 3D 지원 (매트릭스 장면 같은 360)
    4. VR 장비
      • Red Dragon
      • Samsung, LG 360…
      • Nokia Camera Ozo
      • Samsung beyond 3D
    5. 페이스북의 오큘러스 인수, 구글, 삼성 등 참여
    6. VR 이용자 중 얼리어댑터 및 초기 다수자 증가. 시장규모도 확대 전망 (Virtual Reality Ecosystem / Landscape 검색)
    7. VR 주목받는 시장
      1. 비디오게임, 라이브 이벤트, 비디오 콘텐츠, 리테일, 부동산, 교육, 헬스케어, 엔지니어링, 군대
      2. #성인 : 성인 비디오 시장 규모 80~100억달러, VR의 비중은 1~2%, 2016년 말 전세계적으로 1~2천만명이 성인콘텐츠를 즐길것으로 예상
      3. #성인: 2014.Nov > 2016. Apr., VR 성인 콘텐츠 검색 비율 9900% 상승, 일본에서 2016년 6월 성인 VR페스타 01 개최
      4. #광고: 높은 집중도와 아이트래킹을 통한 분석 예상
Stitch
  1. Stitch: 여러대의 카메라로 영상을 자연스럽게 이어주는 작업
  2. 메인 프로그램
    1. Kolor Autopano pro + Autopano video (GoPro가 Kolor를 인수)
    2. PTGui + Video Stitch
    3. Google Jump : 아직 베타 느낌
    4. VentaVR: 영상별 시차로 인한 단차 발생
    5. Felix and Paul Stitch: 현재 Stitching 가장 잘하는 회사
    6. 프리미어 같은 일반 편집 프로그램도 사용가능
    7. 후보정
      1. Sweetening: Nuke를 활용한 Sweeting
      2. Sticking 보정
      3. Color 보정
    8. 편집 시 유의할 점
      • 시청자의 관람 각도를 생각하는 편집: 사용자의 시선, 자연스러운 동선
VR Audio by GAUDIO 이규태님
  1. 소리는 우리 경험의 절반이다. VR에서 소리는 더욱 중요하다.
  2. VR 제작자는 적합한 VR 오디오 솔루션을 기다리고 있다.
    1. 사례: 360 영상은 만들었으나 영상에 적합한 음향이 지원되지 않았다. 왜?
      • 기존 스테레오 방식으로 음향을 만들고 아쉬움을 표함: 입체감이 있다면 방향을 돌렸을 때 다른 방향에서 소리가 들렸어야하는데 반영되지 못함.
      • 배경음악만 크게 들리게 하여 음향을 포기
    2. 기존의 3D 오디오 시스템으로는 영상과 음향의 위치 정보가 일치하지 않아 가상현실이라는 미디어에 적합하지 않다. (Dolby, DIS 등의 입체음향으로 재생시)
    3. 또한 유저의 위치변동을 고려하지 않는다는 점에서 VR에 적합하지 않다. ex) 도로를 걸어갈 때 우측 앞에서 나던 소리가 음원을 지나쳐도 여전히 우측 앞에서 난다.
  3. VR Audio는 어떻게 만들어질까?
    1. 사람이 청각을 통해 공간을 인식하는데는 다양한 단서가 활용되는데
      1. 첫번째로 음원과 유저의 위치를 실시간으로 취득하여,
      2. 두번째로 유저의 두 귀 간격에 따라, 머리크기에 따라 소리가 닿는 속도/세기가 달라지며
      3. 마지막으로 위의 값이 연산된 최종값을 입히는 것이다.
      4. 이를 Binaural Rendering이라고 하며, 이를 얼마나 빠르게, 고음질로 제공하느냐가 중요하다.
  4. VR Audio의 구현과정
    1. Full flow: 음원취득 > 후반작업(믹싱, 마스터링) by 콘텐츠 제작업체 > 유통 > 랜더링/재생
      1. 음원취득: Ambient Sound(다양한 각도의 소리) + Object Sound(중심 사물, 인물) + 후시 녹음(배우에게 마이크를 설치할 수 없는 경우)
      2. Ambient Sound/Ambisonics: First order(W,X,Y,Z축의 마이크. 이 중의 메인 마이크는 Tetra Mic(약 100만원 대), Second Order 등 여러개 채널로 구성된 마이크로 First Order의 메인 마이크를 중심으로 다면체로 만들어진다. 이 때 마이크 방향(Mic Array)는 원하는 방향을 향해 설치한다. 현재 YouTube는 First Order만 지원한다. 그러나 First Order의 경우 마이크가 적기 때문에 방향성(Localization)에는 한계가 있다.
        1. Object Sound: 중심 사물, 인물 소리 녹음
        2. 후시녹음: Ambient Sound를 재생하며 녹음하는 것이 노하우
        3. 따라서 실내+마이크 설치 가능한 의상이 제일 편하며 > 외부+마이크 설치 가능 의상 > 야외+유저가 움직이는 장면(마이크 설치가 제한되어 카메라 위에 마이크를 설치함. 이 경우 높낮이가 다르므로 보정이 필요) > 바람이 심하면 Wind Noise 발생, 수영복 같은 경우 카메라를 스탠딩으로 사용하고 마이크는 착용시킬 수 없어 후시녹음이 최악의 상황
        4. 사례: 유저가 시뮬레이터에 착석하면 시선은 스포츠카 안, 아름다운 해안가 도로를 달리고 있다.
          1. 엔진소리가 크므로 사람의 대화소리는 줄이고 엔진소리를 크게
          2. 헬맷의 측면에 마이크를 설치하여 Wind noise 녹음 + 소리 높낮이(마이크가 머리 위에 설치되었으므로) 보정
          3. 오픈 에어링 장면이어서 배우의 대사를 후시 녹음으로 완료
      3. 후반 작업(믹싱, 마스터링)
        1. Ambient 소스를 각 채널로 뿌려주고, 유저의 행동에 따라 Object Sound를 삽입하며 Binaural Rendering을 통해 공간감 형성
        2. 강한 음원의 경우 고개를 돌려도 음향이 남아있는 경우(reverb) 엔지니어와 협업을 통해 이를 감소/제거
  5. 오디오 구현과정에 많은 시간이 소요되므로 기존의 스튜디오에서 하나하나 음원을 적용했던 것에서 타임라인이나 위치좌표에 따라 음원파일/메타 데이터를 랜더링/재생하는 것이 지향점
디자인과 VR, 새로운 차원의 몰입감을 위해 by 이상수, 황갑환 AIXLAB 공동대표
  1. VR은 기존의 영상문법과는 다른 기획과 연출이 필요하다. 왜?
    1. Zoom in/out: 360 카메라 설정상 불가능
    2. Cut:공간이 순식간에 바뀌는 느낌은 기존 영화와 달리 단절되어 느껴짐
    3. Transition: 공간 전체에 적용할 수 있는 넓은 형태의 트랜지션이 필요함
    4. Editing: 컷을 통한 편집 구성과는 다르고 번거로운 여러 트랜지션 효과를 사용하는게 좋음
    5. Frame: 360 공간 전체를 구성하므로 프레임이 사라짐
    6. Layout: 프레임이 없기 때문에 레이아웃을 구성할 범위가 10~20배 증가
    7. VR에서 기획/연출, UX와 그에 맞는 디자인은 우리가 해왔던 방법과 완전히 다르다.
  2. VR 콘텐츠 디자인에서 디자이너의 역할이 중요한 이유: 기존의 디자인(편집, 모션그래픽, GUI)는 이미 레드오션, 그러나 새로운 매체, 기술의 등장으로 이에 맞는 좋은 디자인이 필요하며 기존의 모바일, 태블릿, PC의 UX/UI를 벗어나 새로운 차원의 연구가 필요
  3. 구현 방법
    1. 게임 엔진활용: Real-Time Render인 Unity, Unreal Engine 활용
    2. 따라서 다양한 Input Device/ Interaction 요소가 가능
    3. Position Tracking을 통해 가상 공간에서 돌아다닐 수 있고 인터렉티브 요소가 가능하므로 경험적 측면에서 압도적으로 뛰어남
    4. 따라서 궁극의 퀄리티가 나온다면 최고의 몰입감과 UX를 선사 가능
  4. 장애물
    1. 괜찮은 비주얼 콘텐츠를 작동하려면 아티스트 입장: 모델링, 손맵, 복잡한 모델링이 필요하므로 간단한 소스라도 시간이 오래걸릴 수 밖에 없음 > 따라서 제작단계의 최적화가 필요함
    2. 3D 제너럴리스트가 다 혼자할 짓이 아니다.: 최소 제대로 된 파이프라인을 갖추고 많은 인원이 제작에 투입되어야하는 상황
    3. 괜찮은 비주얼 콘텐츠를 작동하려면 개발자 입장: 양 눈에 Left/Right를 높은 프레임 레이트로 실시간 랜더링으로 뿌려주어야 함. 따라서 하드웨어의 사양이 더 높아져야하며 아티스트가 콘텐츠, 기획과 최적화도 고려해야하므로 부담이 매우 증가. 개발자에겐 더 강력한 프로그래밍 기술이 필요. 또한 Depth of Field, Particle, Bokeh, Fog등 퀄리티 높이는 기법이 프레임 레이트를 저하시키므로 사용할 수 있는 이펙트 제한이 걸림. 따라서 수많은 최적화와 테스트를 위해 인력,시간의 소요는 비용으로 직결
    4. 괜찮은 비주얼 콘텐츠를 소비하는 유저 입장: 높은 하드웨어 사양을 필요로 하므로 전파력이 약함. (GTX 980 ㅠㅠ) 오큘러스와 PC도 비쌈. 대중화된 모바일 플랫폼에서 Real-Time Engine 기반 VR은 퀄리티의 한계가 있다. 즉, 높은 퀄리티를 내려면 모바일 성능이 높아지거나 엄청난 최적화가 필요하다.
    5. 빠르게 전파될 수 있는 플랫폼이 적다.
    6. VR 영상 제작 대비 많은 제작 인력, 시간 노력이 소요
    7. 시장이 열리지 않은 상황에서 전파력이 크지 않을 수 있지만 제대로만 구현한다면 몰입감과 VR경험을 선사할 수 있다.
    8. 이를 극복하기 위해 Pre-Render(미리 랜더링)를 통해 자주 구현함: 다만 인터렉티브가 불가하고 360 공간을 임의로 돌아다닐 수 없으며, 리얼타임 엔진에 비해 해상도가 아직까지 좋지 않다.(미리 랜더링 하고 일부를 보여주는 방식이기 때문에) 그러나 VR에서 중요한 이동의 제약, 낮은 인터렉션 수준에도 불구하고 Pre-Render 기반의 영상을 제작하는 이유는 짧은 시간 내 고퀄리티 콘텐츠 제작이 가능하기 때문이다. 리얼타임엔진 활용시 많은 시간과 노력이 드므로 마케팅 측면에서 비효율적이다. 또한 360VR 실사 촬영물과 CG 합성이 리얼타임 엔진보다 비교적 용이하다. 게다가 모션그래픽 디자이너/3D 아티스트에게 있어 비교적 낮은 진입장벽이다. (리얼타임 엔진 대비)
      • 그러나 나름 많은 배포채널, SNS, 방송채널(실시간), 홍보/마케팅 수단으로 활용할 가능성이 높음
      • 하드웨어 사양을 크게 타지 않으므로 스마트폰 보유자의 절대다수에게 VR을 빠르게 체험시켜줄 수 있음
      • 궁극적으로 리얼타임 기반의 엔진으로 넘어가게 될 것이므로 이에 대한 관심과 연구가 필요. 디자인 능력, 조형적 감각, 3D 그래픽스의 전반적인 높은 스킬이 필요할 것.
  5. CG/모션 그래픽 기반의 VR영상 콘텐츠 제작 팁
    1. HMD or Web 베이스의 직사각형 플랫폼? or 둘다 고려? > 둘 다 하면 제일 좋지만 HMD를 고려하면 Web 베이스도 크게 문제 없다.
    2. 주의사항
      • 프레임이 없는 360 파노라마의 특성상 오브젝트의 등장/소멸에 있어서 개연성 있는 트렌지션(화면전환) 필요
      • 제작하려는 콘텐츠의 특성에 맞추어 360 전방우를 활용할 수 있는 애니매이션 동선 혹은 이벤트를 발생시키는 것이 좋음
      • HMD를 고려하면 과도한 카메라 무빙과 애니매이션에 제약이 발생
      • Spherical Render 결과물(구형을 사각형으로 편 이미지)를 보고 3차원으로 파악할 수 있어야한다.
      • 아직 이론화된 연출법은 없다.
      • CG기반 VR은 실제 촬영처럼 카메라가 정지할 필요까진 없으나 천천히 움직어야함
      • 카메라 로테이션 값에 애니매이션을 주는데 고민: 상당수 멀미발생
      • 수평선이 일직선이어야함: 정면을 볼 때 주변이 수평이 아니면 이상하게 느낄 수 있음
      • 카메라의 가속/감속 움직임을 최대한 자제: 어지럽지 않도록
      • 카메라의 급작스런 상하움직임 자제: FPS 게임의 걸어가는 모션의 Y축 구현은 VR에서 역효과
      • 카메라 진행 경로에 레일, 탈것을 활용하면 체험자가 짐작할 수 있어 어지러움 줄일 수 있음
      • 입체(Stereoscopic 3D)를 고려하여 물체의 앞뒤 관계를 설정해야함: 파노라마는 문제가 없지만 입체를 고려하면 사전 계획이 필요하며 Stereoscopic 3D(S3D)에 대한 이해가 필요.
      • 앞의 요소들을 무시할 경우 HMD를 착용하고 체험 시 심한 멀미 혹은 어지러움 느낌
      • 어지러움에 대한 가이드라인, 이론적 법칙이 존재하지 않지만 최소 카메라에 있어서는 모션그래픽적인 텐션감(이동)을 줄일 필요는 있다.
      • ㄷ따라서 기존 제작 영상을 컨버팅 개념이 아니다.

Leave a comment