반응형
RGB-D 카메라 surface 생성에 있어서 칼라 텍스쳐 생성은 중요한 단계인데, 여전히 좀 첼린징하다.
왜냐하면 카메라 위치가 잘 들어맞지 않고 여러 시각적 오류의 한계가 있기 때문이다. (view dependent imaging artifacts 해석이 어렵다..)
conditional GAN의 adversarial loss를 활용하여 texture를 생성한다.
핵심 아이디어는 패치 기반의 조건부 판별자를 학습하는 것이다. 이 판별자가는 텍스쳐 최적화를 가이드해준다.
합성 뷰와 실제 이미지를 받아들여 합성 이미지가 실제 것인지 평가한다. 판별자에게 실제 이미지와 misaligned 된 버전 두 가지를 제공해서 학습한다. - 그래서 적대적 손실 (adversarial loss)이 스캔에서 발생하는 에러를 고려해서 학습하게끔한다.
RGB-D 스캔으로부터 판별자를 이용해 텍스쳐 이미지와 텍스쳐 목적 함수를 둘다 최적화 시킨다. 판별자는 칼라이미지 입력의 다양한 reprojection들에 작용하는데, 이 과정은 다양한 misalignment에 대처하기 위해서다.
임의의 입력 이미지 쌍을 선택한다. (source , auxiliary), 그리고 소스뷰로 부터 가짜와 실제를 합성하는데 이때 re-projected 된 소스 이미지를 조건으로 한다. 텍셔츠 이미지와 판별자가 교대로 학습 된다.
반응형
