deep learning (25) 썸네일형 리스트형 [논문 읽기] Adversarial Texture Optimization from RGB-D Scans - 1 RGB-D 카메라 surface 생성에 있어서 칼라 텍스쳐 생성은 중요한 단계인데, 여전히 좀 첼린징하다. 왜냐하면 카메라 위치가 잘 들어맞지 않고 여러 시각적 오류의 한계가 있기 때문이다. (view dependent imaging artifacts 해석이 어렵다..) conditional GAN의 adversarial loss를 활용하여 texture를 생성한다. 핵심 아이디어는 패치 기반의 조건부 판별자를 학습하는 것이다. 이 판별자가는 텍스쳐 최적화를 가이드해준다. 합성 뷰와 실제 이미지를 받아들여 합성 이미지가 실제 것인지 평가한다. 판별자에게 실제 이미지와 misaligned 된 버전 두 가지를 제공해서 학습한다. - 그래서 적대적 손실 (adversarial loss)이 스캔에서 발생하는 에.. [nvidia-docker] pytorch 실행시 메모리 문제 --ipc=host 부분을 run 시 추가해준다. curioso365.tistory.com/136 docker 컨테이너에서 pytorch 실행시 메모리 에러 해결 문제 docker에 pytorch 개발 환경을 구축하여 실행 시키고 컨테이너 안에서 관련 코드는 돌리니 다음과 같은 에러 메시지가 발생하였다. ERROR: Unexpected bus error encountered in worker. This might be caus.. curioso365.tistory.com [nvidia-docker] NGC 설치로 pytorch build 필요없이 실행하기 - nvidia imaginaire 이용하는 법 하게된 배경 github.com/NVlabs/imaginaire NVlabs/imaginaire NVIDIA PyTorch GAN library with distributed and mixed precision support - NVlabs/imaginaire github.com imaginaire라는 라이브러리가 있다. 해당 라이브러리는 cuda 10.2로만 동작한다. RTX 30 시리즈는 cuda 10.2에서 지원하지 않는다는 게 문제... apex라는 라이브러리가 torch와 뭔가 연동이 되지 않아서 빌드부터 다시 해야한다고 들었다. 그런데 우리의 NGC는 apex와의 build를 cuda 11.2에서도 다 해놓았다! (NGC는 Nvidia Gpu Cloud의 약자로 Nvidia에서 AI를 쉽게 할.. [imaginare 설치] TypeError: Class advice impossible in Python3 에러 문제 TypeError: Class advice impossible in Python3. Use the @Implementer class decorator instead. apex 에러 해결법 apex를 지우고 다시 설치해준다. git clone https://www.github.com/nvidia/apex cd apex python setup.py install github.com/NVIDIA/apex/issues/116 TypeError: Class advice impossible in Python3 · Issue #116 · NVIDIA/apex TypeError Traceback (most recent call last) in () ----> 1 from pytorch_pretrained_bert.. [pytorch] type casting 하기, 타입 변환하기 가끔 가다가 RuntimeError: expected scalar type Float but found Double 이런 에러가 발생한다. 그럴경우... a 라는 텐서가 있으면 아래와 같이 케스팅해주면 된다. type도 변환된 자기 자신을 리턴한다. a = a.type(torch.FloatTensor).to(device) [논문 읽기] Exploring the structure of a real-time, arbitrary neuralartistic stylization network 1 이전 논문은 이미지 하나당 optimization을 해야했다면 이 논문은 이런 점을 보완했다. (2015) A Neural Algorithm of Artistic Style 각각의 loss가 있다. style 이미지가 주어지면 style 예측 네트워크 P에서 S를 추출한다. 이게 style tranfer 네트워크 T에 콘텐츠 이미지 (입력이미지) 입력된다. 콘텐츠 이미지와 S가 T에 더해져 스타일이 입혀진 이미지가 생성된다. - Style loss 스타일이 입혀진 이미지 VS 스타일 이미지 - Content loss 스타일이 입혀진 이미지 VS 콘텐츠 이미지 각각 거리를 최소화하는 방식으로 작동하기에, 콘텐츠의 내용을 잃지 않으면서 스타일을 학습할 수 있는 것이다. 두 이미지 Content가 유사하다 :.. [논문 읽기] SeFa - Closed-Form Factorization of Latent Semantics in GANs 핵심 코드 분석 transformation matrix A에 대해 조사해야한다. 왜냐면 An의 최댓값을 이미지 Edit을 최대화 시킬 수 있기 때문이다. 그래서 A^TA의 고유벡터와 고유값을 찾는다. gan_type = parse_gan_type(net.decoder) layers, boundaries, values = factorize_weight(net.decoder, args.layer_idx) generator의 weight와 layer 인덱스를 인자로 받고, 그 결과로 layers, boundarys, values를 내 뱉는다. 문맥상 layers는 이미지 Edit에 관여된 layer들을 의미하고, boundarys가 고유 벡터, values가 고유값을 의미하는 듯하다. 위 값들은 실제 코드에 어떻게 쓰일까? .. [논문 읽기] Encoding in Style: a StyleGAN Encoder for Image-to-Image Translation stylegan이든, stylegan2든 projection 속도가 상당히 느리다. projection? 1. 이미지를 w 차원으로 embedding 시키기 2. w를 generator를 통해 다시 합성하여 이미지 생성하기 실제 이미지를 z, w, w+와 같은 embedding vector 차원으로 인코딩 후 다시 generator를 거쳐 그와 유사한 이미지를 생성하는 것이다. generator를 G라는 함수로, 실제 이미지는 R이라 하면, projection은 G(z), G(w) 혹은 G(w+) 가 R가 최대한 유사하게 되는 z, w, w+를 찾는 과정이다.(latent code를 w 만 생각해보기로 하겠다.) 실제 이미지와 유사하게 만들어야 하므로, opitmization 과정에 쓰이는 Loss는 p.. 이전 1 2 3 4 다음
