Data-science (128) 썸네일형 리스트형 [논문 읽기] DRIT ++ 코드와 함께 이해하기, 논문 설명 기본적인 인코딩&디코딩 우선 도메인 A에 있는 이미지들이 인코더 A를 통과하여 콘텐츠 latent vector와 특성 latent. Vector를 출력합니다. B도 마찬가지로 진행합니다. 이후 콘텐츠 latent vector를 서로 교차하여 넣어주고, 특성 latent vector는 각 도메인에 맞게 Generator에 넣어줍니다. A Generator의 경우 도메인 a 특성 latent vector, b 콘텐츠 latent vector를 입력 값으로 받는다고 보시면 됩니다. B Generator의 경우 반대입니다. Reconstruction 과 랜덤 이미지 생성 3의 경우 Reconstruction loss를 위한 항입니다. A 도메인 본래의 특성 latent, 콘텐츠 latent를 A Generato.. [논문 읽기] DRIT++: Diverse Image-to-Image Translation viaDisentangled Representations 핵심만 콘텐츠와 속성 인코더가 각각 있다. 두 벡터를 조건으로해서 $$ G_x $$ 는 이미지를 합성한다. 도메인 판별자 $$D_x$$ 는 이미지가 실제인지 합성된 이미지인지 판단해준다. 콘텐츠 판별자 $$D^c$$는 두 도메인 사이의 추출된 콘텐츠 표현을 구분하도록 훈련 받는다. 입력이미지를 공통된 콘텐츠 C 공간과 각 도메인마다 특정지어지는 특성 공간 Ax, Ay로 임베딩 시킨다. representation dientanglement를 달성하기 위한 두 가지 전략 : 가중치 공유, 콘텐츠 판별자 두 도메인이 공통된 latent space를 공유한다고 가정하고, 콘텐츠 인코더 x,y 의 마지막 layer의 가중치를 서로 공유시킨다. 또 Generator x, y 의 첫번재 layer의 가중치를 공유시킨다. 이.. [논문 읽기] Unpaired Image-to-Image Translationusing Cycle-Consistent Adversarial Networks (Cycle GAN 논문 핵심만 정리) - 적대적 손실 (adversarial loss)을 활용하여 G(X)가 가 Y에서 온 분포와 유사하도록 $$ X \rightarrow Y $$ 맵핑을 학습하는 게 목표 - 이건 제약이 적기 없때문에 inverse mapping을 하나 추가한다. $$ Y \rightarrow X $$ 로 가는 것. 즉, $$ F(G(X)) \approx X $$ 이를 강제하는 cycle consitency loss를 소핸다. 2개의 맵핑 함수가 존재한다. G는 X를 Y로, F는 Y를 X로 맵핑 시키는 함수이다. X, Y는 각각 이미지 도메인이라고 생각하면 된다. $$ D_X $$는 Y에서 생성된 X가 최대한 실제 X 처럼 보이게끔 F를 조절하는 역할을 하고, $$ D_Y $$는 반대다. 그리고 여기서 2가지 사이클 일치 .. [논문 읽기] Adversarial Texture Optimization from RGB-D Scans - 1 RGB-D 카메라 surface 생성에 있어서 칼라 텍스쳐 생성은 중요한 단계인데, 여전히 좀 첼린징하다. 왜냐하면 카메라 위치가 잘 들어맞지 않고 여러 시각적 오류의 한계가 있기 때문이다. (view dependent imaging artifacts 해석이 어렵다..) conditional GAN의 adversarial loss를 활용하여 texture를 생성한다. 핵심 아이디어는 패치 기반의 조건부 판별자를 학습하는 것이다. 이 판별자가는 텍스쳐 최적화를 가이드해준다. 합성 뷰와 실제 이미지를 받아들여 합성 이미지가 실제 것인지 평가한다. 판별자에게 실제 이미지와 misaligned 된 버전 두 가지를 제공해서 학습한다. - 그래서 적대적 손실 (adversarial loss)이 스캔에서 발생하는 에.. [딥러닝] Star gan v2 논문 읽기 X, Y 도메인에 대해 X 도메인에 속한 이미지를 x, Y 도메인에 속한 이미지를 y라하자. - 목표 : x에 대응되는 각 y 도메인의 이미지를 생성 시키는 하나의 Generator를 훈련시키는 것 각 도메인의 스타일 공간에서 학습된, specific한 스타일 벡터를 생성시키고 G가 스타일 벡터를 반영하도록 훈련한다. 4가지 모듈이 있다. Generator(생성자), Mapping network(맵핑 네트워크), Style Encoder (스타일 인코더), Discriminator(판별자) - 생성자 : 생성자는 이미지 x를 맵핑 네트워크 F를 통해 주어지거나 스타일 인코더 E를 통해 주어진, 특정 스타일 벡터 s를 반영하여 G(x, s)로 tranlsation 시킨다. s를 생성자에 주입하기 위해 Ad.. [딥러닝] Graph2Vec 4가지 특징 1. Unsupervised representation learning: - graph2vec learns graph embeddings in a completely unsupervised manner i.e., class labels of graphs are not required for learning their embeddings. This allows us to readily use graph2vec embeddings in a plethora of applications where labeled data is difficult to obtain. - 비지도 표현 학습. graph2vec은 완전히 비지도 방식으로 그래프 임베딩을 배운다. 즉, 그래프 임베딩에 해당하는 클래스 라벨이 요구되지 않는다.. [논문 읽기] Unsupervised Image to Image translation via pretrained stylegan2 network Abstract 새로운 I2I 방법! - pretrained stylegan2를 이용 (소스 도메인) - 역변환 방법 (이미지 -> latent vector) Introduction Generator가 2개인데 하나는 domain X에서 무언가를 만든다. 이를 $G_{X}$라하자. Generator는 domain Y에서 이미지를 생성한다. 이를 $G_{Y}$라고 하자. z라는 latent code 가 주어졌을 때 이미지 X를 생성할 수 있다. 즉 $G_{X}(z)$, $G_{Y}(z)$를 생성하는데 이 둘의 이미지는 뭔가 유사하지만 domain만 다른 것이 되도록 해야 한다. 이 방법은?? $G_{X}$ 를 Y 도메인 데이터로 파인 튜닝하는 것이다. 구체적으로는 FreezeFC라고 한다. Style Fu.. [pytorch] torch.utils.data.DataLoader 이용시 파일 경로 출력 배경 efficientNet을 이용한 간단한 분류기 만들기 github.com/narumiruna/efficientnet-pytorch narumiruna/efficientnet-pytorch A PyTorch implementation of "EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks". - narumiruna/efficientnet-pytorch github.com shutil 을 이용해서 파일을 분류하고 분류 결과대로 저장하고 싶었다. 그래서 파일명이 필요했다. 과정 from torchvision.datasets import ImageFolder 보통 Image data의 경우 ImageFolder를 쓴다. fr.. 이전 1 2 3 4 5 6 7 8 ··· 16 다음
