Data-science (128) 썸네일형 리스트형 [논문 읽기] DRIT ++ 코드와 함께 이해하기, 논문 설명 기본적인 인코딩&디코딩 우선 도메인 A에 있는 이미지들이 인코더 A를 통과하여 콘텐츠 latent vector와 특성 latent. Vector를 출력합니다. B도 마찬가지로 진행합니다. 이후 콘텐츠 latent vector를 서로 교차하여 넣어주고, 특성 latent vector는 각 도메인에 맞게 Generator에 넣어줍니다. A Generator의 경우 도메인 a 특성 latent vector, b 콘텐츠 latent vector를 입력 값으로 받는다고 보시면 됩니다. B Generator의 경우 반대입니다. Reconstruction 과 랜덤 이미지 생성 3의 경우 Reconstruction loss를 위한 항입니다. A 도메인 본래의 특성 latent, 콘텐츠 latent를 A Generato.. [논문 읽기] DRIT++: Diverse Image-to-Image Translation viaDisentangled Representations 핵심만 콘텐츠와 속성 인코더가 각각 있다. 두 벡터를 조건으로해서 Gx 는 이미지를 합성한다. 도메인 판별자 Dx 는 이미지가 실제인지 합성된 이미지인지 판단해준다. 콘텐츠 판별자 Dc는 두 도메인 사이의 추출된 콘텐츠 표현을 구분하도록 훈련 받는다. 입력이미지를 공통된 콘텐츠 C 공간과 각 도메인마다 특정지어지는 특성 공간 Ax, Ay로 임베딩 시킨다. representation dientanglement를 달성하기 위한 두 가지 전략 : 가중치 공유, 콘텐츠 판별자 두 도메인이 공통된 latent space를 공유한다고 가정하고, 콘텐츠 인코더 x,y 의 마지막 layer의 가중치를 서로 공유시킨다. 또 Generator x, y 의 첫번재 layer의 가중치를 공유시킨다. 이.. [논문 읽기] Unpaired Image-to-Image Translationusing Cycle-Consistent Adversarial Networks (Cycle GAN 논문 핵심만 정리) - 적대적 손실 (adversarial loss)을 활용하여 G(X)가 가 Y에서 온 분포와 유사하도록 X→Y 맵핑을 학습하는 게 목표 - 이건 제약이 적기 없때문에 inverse mapping을 하나 추가한다. Y→X 로 가는 것. 즉, F(G(X))≈X 이를 강제하는 cycle consitency loss를 소핸다. 2개의 맵핑 함수가 존재한다. G는 X를 Y로, F는 Y를 X로 맵핑 시키는 함수이다. X, Y는 각각 이미지 도메인이라고 생각하면 된다. DX는 Y에서 생성된 X가 최대한 실제 X 처럼 보이게끔 F를 조절하는 역할을 하고, DY는 반대다. 그리고 여기서 2가지 사이클 일치 .. [논문 읽기] Adversarial Texture Optimization from RGB-D Scans - 1 RGB-D 카메라 surface 생성에 있어서 칼라 텍스쳐 생성은 중요한 단계인데, 여전히 좀 첼린징하다. 왜냐하면 카메라 위치가 잘 들어맞지 않고 여러 시각적 오류의 한계가 있기 때문이다. (view dependent imaging artifacts 해석이 어렵다..) conditional GAN의 adversarial loss를 활용하여 texture를 생성한다. 핵심 아이디어는 패치 기반의 조건부 판별자를 학습하는 것이다. 이 판별자가는 텍스쳐 최적화를 가이드해준다. 합성 뷰와 실제 이미지를 받아들여 합성 이미지가 실제 것인지 평가한다. 판별자에게 실제 이미지와 misaligned 된 버전 두 가지를 제공해서 학습한다. - 그래서 적대적 손실 (adversarial loss)이 스캔에서 발생하는 에.. [딥러닝] Star gan v2 논문 읽기 X, Y 도메인에 대해 X 도메인에 속한 이미지를 x, Y 도메인에 속한 이미지를 y라하자. - 목표 : x에 대응되는 각 y 도메인의 이미지를 생성 시키는 하나의 Generator를 훈련시키는 것 각 도메인의 스타일 공간에서 학습된, specific한 스타일 벡터를 생성시키고 G가 스타일 벡터를 반영하도록 훈련한다. 4가지 모듈이 있다. Generator(생성자), Mapping network(맵핑 네트워크), Style Encoder (스타일 인코더), Discriminator(판별자) - 생성자 : 생성자는 이미지 x를 맵핑 네트워크 F를 통해 주어지거나 스타일 인코더 E를 통해 주어진, 특정 스타일 벡터 s를 반영하여 G(x, s)로 tranlsation 시킨다. s를 생성자에 주입하기 위해 Ad.. [딥러닝] Graph2Vec 4가지 특징 1. Unsupervised representation learning: - graph2vec learns graph embeddings in a completely unsupervised manner i.e., class labels of graphs are not required for learning their embeddings. This allows us to readily use graph2vec embeddings in a plethora of applications where labeled data is difficult to obtain. - 비지도 표현 학습. graph2vec은 완전히 비지도 방식으로 그래프 임베딩을 배운다. 즉, 그래프 임베딩에 해당하는 클래스 라벨이 요구되지 않는다.. [논문 읽기] Unsupervised Image to Image translation via pretrained stylegan2 network Abstract 새로운 I2I 방법! - pretrained stylegan2를 이용 (소스 도메인) - 역변환 방법 (이미지 -> latent vector) Introduction Generator가 2개인데 하나는 domain X에서 무언가를 만든다. 이를 GX라하자. Generator는 domain Y에서 이미지를 생성한다. 이를 GY라고 하자. z라는 latent code 가 주어졌을 때 이미지 X를 생성할 수 있다. 즉 GX(z), GY(z)를 생성하는데 이 둘의 이미지는 뭔가 유사하지만 domain만 다른 것이 되도록 해야 한다. 이 방법은?? GX 를 Y 도메인 데이터로 파인 튜닝하는 것이다. 구체적으로는 FreezeFC라고 한다. Style Fu.. [pytorch] torch.utils.data.DataLoader 이용시 파일 경로 출력 배경 efficientNet을 이용한 간단한 분류기 만들기 github.com/narumiruna/efficientnet-pytorch narumiruna/efficientnet-pytorch A PyTorch implementation of "EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks". - narumiruna/efficientnet-pytorch github.com shutil 을 이용해서 파일을 분류하고 분류 결과대로 저장하고 싶었다. 그래서 파일명이 필요했다. 과정 from torchvision.datasets import ImageFolder 보통 Image data의 경우 ImageFolder를 쓴다. fr.. 이전 1 2 3 4 5 6 7 8 ··· 16 다음 5/16
