Data-science/deep learning (87) 썸네일형 리스트형 [pytorch] DistributedDataParallel vs DataParallel 차이 The difference between DistributedDataParallel and DataParallel is: DistributedDataParallel uses multiprocessing where a process is created for each GPU, while DataParallel uses multithreading. By using multiprocessing, each GPU has its dedicated process, this avoids the performance overhead caused by GIL of Python interpreter. If you use DistributedDataParallel, you could use torch.distributed... 2020.12.31 회의록 (petcon stylegan2 학습 진행 과정2, 할 일, 관련 논문) 보호되어 있는 글입니다. [pytorch] stylegan2 여러 지표들 용어 정리. real score? fake score? real score? fake score? fake_pred = discriminator(fake_img) real_pred = discriminator(real_img_aug) d_loss = d_logistic_loss(real_pred, fake_pred) loss_dict["d"] = d_loss loss_dict["real_score"] = real_pred.mean() loss_dict["fake_score"] = fake_pred.mean() discriminator prediction? discriminator가 입력 image를 실제 이미지라고 생각하는 확률의 평균 값. 높을 수록 실제 이미지라고 판단했다. 낮을 수록 가짜 이미지라고 판단 real_scroe 높은 값일 수록 실제 입력 이.. [pytorch] stylegan2 학습, freezeD + freezeG 동시 적용 뭔가 학습할수록 이미지가 더 일그러진다.... generaotr학습을 제대로 하지 못한다고 생각했다. 15k 기준으로 이미지가 점점 깨지기 시작한다. 그래서 기존의 generator에서 미세조정하면 되지 않을까란 생각이 들었다. 구체적으로는 14k 정도에서의 weight를 조금만 조정해보면 어떨까? 하는 생각! freezeD만 해선 생성할 때 많이 일그러지는 것 같다. generator를 고정시켜보자! Generator도 일부는 고정하고 싶단 생각을 했다. 그러던 차에 누가 이미 실험을 해봤다. freezeG라는 github에 구현한 코드도 있었다. 감사! 감사 우선 이해를 해야했기에, 노트북에 정리해보았다. 어떤 layer를 학습하는지. stylegan2에서는 skip generator를 이용한다. 여.. pytorch 에러 DistributedDataParallel 에러 if self.reducer._rebuild_buckets(): RuntimeError: Expected to have finished reduction in the prior iteration before starting a new one. This error indicates that your module has parameters that were not used in producing loss. You can enable unused parameter detection by (1) passing the keyword argumentere not used in producing loss. You can enable unused parameter detection by (1) passing the k.. [pytorch] 강아지 스타일 합성 stylegan2 freezeD + freezeG ( freezing layer 시행 착오) 보호되어 있는 글입니다. [stylegan2] ada 논문 다시보기 & afhq + ada + freezeD 셋 다 썼을때 가장 성능이 좋다. freezeD를 어떻게 써야할까? . k=13으로! 13개 layer를 얼린다. 4까지 다 얼리고, 5,6과 마지막 레이어는 학습시키면 될듯하다 nvlabs-fi-cdn.nvidia.com/stylegan2-ada/pretrained/paper-fig11a-small-datasets/ stylegan2-ada / pretrained / paper-fig11a-small-datasets nvlabs-fi-cdn.nvidia.com 여기에 있는 weight들 중에 가장 좋은 성능을 고른다! 사실 밑에 있는 걸 그냥해도 될듯하다. nvlabs-fi-cdn.nvidia.com/stylegan2-ada/pretrained/ stylegan2-ada / pretrained nvla.. [pytorch] 유명인 합성 stylegan2 freezeD + freezeG ( freezing layer 시행 착오) Training From FFHQ no freezeG freezeG (끝 단 3 블럭만 학습) freezeG (끝 단 2블럭만 학습) freezeG (끝 단 1블럭만 학습) no freezeD x freezeD (끝 단 3개만 학습) 경과 후 이미지 일그러지는 현상 시도중 (gpu4) 시도중 (Gpu 1) 생성 이미지가 본질적으로 ffhq에 가까워, custom 이미지 생성이 어려워 보임 (10k step까지 학습) 생성 이미지가 본질적으로 ffhq에 가까워, custom 이미지 생성이 어려워 보임 (10k step까지 학습) freezeD (끝 단 2개만 학습) ? 이전 1 2 3 4 5 6 7 8 ··· 11 다음
