분류 전체보기 (290) 썸네일형 리스트형 [pytorch] torch.utils.data.DataLoader 이용시 파일 경로 출력 배경 efficientNet을 이용한 간단한 분류기 만들기 github.com/narumiruna/efficientnet-pytorch narumiruna/efficientnet-pytorch A PyTorch implementation of "EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks". - narumiruna/efficientnet-pytorch github.com shutil 을 이용해서 파일을 분류하고 분류 결과대로 저장하고 싶었다. 그래서 파일명이 필요했다. 과정 from torchvision.datasets import ImageFolder 보통 Image data의 경우 ImageFolder를 쓴다. fr.. [imaginaire] coco-funit, mode collapse 문제 해결 삽질 coco-funit에서 발생한 문제 github.com/NVlabs/imaginaire/issues/43 mode collapse · Issue #43 · NVlabs/imaginaire hi, when I trained with coco_funit, In the first few epochs, the results are normal, but mode collapse appears from the 59th epoch. Is this normal? Will it also appear during your training? github.com Mode collapse... 해결 방안 1. learning rate 줄이기 - discriminator learning rate : 1e-4 -> 1e-5 - g.. [linux] ubuntu에서 2TB 이상 HDD 마운트 시키기 1. 디스크 정보 확인 fdisk -l 3.65 TB HDD가 보인다. /dev/sda이다. (아래부터 이 위치로 입력하면 된다.) 2. parted 이용하여 분할하기 sudo parted /dev/sda 입력 mklabel 입력 후 gpt 내부 데이터가 모두 사라진다는 메세지가 출력 됨 yes 입력 unit GB 입력하여 단뒤 변환 print 입력하여 용량 확인 mkpart primary 0GB 4001GB 입력(우측엔 본인 용량 입력하면 됨) q 입력하여 커맨드로 돌아옴 다시 fdisk -l을 해본다. 3. 파티션 포맷 mkfs.ext4 /dev/sda1 중간에 정보 입력하는 부분은 그냥 엔터 쳐서 무시하고 넘어가도 됨 5. UUID 확인 sudo blkid 입력하여 UUID 확인 후 복사해두기 6... [nvidia-docker] pytorch 실행시 메모리 문제 --ipc=host 부분을 run 시 추가해준다. curioso365.tistory.com/136 docker 컨테이너에서 pytorch 실행시 메모리 에러 해결 문제 docker에 pytorch 개발 환경을 구축하여 실행 시키고 컨테이너 안에서 관련 코드는 돌리니 다음과 같은 에러 메시지가 발생하였다. ERROR: Unexpected bus error encountered in worker. This might be caus.. curioso365.tistory.com [nvidia-docker] NGC 설치로 pytorch build 필요없이 실행하기 - nvidia imaginaire 이용하는 법 하게된 배경 github.com/NVlabs/imaginaire NVlabs/imaginaire NVIDIA PyTorch GAN library with distributed and mixed precision support - NVlabs/imaginaire github.com imaginaire라는 라이브러리가 있다. 해당 라이브러리는 cuda 10.2로만 동작한다. RTX 30 시리즈는 cuda 10.2에서 지원하지 않는다는 게 문제... apex라는 라이브러리가 torch와 뭔가 연동이 되지 않아서 빌드부터 다시 해야한다고 들었다. 그런데 우리의 NGC는 apex와의 build를 cuda 11.2에서도 다 해놓았다! (NGC는 Nvidia Gpu Cloud의 약자로 Nvidia에서 AI를 쉽게 할.. [linux] nvidia-docker 설치 1. docker를 설치한 후 2. nvidia docker를 설치한다. docker 설치는 간단하다. curl https://get.docker.com | sh \ && sudo systemctl --now enable docker distribution=$(. /etc/os-release;echo $ID$VERSION_ID) \ && curl -s -L https://nvidia.github.io/nvidia-docker/gpgkey | sudo apt-key add - \ && curl -s -L https://nvidia.github.io/nvidia-docker/$distribution/nvidia-docker.list | sudo tee /etc/apt/sources.list.d/nvidia-.. [imaginare 설치] TypeError: Class advice impossible in Python3 에러 문제 TypeError: Class advice impossible in Python3. Use the @Implementer class decorator instead. apex 에러 해결법 apex를 지우고 다시 설치해준다. git clone https://www.github.com/nvidia/apex cd apex python setup.py install github.com/NVIDIA/apex/issues/116 TypeError: Class advice impossible in Python3 · Issue #116 · NVIDIA/apex TypeError Traceback (most recent call last) in () ----> 1 from pytorch_pretrained_bert.. python으로 폴더 지우기 (os, shutil) 파일을 지울 때는 os.remove를 사용하는데. 이걸 폴더에 사용하면 안 먹힌다. import os folder = '/temp/blar' os.remove(folder) 에러가 난다. 폴더는 어떤 방식으로 지울까?? 2가지 방법이 있다. 1. os.rmdir import os folder = '/temp/blar' os.rmdir(folder) 2. shutil.rmtree 1 번 방법이 안 통할 때가 있다. 폴더내에 또 파일들이 들어있을 경우다. 그럴 경우 이 방법을 쓴다. shutil.rmtree(folder, ignore_errors=True) 이전 1 ··· 11 12 13 14 15 16 17 ··· 37 다음
