본문 바로가기

분류 전체보기

 (290)
multi gpu 실패... 원인을 알 수 없다. study-grow.tistory.com/entry/multi-gpu-%EC%8B%A4%ED%8C%A8-tensorflow-mirrored-strategy multi gpu 실패, tensorflow mirrored strategy 멀티 GPU가 잡히지 않을 떄 mirrored_strategy = tf.distribute.MirroredStrategy() tf.keras로 multi gpu를 쓰려면 위에 구문을 쳐주고 mirrored_strategy scope내에 model 생성 및 compile을 해줘야 한다. with.. study-grow.tistory.com 위 방법을 쓰면 될 줄 알았다만... gpu가 동작하지 않는다... 뭐가 문제인 걸까? NotImplementedError: _reduce ..
multi gpu 실패, tensorflow mirrored strategy 멀티 GPU가 잡히지 않을 떄 mirrored_strategy = tf.distribute.MirroredStrategy() tf.keras로 multi gpu를 쓰려면 위에 구문을 쳐주고 mirrored_strategy scope내에 model 생성 및 compile을 해줘야 한다. with mirrored_strategy.scope(): dense = densenet.DenseNet121(include_top=False, classes=2) inputs = tf.keras.Input(shape=(256, 256, 3)) x = dense(inputs) x = tf.keras.layers.GlobalAveragePooling2D()(x) outputs = tf.keras.layers.Dense(1, a..
docker 공부 정리 - docker image 다운 받기 docker pull - docker image 목록 확인 docker images - docker 컨테이너 목록 확인 docker ps # 정지된 컨테이너까지 보려면 docker ps -a - docker 컨테이너 실행하기 docker start - docker 컨테이너 들어가기 docker attach - docker 컨테이너 만들고 실행하기 docker run -i -t : docker run -i -i --name -p 127.34.23.123:6666:80 : - cloudera docker quickstart 실행 docker run --hostname=quickstart.cloudera --privileged=true -t -i [OPTIONS] [IMA..
hadoop, hdfs ?하둡 공부 정리 - 빅데이터를 저장, 처리, 분석할 수 있는 자바 기반 소프트웨어 프레임워크 - HDFS와 맵리듀스가 핵심 - HDFS로 데이터를 저장, MapReduce로 데이터를 처리 - RDBMS와 경쟁하는 것이 아닌 RDBMS와 협력 2. HDFS? - Hadoop Distributed File System의 약자이다. - 수십 테라바이트 또는 페타바이트 이상의 대용량 파일을 분산된 서버에 저장하고, 그 저장된 데이터를 빠르게 처리할 수 있게 하는 파일시스템이다. - HDFS는네임노드(마스터)와데이터노드(슬레이브)로 구현 3. 네임노드(NameNode)? - 메타데이터관리, 데이터노드 모니터링( 데이터노드의 실행상태와 용량을 체크 ), 블록관리, 클라이언트 요청접수 4. 데이터노드(DataNode)? - 클라이언..
postgre sql 설치 및 버튼 (콘솔 나가기) E: Unable to locate package python-pip 이런 에러가 나면서 설치가 안된다.. python-pip is in the universe repositories, therefore use the steps below: sudo apt-get install software-properties-common sudo apt-add-repository universe sudo apt-get update sudo apt-get install python-pip exit, exit(), 컨트롤 + c 다 안 먹힘. \q이다!! post gre sql 나가기 : \q 입력 docs.cloudera.com/documentation/enterprise/latest/topics/cm_ig_extrn..
[논문 읽기] StyleGAN2 Distillation for Feed-forwardImage Manipulation - 2 3.1 Data collection Style mixing 이란? - regularization 기법이다. 다른 스케일에 입력되는 w_1, w_2의 latent code를 사용한다. Face morphing (얼굴이 서서히 변하게 만드는 것)은 이런 w들 사이의 linear interpolation과 관련돼있다. - 각 task 마다 5만장의 샘플을 만들었다. 각 샘플은 2장의 source 이미지와 target 이미지로 이루어진다. 이미지 샘플 생성 과정은 이렇다. 정규 분포에서 임의의 z를 샘플링하고, w로 맵핑 후, stylegan2를 이용해 이미지를 생성한다. 이렇게 각 source 이미지 2장을 생성한다. target 이미지는 대응하는 w에 연산을 수행하고 그 결과 stylegan2에 feedin..
[논문 읽기] StyleGAN2 Distillation for Feed-forwardImage Manipulation - 1 실제 이미지를 임베딩하는 것 (vector, latent code로 표현하는 것)에는 주로 latent code를 역전파로 optimization 하는 과정이 쓰인다. 그런데 이건 매우 느리다. 여기선 stylegan2에 쓰인 이미지 조종 기법을 distillation(선생, 학생 각 네트워크를 이용 정확도 성능을 개선하면서도 좀 더 가볍게 만드는 학습 기법)할 것을 제안한다. 새로운 방식은 pix2pix처럼 paired한 방식으로 훈련된, 이미지 대 이미지 네트워크이다. 이렇게 나온 파이프라인은 기존의 unpaired한 데이터로 훈련된 GAN들을 대체할 수 있다. 사람 얼굴 변형, 성별 변형, 연령 변형, 스타일 변형, 이미지 morphing(모핑, 어떤 모습을 전혀 다른 모습으로 서서히 변형시키는 것..
dacon - Rainnet기반 강수량 예측시 CSI, MAE 계산 CSI 계산법 예) import numpy as np true = np.array([0.2, 0.3, 0.4, 0.05, 0.03]) pred = np.array([0.05, 0.2, 0.3, 0.01, 0.5]) true_ok = true >= 0.1 pred_ok = pred >= 0.1 num_true_ok = np.sum(true_ok) num_pred_ok = np.sum(pred_ok) num_H = np.sum(true_ok & pred_ok) num_total = np.sum(true_ok | pred_ok) print(f'true_ok : {num_true_ok}, pred_ok : {num_pred_ok} ==== \ntrue_ok : {true_ok},\npred_ok : {pred_..
728x90

티스토리툴바