본문 바로가기

Data-science/deep learning

(87)
[Coursera 강의] Sequences, Time Series and Prediction - 3주 차. Recurrent Neural Network for time series prediction, forecasting (TensorFlow Developer 전문 자격증 강의) coursera 강의를 정리해서 스스로 이해를 돕기 위해 만든 자료입니다. RNN 등장 위 그림은 X를 time series data라고 하면 X가 RNN을 거쳐 Vector로 출력되는 걸 나타낸다. X는 window_size가 30인 series이다. 즉 과거 30개의 data를 통해 다음 값을 예측하는 것이라고 볼 수 있다. 각 X는 batch 크기 만큼(위 그림에선 4) 입력으로 들어가고 RNN내부 Mem Cell에서 Unit 크기 만큼, 곱해진 크기로 출력한다. Mem Cell의 unit이 3이라면 위에서 30개의 Y는 각각 4(batch_size) x 3(unit 개수) 크기 만큼의 matrix 형태를 가진다. 일반적인 RNN의 경우 각 mem cell의 H는 이전 Y 값과 동일하다. seque..
[Coursera 강의] Sequences, Time Series and Prediction - 2주 차. 간단한 DNN 기반 prediction, forecasting (TensorFlow Developer 전문 자격증 강의) coursera 강의를 정리해서 스스로 이해를 돕기 위해 만든 자료입니다. #데이터를 생성하고, dataset = tf.data.Dataset.range(10) # tf.data.Dataset.window를 이용하여 특정 window 사이즈만큼의 크기를 갖는 데이터를 얻는다. drop_remainder를 true로 할 경우 window 사이즈보다 작은 데이터는 다 drop된다. dataset = dataset.window(5, shift=1, drop_remainder=True) # flat_map 함수를 이용하여 타입의 데이터를 tf.Tensor([0 1 2 3 4], shape=(5,), dtype=int64)로 바꿔준다. dataset = dataset.flat_map(lambda window: w..
[Coursera 강의] Sequences, Time Series and Prediction - 1주 차. 간단한 시계열 예측 방법 4가지 + autocorrelation (TensorFlow Developer 전문 자격증 강의) 이 자료는 Coursera 강의를 정리하여, 스스로 이해를 돕기 위해 작성한 자료입니다. https://www.coursera.org/learn/tensorflow-sequences-time-series-and-prediction/home/welcome Coursera | Online Courses & Credentials From Top Educators. Join for Free | Coursera Learn online and earn valuable credentials from top universities like Yale, Michigan, Stanford, and leading companies like Google and IBM. Join Coursera for free and trans..
[Coursera 강의] Natural Language Processing in TensorFlow - 4주 차 (TensorFlow Developer 전문 자격증 강의) TensorFlow Developer 전문 자격증 강의 기록 import tensorflow as tf from tensorflow.keras.preprocessing.sequence import pad_sequences from tensorflow.keras.layers import Embedding, LSTM, Dense, Bidirectional from tensorflow.keras.preprocessing.text import Tokenizer from tensorflow.keras.models import Sequential from tensorflow.keras.optimizers import Adam import numpy as np tokenizer = Tokenizer() data="I..
semantic segmentation loss 관련 고찰 배경 간단한 knowledge distillation을 구현하고 싶은데 그러면 segmentation loss에 대해 빠삭하게 파악하고 있어야 한다. loss는 분류 문제와 동일하다하고 자세한 설명은 없는 글들이 대부분이다. 이에 도움이 되고자 글을 작성한다. segmentation의 경우 각 object에 대한 mask데이터로 정답(ground truth)을 표현한다. 아래 그림처럼 object가 있는 부분만 흰색이고 없는 경우 검은 배경이다. 과제가 조금 달라 loss를 이해하는 방식에도 조금 차이가 있다. Classification loss 우선 분류 문제 부터 살펴보자. binary classification 에서 softmax후 binary_crossentropy를 적용한다고 생각해보면 soft..
pycocotools 설치 gcc, gnu? visual studio c++ build tools? 우분투가아닌 windows 10, cuda 9.0 환경에서 설치하면 여러 에러가 많다.. 삽질을 거듭하고 여기에 적는다. 누군가에게 도움이 된다면 좋겠다. gcc, gnu? visual studio c++ build tools? 윈도우 환경에서 linux에서 처럼 코드를 빌드해서 라이브러리를 설치할 필요가 있다. 그런데 got demn… 뭐만만하면 buildTools 어쩌고 저쩌고 cl.exe~ ,status2라는 오류가 난다… 이건 pycocotools 설치할 때도 그렇고, pytorch에서 DCNV2 build할 때도 그렇다. 그래서 너무 답답했다. build란 무엇인가… c로 코딩된 걸 py로 바꿔주는 건가? 뭐야? 뭔가 전체적인 개념이 필요하다.. 오늘 한 일 gcc, g++를 MingW를 설치하..
1 stage Detection SOTA - M2Det 정리 M2Det 2독 Beyond scale variation, appearance-complexity variation should be considered too for the object detection task, due to that the object instances with similar size can be quite different. Deeper level learns features for objects with more appearance-complexity variation(e.g., pedestrian), while shallower level learns features for more simplistic objects(e.g., traffic light). 1. Multi Lev..
Path Aggregation Network (PANet) Mask R-CNN + FPN + enhancing information propagation Mask R-CNN과의 차이점 1. 피쳐 추출단에서 - 새롭게 증강된 방식의 bottom-up pathway FPN 구조를 이용한다. 이렇게 하면 low-layer의 특징들이 좀 더 잘 전파된다고 한다. 2. adaptative feature pooling를 이용하여 모든 레벨의 피쳐에서 제안들을 다 추출한다. 3. 예측된 픽셀의 위치 정합성을 향상시키위해 FCN의 conv layer의 출력 결과와 fully connected layer를 이어주는 통로를 만들었다. added a path processing the output of a convolutional layer of the FCN with a full..

728x90