분류 전체보기 (290) 썸네일형 리스트형 [크롤링] 엄청 쉽고 간단한 크롤링 방법. 꿀팁. 라이브러리 필요 없음 기존 방법 f12를 눌러 사이트의 정보를 탐색한다. selenium을 이용할 경우 xpath를 찾고 고생 끝에 구축한다. beautiful soup를 이용해 해당 정보의 구조를 잘 파악해야 한다. 기존 방법의 단점 힘들다.. 번거롭다 매번 귀찮다. 새로운 방법 KB 부동산 시세를 보는 사이트를 예로 들겠다. onland.kbstar.com/quics?page=C059652 매물·시세 ( KB부동산(LiivON) | 매물·시세 ) KB 정보 제공 한계 및 책임 지적편집도 제공의 한계책임 설명 닫기 본 지적편집도는 공간정보산업진흥원에서 제공하는 데이터를 다음지도에서 편집 제작한 지도입니다. 지역별 최신성, 정확성�� onland.kbstar.com f12를 누르고 Network를 본다. request 방식이.. [데이터 전처리] str to json 어떻게 바꾸지? str 형식의 text를 json으로 변환 아주 간단하다. ast라는 library를 활용하면 된다. 참 편리하다! import ast ast.literal_eval(a) [tensorflow 자격증] tensorflow 자격증 취득 관련 꿀팁 후기 자격증을 저번 주에 취득했네요. 사실 좀 허탈해요. 막 어려울 줄 알았는데, 강의를 들었으면 누구나 풀 수 있어요. 강의에서 과제해보셨으면 다 하실 수 있습니다. 총 5시간 시간을 주는데 빠르면 1시간 만에도 하실 수 있어요. 주의 사항 & 꿀팁 찾아보면 다 영어로 인쇄된 신분증 준비하라고 합니다. 텐서플로우 관련 문서에도, 비라틴 문자의 경우 증빙 문서를 포함해라? 좀 애매하게 나와 있어요. 결론은, 영문 신분증 필요 없습니다. 그냥 민증 하시면 됩니다. 여권 필요 없어요! 강의를 안들으신 분들에게 tensorflow가 익숙지 않으신 분들에겐 강의를 들으실 걸 추천드립니다. 이미 익숙하신 분들은 시간이 좀 걸리더라도 통과하실 수 있을 거예요. 아래는 각 강의를 마치면 지급되는 license입니다. [Coursera 강의] Sequences, Time Series and Prediction - 4주 차. CNN + LSTM + DNN sun spot data prediction, forecasting (TensorFlow Developer 전문 자격증 강의) coursera 강의를 정리해서 스스로 이해를 돕기 위해 만든 자료입니다. 추가된 점 앞단에 Conv1D를 추가하고 그 뒤로 LSTM과 DNN을 쌓는 구조로 최상의 성능 산출했다. 실제 데이터인 흑점데이터를 로드하고 전처리하는 작업이 추가된다. Conv1D가 추가되다 보니 이전에 Lambda layer로 마지막 차원에 1을 추가해준 것을 빼고, 이걸 데이터 전처리 코드 (windowed_dataset)에 추가해준다. 그결과 Conv1D의 input_shape는 [None, 1]로 고정시켜줄 수 있다. 오류 투성이 mae가 30 epoch내에 2보다 작아야 한다고 했다. 한참동안 해서 안돼서 정답을 봤는데, 2보다 작게 돌아간다... 네트워크 구조를 같게해도 내 notebook에선 2보다 작아지지 않는데 .. [Coursera 강의] Sequences, Time Series and Prediction - 3주 차. Recurrent Neural Network for time series prediction, forecasting (TensorFlow Developer 전문 자격증 강의) coursera 강의를 정리해서 스스로 이해를 돕기 위해 만든 자료입니다. RNN 등장 위 그림은 X를 time series data라고 하면 X가 RNN을 거쳐 Vector로 출력되는 걸 나타낸다. X는 window_size가 30인 series이다. 즉 과거 30개의 data를 통해 다음 값을 예측하는 것이라고 볼 수 있다. 각 X는 batch 크기 만큼(위 그림에선 4) 입력으로 들어가고 RNN내부 Mem Cell에서 Unit 크기 만큼, 곱해진 크기로 출력한다. Mem Cell의 unit이 3이라면 위에서 30개의 Y는 각각 4(batch_size) x 3(unit 개수) 크기 만큼의 matrix 형태를 가진다. 일반적인 RNN의 경우 각 mem cell의 H는 이전 Y 값과 동일하다. seque.. [Coursera 강의] Sequences, Time Series and Prediction - 2주 차. 간단한 DNN 기반 prediction, forecasting (TensorFlow Developer 전문 자격증 강의) coursera 강의를 정리해서 스스로 이해를 돕기 위해 만든 자료입니다. #데이터를 생성하고, dataset = tf.data.Dataset.range(10) # tf.data.Dataset.window를 이용하여 특정 window 사이즈만큼의 크기를 갖는 데이터를 얻는다. drop_remainder를 true로 할 경우 window 사이즈보다 작은 데이터는 다 drop된다. dataset = dataset.window(5, shift=1, drop_remainder=True) # flat_map 함수를 이용하여 타입의 데이터를 tf.Tensor([0 1 2 3 4], shape=(5,), dtype=int64)로 바꿔준다. dataset = dataset.flat_map(lambda window: w.. [Coursera 강의] Sequences, Time Series and Prediction - 1주 차. 간단한 시계열 예측 방법 4가지 + autocorrelation (TensorFlow Developer 전문 자격증 강의) 이 자료는 Coursera 강의를 정리하여, 스스로 이해를 돕기 위해 작성한 자료입니다. https://www.coursera.org/learn/tensorflow-sequences-time-series-and-prediction/home/welcome Coursera | Online Courses & Credentials From Top Educators. Join for Free | Coursera Learn online and earn valuable credentials from top universities like Yale, Michigan, Stanford, and leading companies like Google and IBM. Join Coursera for free and trans.. [gcp] gcp로 jupyter lab, jupyter notebook 접속, 클라언트 작동 중지시 서버 작동이 멈출때 방법 (gcp jupyter lab 백그라운드 실행, tmux 이용 ssh 연결 관리) tmux란? Terminal MUltipleXer 언제 쓰는가? gcp를 ssh로 연결하고 Jupyter lab으로 학습을 돌려놓는다. 그런데 컴퓨터가 잠시 꺼지거나 인터넷 연결이 끊어지면 이 학습도 멈춰버린다.... 이것 때문에 많은 시간을 날렸다. 10시간 학습한 게 수포로 돌아가기도 했으니... 이 삽질을 막을 방법이 tmux다 nohup이란 것도 있는데 py파일에 대한 설명만 있어서 tmux를 시도해봤다. 잘 되길래 유용한 정보로 생각되어 포스팅한다. tmux를 사용해서 내 컴퓨터가 죽어도 서버에서 계속 안전하게 학습하는 방법! gcp ssh를 연결해준다. tmux 명령어를 입력해준다. $ tmux new -s k (k는 원하는 숫자를 입력하면 된다. 안 입력하고 tmux라고 치면 자동으로 0번으.. 이전 1 ··· 23 24 25 26 27 28 29 ··· 37 다음
