hacking or software engineering skills/cloud computing (7) 썸네일형 리스트형 [aws] mac os, linux에서 안전하게 jupyter 서버 접속하기 AWS를 이용할 때 AWS의 서버를 Remote 서버라 하고, Local 환경을 클라이언트 라고 하자. 1. 클라이언트에서 ssh로 Remote Sever에 접속한다! 2. Remote 서버에서 Jupyter 서버를 실행시켜 준다. 적당한 port로 (ex : 5000) 3. 그 후 클라이언트에서 새로운 터미널 창을 열고 ssh로 주피터 서버에 접속해준다. 이때 -i 다음에 오는 것은 private key 경로이고, -L 다음에 오는건 클라인트에서 접속할 port:Jupyter 서버 IP:Jupyter 서버 port 이다. 이후에 것은 1번에서 사용한 명령어와 유사하다. ssh -i ~/mykeypair.pem -N -f -L 8888:localhost:8888 ubuntu@ec2-###-##-##-##.. docker 공부 정리 - docker image 다운 받기 docker pull - docker image 목록 확인 docker images - docker 컨테이너 목록 확인 docker ps # 정지된 컨테이너까지 보려면 docker ps -a - docker 컨테이너 실행하기 docker start - docker 컨테이너 들어가기 docker attach - docker 컨테이너 만들고 실행하기 docker run -i -t : docker run -i -i --name -p 127.34.23.123:6666:80 : - cloudera docker quickstart 실행 docker run --hostname=quickstart.cloudera --privileged=true -t -i [OPTIONS] [IMA.. hadoop, hdfs ?하둡 공부 정리 - 빅데이터를 저장, 처리, 분석할 수 있는 자바 기반 소프트웨어 프레임워크 - HDFS와 맵리듀스가 핵심 - HDFS로 데이터를 저장, MapReduce로 데이터를 처리 - RDBMS와 경쟁하는 것이 아닌 RDBMS와 협력 2. HDFS? - Hadoop Distributed File System의 약자이다. - 수십 테라바이트 또는 페타바이트 이상의 대용량 파일을 분산된 서버에 저장하고, 그 저장된 데이터를 빠르게 처리할 수 있게 하는 파일시스템이다. - HDFS는네임노드(마스터)와데이터노드(슬레이브)로 구현 3. 네임노드(NameNode)? - 메타데이터관리, 데이터노드 모니터링( 데이터노드의 실행상태와 용량을 체크 ), 블록관리, 클라이언트 요청접수 4. 데이터노드(DataNode)? - 클라이언.. gcp, ssh로 jupyter lab 안전하게 접속 study-grow.tistory.com/entry/gcp-gcp-jupyter-lab-%EC%97%B0%EA%B2%B0-%EB%B0%A9%EB%B2%95 [gcp] gcp jupyter lab 연결 방법 1. gcp 외부 ip를 고정 ip로 바꿔준다. 인스턴스 생성 후 네트워크 세부 정보 보기로 간다 유형을 고정으로 바꿔준다. 2. 방화벽 규칙을 추가한다. 잘 만들었으면 아래와 같이 뜬다. 다음 Jupyter lab을 study-grow.tistory.com 위 방법으로 jupyter lab을 사용하고 있는데, gcp 측에서 아래와 같이 자꾸 학습을 방해했다. 이러기를 수차례. 나중엔 메시지를 적어주더라 외부 ip만 알기만 하면 접속을 누구나가 할 수 있으니, 위험하다고 빨리 꺼라고 한다. 그래서 ss.. [mac] local에서 gcp, aws instance에 파일 업로드/다운로드 mac이나 ubuntu에서! instance 접속 전, local terminal에서 입력합니다. local server remote server (cloud instance) 업로드 scp -i @: 주의할 점 퍼블릭 주소말고 프라이빗 주소를 줘야한다. [gcp] gcp로 jupyter lab, jupyter notebook 접속, 클라언트 작동 중지시 서버 작동이 멈출때 방법 (gcp jupyter lab 백그라운드 실행, tmux 이용 ssh 연결 관리) tmux란? Terminal MUltipleXer 언제 쓰는가? gcp를 ssh로 연결하고 Jupyter lab으로 학습을 돌려놓는다. 그런데 컴퓨터가 잠시 꺼지거나 인터넷 연결이 끊어지면 이 학습도 멈춰버린다.... 이것 때문에 많은 시간을 날렸다. 10시간 학습한 게 수포로 돌아가기도 했으니... 이 삽질을 막을 방법이 tmux다 nohup이란 것도 있는데 py파일에 대한 설명만 있어서 tmux를 시도해봤다. 잘 되길래 유용한 정보로 생각되어 포스팅한다. tmux를 사용해서 내 컴퓨터가 죽어도 서버에서 계속 안전하게 학습하는 방법! gcp ssh를 연결해준다. tmux 명령어를 입력해준다. $ tmux new -s k (k는 원하는 숫자를 입력하면 된다. 안 입력하고 tmux라고 치면 자동으로 0번으.. [gcp] gcp jupyter lab 연결 방법 1. gcp 외부 ip를 고정 ip로 바꿔준다. 인스턴스 생성 후 네트워크 세부 정보 보기로 간다 유형을 고정으로 바꿔준다. 2. 방화벽 규칙을 추가한다. 잘 만들었으면 아래와 같이 뜬다. 다음 Jupyter lab을 pip로 설치해준다. vi 에디터에서 아래를 추가해준다. 여기서 port는 위 방화벽 규칙과 같은 port로 입력한다 수정 위에서 '5000'이 아니라 숫자 5000으로 입력하면 밑에 명령어에서 따로 --port를 안주어도 접속 가능하다. gcp 서버 terminal 창에 아래와 같이 입력하여 jupyter lab 서버를 실행한다. - jupyter lab --port='방화벽&config에서 설정한 포트' 외부 ip주소:port를 입력해서 jupyter lab을 이용한다. 이전 1 다음
