ML & AI/kubeflow (7) 썸네일형 리스트형 MiniKF - Tutorial 따라하기_Taxi Cab #5 MiniKF-Tutorial 따라하기 #4_Pipeline 배포 와 같이 파이프라인 실행한 결과를 정리해 본다. 1. 파이프라인 실행 결과 확인 파이프라인 실행 후 실행 결과는 Kubeflow Central Dashboar의 Pipeline 메뉴에서 확인할 수 있다. Pipeline > Experiment 메뉴를 선택하면 생성한 Experments 목록이 나타난다. 목록 중 확인하고자 하는 Experiment를 선택한다. 아래 그림은 "Taxi-Cab" Experiments를 선택하는 화면이다. 실행 Run(Run of TaxiCab) 를 선택하여 파이프라인 진행 상황과 결과를 확인할 수 있다. 마지막으로 파이프라인 스넵샷을 노트북과 연결하여 실행 단계 별 결과를 탐색할 수 있다. 2. 노트북을 통한 파.. MiniKF - Tutorial 따라하기_Taxi Cab #4 파이프라인을 kubeflow에서 실행하기 위해서는 컴파일된 파이프라인을 k8s에 배포해야 한다. 이미 이전 단계에서 파이프라인을 컴파일했고, JupyterLab의 전체 메타 및 데이터 볼륨과 워크스페이스 볼륨의 스냅샷을 생성했다. 이제 컴파일된 파이프라인(taxi-cab-pipeline.tar.gz)을 k8s 클러스터에 배포하여 실행해본다. 1. Pipeline 다운로드 JupyterLab UI에서 컴파일된 파이프라인을 로컬 호스트로 다운로드 2. Pipeline 업로드 다운로드한 파이프라인을 kubeflow UI에서 업로드하기 위해 Upload pipeline 버튼 클릭 파이프라인 이름 등 부가 정보를 설정하고, 다운로드한 로컬 호스트의 파이프라인을 선택한 후 Create 버튼 클릭 파이프라인이 kub.. MiniKF - Tutorial 따라하기_Taxi Cab #3 튜토리얼 진행을 통해 현재 데이터는 /home/jovyan/data 경로에 data라는 이름의 데이터 볼륨에 저장되었다. 파이프라인에서 data 볼륨의 데이터를 인식하기 위해서는 볼륨 스넵샷이 필요하다. 하지만 튜토리얼에서는 데이터 볼륨이 아닌 JupyterLab 전체를 스냅샷으로 만들었다. 아마도 연습을 위해 전 과정을 반복할 경우 이전 상태로 돌아가기 쉽도록 전체 스냅샷을 만든 것 같다. 스냅샷을 생성하려면 우선 Bucket을 만들고 Bucket에서 스냅샷을 생성해야한다. 1. Bucket 생성하기 스냅샷은 MiniKF에 기본 제공되는 Rok를 사용를 사용하며, Kubeflow UI Dashboard의 왼쪽 메뉴 중 "Snapshot Store" 또는 MiniKF 메인 UI의 "Connect to R.. MiniKF - Tutorial 따라하기_Taxi Cab #2 (작성중) Kubeflow Pipeline을 작성하는 두가지 방법 kfp.dsl 패키지의 ContainerOP 사용 : ML Workflow의 각 Step을 독립적으로 수행가능한 Component(container 형태)로 패키징하고, ContainerOP의 매개변수로 container Image를 전달하여 사용(Tips: GCP환경에서는 Pipeline SDK를 사용하여 각 Step을 Container로 바로 빌드할 수 있는 container build 기능을 제공) kfp.dsl 패키지를 사용하여 Python 함수를 Pipeline으로 변환 : Docker Image가 필요없이 DSL SDK를 사용하여 Python 코드를 직접 YAML 형식으로 컴파일하여 사용 Taxi Cab 튜토리얼의 Pipelin.. MiniKF - Tutorial 따라하기_Taxi Cab #1 Kubeflow의 On-premise 버전인 MiniKF의 Hands-on 튜토리얼을 따라 실습해 보았다. 실제 Kubeflow 를 활용하려면, Kubernetes Cluster를 구성하거나, Public Cloud Vendor에서 제공하는 AKS, GKE, EKS 에 Kubeflow를 설치해야한다. Arrikto MiniKF는 Vagrant와 VirtualBox 기반으로 설치가 매우 간편하기 때문에 Kubeflow의 기능을 학습하는데 용의하기 때문에 튜토리얼의 내용을 따라 직접 실습해 보면서 Kubeflow의 기본 기능과 활용 방법을 기록해 본다 1. MiniKF 설치하기 Arrikto가 제공하는 MiniKF 설치는 매우 간단하다. (MiniKF 설치 참고하여 설치) [실습환경] Windows10 x6.. MiniKF - Jupyter Notebook 커스텀(ML) 기존에 만들어 본 MiniKF - Jupyter Notebook 커스텀(기본) 이미지를 수정하여, kubeflow fairing과 pipeline 기능을 사용할 수 있는 Jupyter Notebook 을 만든다. Fairing : Kubeflow가 설치된 환경에서 머신러닝(딥러닝) 모델의 학습과 배포를 지원 Pipeline : Kubeflow 환경에서 머신러닝(딥러닝) 학습에 필요한 End-to-End Workflow 구성을 지원 1. Dockerfile 생성 FROM python:3.6 tensorflow/tensorflow:2.1.0-py3 WORKDIR /home/vacance USER root RUN pip install jupyter -U && pip install jupyterlab RUN a.. MiniKF - Jupyter Notebook 커스텀(기본) Jupyterlab의 기본 이미지를 사용하여 Custom Notebook을 만든다. 1. Dockerfile 생성 FROM python:3.6 WORKDIR /home/vacance USER root RUN pip install jupyter -U && pip install jupyterlab RUN apt-get update && apt-get install -yq --no-install-recommends \ apt-transport-https \ build-essential \ bzip2 \ ca-certificates \ curl \ g++ \ git \ gnupg \ graphviz \ locales \ lsb-release \ openssh-client \ sudo \ unzip \ vim \.. 이전 1 다음
