AutoML (5) 썸네일형 리스트형 MiniKF - Tutorial 따라하기_Taxi Cab #5 MiniKF-Tutorial 따라하기 #4_Pipeline 배포 와 같이 파이프라인 실행한 결과를 정리해 본다. 1. 파이프라인 실행 결과 확인 파이프라인 실행 후 실행 결과는 Kubeflow Central Dashboar의 Pipeline 메뉴에서 확인할 수 있다. Pipeline > Experiment 메뉴를 선택하면 생성한 Experments 목록이 나타난다. 목록 중 확인하고자 하는 Experiment를 선택한다. 아래 그림은 "Taxi-Cab" Experiments를 선택하는 화면이다. 실행 Run(Run of TaxiCab) 를 선택하여 파이프라인 진행 상황과 결과를 확인할 수 있다. 마지막으로 파이프라인 스넵샷을 노트북과 연결하여 실행 단계 별 결과를 탐색할 수 있다. 2. 노트북을 통한 파.. MiniKF - Tutorial 따라하기_Taxi Cab #4 파이프라인을 kubeflow에서 실행하기 위해서는 컴파일된 파이프라인을 k8s에 배포해야 한다. 이미 이전 단계에서 파이프라인을 컴파일했고, JupyterLab의 전체 메타 및 데이터 볼륨과 워크스페이스 볼륨의 스냅샷을 생성했다. 이제 컴파일된 파이프라인(taxi-cab-pipeline.tar.gz)을 k8s 클러스터에 배포하여 실행해본다. 1. Pipeline 다운로드 JupyterLab UI에서 컴파일된 파이프라인을 로컬 호스트로 다운로드 2. Pipeline 업로드 다운로드한 파이프라인을 kubeflow UI에서 업로드하기 위해 Upload pipeline 버튼 클릭 파이프라인 이름 등 부가 정보를 설정하고, 다운로드한 로컬 호스트의 파이프라인을 선택한 후 Create 버튼 클릭 파이프라인이 kub.. MiniKF - Tutorial 따라하기_Taxi Cab #2 (작성중) Kubeflow Pipeline을 작성하는 두가지 방법 kfp.dsl 패키지의 ContainerOP 사용 : ML Workflow의 각 Step을 독립적으로 수행가능한 Component(container 형태)로 패키징하고, ContainerOP의 매개변수로 container Image를 전달하여 사용(Tips: GCP환경에서는 Pipeline SDK를 사용하여 각 Step을 Container로 바로 빌드할 수 있는 container build 기능을 제공) kfp.dsl 패키지를 사용하여 Python 함수를 Pipeline으로 변환 : Docker Image가 필요없이 DSL SDK를 사용하여 Python 코드를 직접 YAML 형식으로 컴파일하여 사용 Taxi Cab 튜토리얼의 Pipelin.. MiniKF - Jupyter Notebook 커스텀(ML) 기존에 만들어 본 MiniKF - Jupyter Notebook 커스텀(기본) 이미지를 수정하여, kubeflow fairing과 pipeline 기능을 사용할 수 있는 Jupyter Notebook 을 만든다. Fairing : Kubeflow가 설치된 환경에서 머신러닝(딥러닝) 모델의 학습과 배포를 지원 Pipeline : Kubeflow 환경에서 머신러닝(딥러닝) 학습에 필요한 End-to-End Workflow 구성을 지원 1. Dockerfile 생성 FROM python:3.6 tensorflow/tensorflow:2.1.0-py3 WORKDIR /home/vacance USER root RUN pip install jupyter -U && pip install jupyterlab RUN a.. MiniKF - Jupyter Notebook 커스텀(기본) Jupyterlab의 기본 이미지를 사용하여 Custom Notebook을 만든다. 1. Dockerfile 생성 FROM python:3.6 WORKDIR /home/vacance USER root RUN pip install jupyter -U && pip install jupyterlab RUN apt-get update && apt-get install -yq --no-install-recommends \ apt-transport-https \ build-essential \ bzip2 \ ca-certificates \ curl \ g++ \ git \ gnupg \ graphviz \ locales \ lsb-release \ openssh-client \ sudo \ unzip \ vim \.. 이전 1 다음
