ML & AI (20) 썸네일형 리스트형 MiniKF - Tutorial 따라하기_Taxi Cab #2 (작성중) Kubeflow Pipeline을 작성하는 두가지 방법 kfp.dsl 패키지의 ContainerOP 사용 : ML Workflow의 각 Step을 독립적으로 수행가능한 Component(container 형태)로 패키징하고, ContainerOP의 매개변수로 container Image를 전달하여 사용(Tips: GCP환경에서는 Pipeline SDK를 사용하여 각 Step을 Container로 바로 빌드할 수 있는 container build 기능을 제공) kfp.dsl 패키지를 사용하여 Python 함수를 Pipeline으로 변환 : Docker Image가 필요없이 DSL SDK를 사용하여 Python 코드를 직접 YAML 형식으로 컴파일하여 사용 Taxi Cab 튜토리얼의 Pipelin.. MiniKF - Tutorial 따라하기_Taxi Cab #1 Kubeflow의 On-premise 버전인 MiniKF의 Hands-on 튜토리얼을 따라 실습해 보았다. 실제 Kubeflow 를 활용하려면, Kubernetes Cluster를 구성하거나, Public Cloud Vendor에서 제공하는 AKS, GKE, EKS 에 Kubeflow를 설치해야한다. Arrikto MiniKF는 Vagrant와 VirtualBox 기반으로 설치가 매우 간편하기 때문에 Kubeflow의 기능을 학습하는데 용의하기 때문에 튜토리얼의 내용을 따라 직접 실습해 보면서 Kubeflow의 기본 기능과 활용 방법을 기록해 본다 1. MiniKF 설치하기 Arrikto가 제공하는 MiniKF 설치는 매우 간단하다. (MiniKF 설치 참고하여 설치) [실습환경] Windows10 x6.. MiniKF - Jupyter Notebook 커스텀(ML) 기존에 만들어 본 MiniKF - Jupyter Notebook 커스텀(기본) 이미지를 수정하여, kubeflow fairing과 pipeline 기능을 사용할 수 있는 Jupyter Notebook 을 만든다. Fairing : Kubeflow가 설치된 환경에서 머신러닝(딥러닝) 모델의 학습과 배포를 지원 Pipeline : Kubeflow 환경에서 머신러닝(딥러닝) 학습에 필요한 End-to-End Workflow 구성을 지원 1. Dockerfile 생성 FROM python:3.6 tensorflow/tensorflow:2.1.0-py3 WORKDIR /home/vacance USER root RUN pip install jupyter -U && pip install jupyterlab RUN a.. MiniKF - Jupyter Notebook 커스텀(기본) Jupyterlab의 기본 이미지를 사용하여 Custom Notebook을 만든다. 1. Dockerfile 생성 FROM python:3.6 WORKDIR /home/vacance USER root RUN pip install jupyter -U && pip install jupyterlab RUN apt-get update && apt-get install -yq --no-install-recommends \ apt-transport-https \ build-essential \ bzip2 \ ca-certificates \ curl \ g++ \ git \ gnupg \ graphviz \ locales \ lsb-release \ openssh-client \ sudo \ unzip \ vim \.. 이전 1 2 3 다음
