본문 바로가기

ML & AI/kubeflow

MiniKF - Tutorial 따라하기_Taxi Cab #5

MiniKF-Tutorial 따라하기 #4_Pipeline 배포 와 같이 파이프라인 실행한 결과를 정리해 본다.

 

1. 파이프라인 실행 결과 확인

파이프라인 실행 후 실행 결과는 Kubeflow Central Dashboar의 Pipeline 메뉴에서 확인할 수 있다. Pipeline > Experiment 메뉴를 선택하면 생성한 Experments 목록이 나타난다. 목록 중 확인하고자 하는 Experiment를 선택한다. 

 

아래 그림은 "Taxi-Cab" Experiments를 선택하는 화면이다.

Experiment

 

실행 Run(Run of TaxiCab) 를 선택하여 파이프라인 진행 상황과 결과를 확인할 수 있다.

파이프라인 실행 결과

 

마지막으로 파이프라인 스넵샷을 노트북과 연결하여 실행 단계 별 결과를 탐색할 수 있다. 

 

2. 노트북을 통한 파이프라인 스넵샷 확인

새로운 노트북을 생성하고, 파이프라인 실행 시 자동으로 생성된 스넵샷을 연결하여 추가 탐색 및 실험을 수행해 본다.

 

1. 새로운 노트북 서버를 생성한다.

노트북 생성

노트북 생성은 이전과 동일하다. (MiniFK-Tutorial 따라하기 #1_Taxi Cab Example 참고)

 

MiniKF - Tutorial 따라하기 #1_Taxi Cab Example

Kubeflow의 On-premise 버전인 MiniKF의 Hands-on 튜토리얼을 따라 실습해 보았다. 실제 Kubeflow 를 활용하려면, Kubernetes Cluster를 구성하거나, Public Cloud Vendor에서 제공하는 AKS, GKE, EKS 에 Kubeflow..

jarikki.tistory.com

주의할 점은 노트북을 통해 파이프라인 실행 결과를 분석할 것이기 때문에 Data Volume을 추가 할때 분석할 대상의 파이프라인 스넵샷을 선택해야 한다는 것이다. (아래 참고)

새로운 노트북에서 파이프라인 스넵샷을 볼륨으로 추가해서 스넵샷을 분석하며, 노트북 내부에 복사된 스넵샷 사본을 이용하기 때무네 원본 스넵샷에 대한 소실이나 변형을 걱정할 필요가 없다.  

 

[Data Volume 추가하기]

기존의 파이프라인 스넵샷을 Data Volume으로 추가하기 위해서는 위의 노트북 생성 화면에서 다음과 같이 진행한다.

  • +ADD VOLUME 버튼 클릭하고
  • Type : Existing 선택하고
  • Rok URL : Input Box 내 Rok 아이콘 선택한 후 Rok UI에서 파이프라인 스넵샷 파일을 선택한다.

 

볼륨까지 추가하고 노트북 생성에 필요한 설정이 완료되었다면 노트북 생성 화면에서 "Launch" 버튼을 클릭하여 노트북을 생성한다.

노트북 생성 Launch 클릭

 

2. 생성한 노트북을 실행하여 분석결과를 확인한다. (아래 그림 순서대로 진행)

 

Data Volume 선택(1)
Data Volume 선택(2)
파이프라인 실행 결과 확인(1)
파이프라인 실행 결과확인(2)
파이프라인 실행결과 확인(3)


지금까지 MinKF의 Taxi Cap 튜토리얼을 따라 MiniKF 설치 -> Notebook 생성 -> 파이프라인 생성 -> 스넵샷 관리 -> 실행 까지 전 단계를 실행해 보았고, 진행 방법을 정리해 보았다.

 

솔직히 아직 어떻게 실무에 적용하면 좋을지 감이 잘 오지 않는다. 다만 기계학습을 위한 복잡한 단계를 Kubeflow를 통해 매우 간단하게 구현할 수 있음이 매우 신기하긴하다.

 

다른 튜토리얼을 찾아 한번 더 정리하면서 적용 방안을 고민해 봐야 겠다.