본문 바로가기

Automation/system

[ETL] - Talend Open Studio 설치 #1

대표적인 ETL Tool 로 ELK(Elasticsearch, Logstash, Kibana)가 있다. 만약 Elasticsearch를 사용하지 않고 일반적인 RDBMS에 데이터를 이관하고 싶을 경우 또는 그 외 Hadoop, Hbase 등과 같은 Bigdata 저장소에 데이터를 저장하고 싶을때 사용하기 편리한 ETL Tool은 어떤것이 있을까 고민하다 Talend에서 Data Integration Tool이 있기에 사용해 보았다.

 

환경구성
  • OS : Windows 10
  • JAVA 8 SE(1.8) 
  • Talend Open Studio for Data Integration : 7.1

[주의] Talend Open Studio에서 권장하는 JAVA 버전은 1.8 이다. 하위 버전, 상위 버전에서 테스트해보지는 않았지만 권장 버전인 1.8 JDK, JRE를 설치하는 것이 좋다. 

 

1. JAVA 설치 (1.8)

JAVA 8 SE 다운로드 : www.oracle.com/java/technologies/javase/javase-jdk8-downloads.html

 

Windows10은 64bit JDK를 다운로드하여 설치하면 된다. (설치 시 JAVA 실행 Path 설정 필수)

 

 

Talend Open Studio 7.1 설치 (이하 TOS)

TOS 다운로드 : www.talend.com/products/talend-open-studio/

 

Open Source ETL and Free Data Integration: Talend Open Studio

Connect to any data source in batch or real-time, across any platform. Download Talend Open Studio today to start working with Hadoop and NoSQL.

www.talend.com

 

DB to DB나 가벼운 ETL의 경우 Data Ingegration을 설치하면된다. 만약 Hadoop, HBase 등 빅데이터 시스템을 사용하려면 Open Studio for Big Data를 설치하는 것이 데이터 이관 시 제공되는 Plugin이 다양하기 때문에 유용하다. 다운로드 후 설치를 진행하면 된다.

 

 

TOS 실행

설치 경로에서 TOS_DI-win-x86_64.exe 를 실행한다. 

 

 

라이센스 정책에 동의한다.

 

프로젝트를 생성한다.

 

이클립스 기반의 TOS IDE가 실행된다.

 


나는 Oracle DB의 데이터를 가공하여 DB2로 데이터를 마이그레이션 할 목적으로 TOS를 설치해서 사용하고 있다. 다음번에는 TOS 설정 방법과 사용법에 대해서 정리할 예정이다.