대표적인 ETL Tool 로 ELK(Elasticsearch, Logstash, Kibana)가 있다. 만약 Elasticsearch를 사용하지 않고 일반적인 RDBMS에 데이터를 이관하고 싶을 경우 또는 그 외 Hadoop, Hbase 등과 같은 Bigdata 저장소에 데이터를 저장하고 싶을때 사용하기 편리한 ETL Tool은 어떤것이 있을까 고민하다 Talend에서 Data Integration Tool이 있기에 사용해 보았다.
환경구성
- OS : Windows 10
- JAVA 8 SE(1.8)
- Talend Open Studio for Data Integration : 7.1
[주의] Talend Open Studio에서 권장하는 JAVA 버전은 1.8 이다. 하위 버전, 상위 버전에서 테스트해보지는 않았지만 권장 버전인 1.8 JDK, JRE를 설치하는 것이 좋다.
1. JAVA 설치 (1.8)
JAVA 8 SE 다운로드 : www.oracle.com/java/technologies/javase/javase-jdk8-downloads.html
Windows10은 64bit JDK를 다운로드하여 설치하면 된다. (설치 시 JAVA 실행 Path 설정 필수)
Talend Open Studio 7.1 설치 (이하 TOS)
TOS 다운로드 : www.talend.com/products/talend-open-studio/
Open Source ETL and Free Data Integration: Talend Open Studio
Connect to any data source in batch or real-time, across any platform. Download Talend Open Studio today to start working with Hadoop and NoSQL.
www.talend.com
DB to DB나 가벼운 ETL의 경우 Data Ingegration을 설치하면된다. 만약 Hadoop, HBase 등 빅데이터 시스템을 사용하려면 Open Studio for Big Data를 설치하는 것이 데이터 이관 시 제공되는 Plugin이 다양하기 때문에 유용하다. 다운로드 후 설치를 진행하면 된다.
TOS 실행
설치 경로에서 TOS_DI-win-x86_64.exe 를 실행한다.
라이센스 정책에 동의한다.
프로젝트를 생성한다.
이클립스 기반의 TOS IDE가 실행된다.
나는 Oracle DB의 데이터를 가공하여 DB2로 데이터를 마이그레이션 할 목적으로 TOS를 설치해서 사용하고 있다. 다음번에는 TOS 설정 방법과 사용법에 대해서 정리할 예정이다.
'Automation > system' 카테고리의 다른 글
[자동화] AI 개발환경 구축기 #2-IaC Automation(Ansible) (0) | 2021.03.11 |
---|---|
[자동화] AI 개발환경 구축기 #1-가상환경 만들기(VirtualBox & Vagrant) (0) | 2021.03.09 |
[ETL] - Talend Open Studio DB2DB 이관 #2 (0) | 2020.10.22 |
서버 자동화 #1 - 개요 (0) | 2020.09.24 |
서버 자동화 #2 - LAN Booting (0) | 2020.01.14 |