Data Engineering/Sqoop 3

[Linux/Sqoop] MySQL을 연동해 데이터를 가져오고 내보내기

MySQL 다운로드 받기dnf install mysql-server  MySQL Connector 다운로드 받기- wget을 이용해 패키지를 다운로드  - 다운로드 받은 connector 파일의 압축 풀기 - connector jar 파일을 sqoop/lib 경로로 이동  Commons-lang-2.6 파일 다운로드 받기- commons-lang-2.6 다운로드 받고 압축 풀기 - commons-lang-2.6 jar 파일을 sqoop/lib 경로로 이동하기 - 777 권한 부여하기MySQL 실행하기systemctl enable mysqldsystemctl status mysqldsystemctl start mysqld - MySQL을 보안 설정하기 위한 대화형 스크립트 실행press 하라고 하는 부분 ..

[Linux/Sqoop] Apache Sqoop에 대해 알아보자

Apache SqoopApache Sqoop은 관계형 데이터 베이스 (RDBMS)와 Hadoop 간의 데이터 전송을 효율적으로 처리하는 오픈 소스 도구이다.Sqoop을 사용해 데이터를 Hadoop으로 import 하거나 Hadoop에서 데이터베이스로 export 할 수 있다.  데이터 가져오기 (import)데이터를 관계형 데이터베이스에서 Hadoop의 분산 파일 시스템(HDFS), Apache Hive, Apache HBase 등으로 가져오는 과정 - Sqoop Import 명령어 실행sqoop import \ --connect jdbc:mysql://localhost/mydatabase \ --username myuser \ --password mypassword \ --table mytabl..

[Linux/Sqoop] Apache Sqoop을 설치해보자

Sqoop 다운로드firefox에서 sqoop-1.4.7.bin_hadoop-2.6.0.tar.gz 링크 복사- 링크 가져와서 wget 명령어로 패키지 다운로드 받기 - 다운로드 받은 tar.gz 파일 압축 풀기   Sqoop 환경 설정 - Sqoop 홈 경로 설정하기gedit ~/.bashrc - bashrc에서 수정한 내용을 source로 적용하고 sqoop/conf 하위에 있는 내용 확인하기source ~/.bashrccd sqoop/conf/ls -l  - sqoop 환경 템플릿 이름 바꿔서 복제 - sqoop  환경 열어서 하둡 홈 경로 및 하이브 홈 경로 설정하기gedit sqoop-env.sh