seora_dev

하둡의 특징- 여러 리눅스 기반 범용 서버들을 하나의 클러스터로 사용한다.  -> 클러스터란 하나의 묶음, 집합의 개념이다. - 마스터 (Master) - 슬레이브 (Slave) 구조를 가진다. - 파일을 블록 단위로 저장한다.  -> HDFS 내부 알고리즘이 블록 단위를 결정하며, 이것은 사용자가 제어하는 영역이 아니다. - 블록 데이터 복제본을 유지해 신뢰성을 보장한다.  -> Default 값은 3개의 복제본이다. - 높은 내고장성 (Fault-Tolerance)  -> 하둡 자체에 의해 데이터가 유실되는 경우는 없다고 본다.      하둡에 의존하는 다른 플랫폼들에서 데이터가 유실될 수 있다. - 데이터 처리의 지역성을 보장한다.  하둡에서의 블록 (Block) 개념- 하나의 블록은 64MB, 1..

https://spark.apache.org/downloads.html Downloads | Apache SparkDownload Apache Spark™ Choose a Spark release: Choose a package type: Download Spark: Verify this release using the and project release KEYS by following these procedures. Note that Spark 3 is pre-built with Scala 2.12 in general and Spark 3.2+ providesspark.apache.org Firefox → Apache Spark download → 다운로드 링크 복사 - wget 과 복사한 링크를 이용..

Hadoop 설치https://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-3.3.6/hadoop-3.3.6.tar.gz We suggest the following location for your download: https://dlcdn.apache.org/hadoop/common/hadoop-3.3.6/hadoop-3.3.6.tar." data-og-host="www.apache.org" data-og-source-url="https://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-3.3.6/hadoop-3.3.6.tar.gz" data-og-url="https://www.apache.org/dyn/clos..

Web APIAPI (Application Programming Interface, 응용 프로그램 프로그래밍 인터페이스) 웹 API : 웹 애플리케이션 개발에서 다른 서비스에 요청을 보내고 응답을 받기 위해 정의된 명세이다.📌HTML 소스를 분석하는 과정 없이 웹 서버에 원하는 데이터를 요청하고 받을 수 있다! 데이터 형식 : XML, JSON   국제 우주 정거장 정보를 가져와서 세계 지도 위에 mapping 하기국제 우주 정거장의 위도와 경도를 5초 간격으로 1분 동안 수집해서 mapping  - 필요한 라이브러리 호출하기import requestsimport jsonimport time - 웹 페이지에 데이터를 HTTP로 요청하고 응답 받아서 필요한 정보 출력하기requests 함수로 웹 페이지를..

Google 검색창에 검색어 입력 후 원하는 정보 크롤링 하기 - 필요한 라이브러리 호출 하기from bs4 import BeautifulSoupfrom selenium import webdriverimport urllib.request as urimport requestsfrom selenium.webdriver.common.keys import Keysfrom selenium.webdriver.common.by import Byimport time - 원하는 데이터를 크롤링 하는 get_data() 함수 구현def get_data(): html = wd.page_source soup = BeautifulSoup(html, 'html.parser') div_lists = soup.sel..

https://www.anaconda.com/ Anaconda | The Operating System for AIDemocratize AI innovation with the world’s most trusted open ecosystem for data science and AI development.www.anaconda.com  아나콘다에서 가상 환경 설정하기- 아나콘다 버전 확인, 현재 가상 환경 리스트 확인하기 - 원하는 이름으로 새로운 가상 환경 만들기  - conda activate 명령어를 사용해 현재 위치(*) 변경하기 (가상 환경 활성화) - jupyterlab 설치하기 - jupyter lab 실행하기 (띄어쓰기 주의) - jupyter lab 실행 후 필요한 라이브러리를 pip i..

Try - Except 예외처리를 적용해 웹 크롤링 하기파이썬에서는 에러가 발생하면 실행을 멈추고 에러 상태가 된다. try: # 예외 발생할 수 있는 상황except: # 예외가 발생했을 때의 처리try: print("try 문 진입") 10 / 0 print("try 문 종료")except: print("예외가 발생했습니다")# 실행 결과# try 문 진입# 예외가 발생했습니다→ 예외 처리를 통해 에러를 발생시키지 않는다.    #5 주식 정보 크롤링 하기- 필요한 라이브러리 호출하기import urllib.request as urfrom bs4 import BeautifulSoup - 웹사이트 주소(URL)를 통해 HTML 소스 코드 가져오고 구조 확인하기url = 'http..

웹 페이지에서 이미지 가져오기- 웹 사이트에 접속해 마우스 우클릭으로 이미지 주소 가져오기url = 'https://www.python.org/static/img/python-logo@2x.png' - 이미지를 가져오기 위한 코드 작성# requests 라이브러리로 이미지 파일을 위한 응답 객체 호출import requestsimport os# 반환된 값을 확인해 이미지 파일의 주소 상태 확인# 정상 응답 : html_image = requests.get(url)# 이미지 주소에서 이미지 파일명만 추출하기img_file_name = os.path.basename(url)# 이미지 파일을 받을 폴더 생성os.makedirs(folder)# 이미지 파일의 경로를 만들고 저장with open('./img/' ..

정적 웹페이지URL 주소를 입력하는 것만으로 웹페이지의 HTML 정보를 사용할 수 있다사용자가 보고 있는 웹페이지의 모든 정보가 HTML에 포함되어 있다 ex. 인터넷 포털 페이지, 인터넷 뉴스 페이지   BeautifulSoup 라이브러리 HTML 소스 코드에서 원하는 요소를 파싱(parsing)할 때 사용하는 라이브러리데이터를 객체화 시켜 HTML로 보여준다.(Key, Value의 Dictionary 형태) from bs4 import BeautifulSoup    정적 웹페이지 크롤링의 단계(1) 웹사이트의 주소(URL)를 통해 HTML 소스 코드 가져오기(2) HTML 객체를 파싱이 가능한 형태로 변환하기(3) 객체를 select 함수를 이용해 copy한 select로 파싱하기(3) pandas ..

트리거 (Trigger)데이터의 무결성을 위한 기능이다.테이블에 INSERT, UPDATE, DELETE 작업이 발생하면 실행되는 코드 (DML 작업)예시퇴사자의 정보를 DELETE 하려고 할 때 다른 별도의 장소에 자동으로 저장해둔다. - 트리거 이해를 위한 테이블 생성 및 트리거 부착하기// 테이블 생성USE market_db;CREATE TABLE IF NOT EXISTS trigger_table (id INT, txt VARCHAR(10));INSERT INTO trigger_table VALUES(1, '레드벨벳');INSERT INTO trigger_table VALUES(2, '잇지');INSERT INTO trigger_table VALUES(3, '블랙핑크');// 테이블에 트리거 부착(..