일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | 5 | ||
6 | 7 | 8 | 9 | 10 | 11 | 12 |
13 | 14 | 15 | 16 | 17 | 18 | 19 |
20 | 21 | 22 | 23 | 24 | 25 | 26 |
27 | 28 | 29 | 30 |
- 항해99
- 알고리즘
- BFS
- 99클럽
- 암호학
- 크루스칼
- 가상컴퓨팅
- 개발자취업
- Queue
- 코테
- DB
- generic class
- js
- 자료구조
- til
- 자바의정석
- 코딩테스트준비
- 99클럽 #코딩테스트준비 #개발자취업 #항해99 #til
- mybatis
- spring
- Java
- python
- javascript
- 공개키 암호화
- JPA
- sql
- jsp
- Algorithm
- 코딩테스트
- dbms
- Today
- Total
목록computer science/Cloud computing (8)
PLOD

* MapReduce: 대용량 데이터를 생성 및 처리를 위한 분산 프로그래밍 모델이자 구현체 구글에서 2004년 발표한 다양한 종류의 파생 데이터를 계산하기 위해 탐색된 문서 , 웹 요청 로그와 같은 대량의 원시데이터를 처리하기 위해 만들어진 소프트웨어 프레임워크 이다. 기존의 Hadoop 클러스터에 범용 서버만 추가하여 computing capacity와 storage capacity 및 I/O 대역폭을 확장하였다. 여러 호스트 간의 데이터 및 계산 파티셔닝을 제공하고 데이터 근처에서 병렬로 응용 프로그램 계산을 실행 한다. 흩어져 있는 데이터를 수직화하여, 그 데이터를 각각의 종류 별로 모으고(Map Function), Filtering과 Sorting을 거쳐 데이터를 뽑아내는(Reduce Funct..

Hadoop은 비정형 데이터를 관리하기 위해 생겨난 자바기반 프레임워크이다. 정형데이터는 RDBMS가 관리 할 수 있지만 비정형 데이터는 데이터의 크기와 또 그 데이터를 처리하고 보관하기 위한 비용이 크기 때문에 Hadoop이 생겨남 ,Hadoop은 분산처리를 위한 오픈소스 프레임워크이다 -> Hadoop 은 RDBMS와 상호보완적 특징을 가진다 1. 하둡의 장점 1) 오픈소스 프로젝트 -> SW license 비용부담이 적어짐 2) Commodity Hardware 3) Scale - out 아키텍쳐 4) 테이터 복제를 통해 데이터 유실이나 장애 복구 가능 5) 여러 대의 서버에 분산 저장 및 데이터가 자 데이터 분신 저장하고 각 서버에서 동시에 데이터 처리 -> Data Locality - 데이터 근..

빅데이터 : 빅데이터는 기존의 데이 터 처리 소프트웨어가 처리하기 힘들정도로 거대하고 복잡한 데이터셋을 말한다 빅데이터의 3요소 1. velocity(속도) : 데이터를 모으고 분석하는 시간이 단축됨, 빠른 속도로 생성되는 디지털 데이터에 대한 실시간 처리와 누적되온 데이터에 대한 장기적인 접근이 필요함 2. volumn(크기) : 어마어마하게 많은 데이터와 데이터 형태들을 제공함, 일반적으로 수십 수백 페타바이트 이상, 기존의 데이터 웨어하우스에서 처리하기 힘들다 - > 분산컴퓨팅 기법 필요 3.variety(다양성) : 다양한 데이터 타입들을 제공함, 정형, 반정형, 비정형 데이터가 있다 1) 정형 : 고정된 필드에 저장되는 데이터, 기존의 데이터와 유사해 쉽게 보관, 분석, 처리 가능 2) 반정형 ..