| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | 2 | 3 | 4 | 5 | 6 | 7 |
| 8 | 9 | 10 | 11 | 12 | 13 | 14 |
| 15 | 16 | 17 | 18 | 19 | 20 | 21 |
| 22 | 23 | 24 | 25 | 26 | 27 | 28 |
| 29 | 30 |
- 취리코
- spring
- 자료구조
- 크루스칼
- Algorithm
- 암호학
- jsp
- 생성자
- dbms
- Queue
- 가상컴퓨팅
- 클라우드 컴퓨팅
- 코테
- 항해99
- BFS
- sql
- javascript
- data structure
- 공개키 암호화
- dfs
- python
- JPA
- DB
- Java
- 개발자취업
- 알고리즘
- 자바의정석
- 개발자취준
- generic class
- 코딩테스트
- Today
- Total
목록cloud computing (2)
PLOD
[MapReduce] HIVE and pig
* HIVE and Pig - HIVE : Facebook에 의해 만들어진 data-warehouing 어플리케이션이다. Query language 로는 SQL과 비슷한 HiveQL을 사용한다. HiveQL로 정의한 내용을 Hive가 MapReduce job으로 변환해서 실행 - Pig : YAHOO에 의해 만들어진 large-scale data processing system이다. Script들은 Data-flow 언어인 Pig Latin으로 작성되었다.(No Query language) , 사용자 정의 함수로 확장이 가능하지만 컴파일 과정이 필요함으로 기존의 MapReduce보다 성능이 떨어진다. HIVE와 Pig는 기존의 MapReduce에서 Text, IntWritable, LongWritable..
[HDFS] MapReduce : simplified Data Processing on Large Clusters
* MapReduce: 대용량 데이터를 생성 및 처리를 위한 분산 프로그래밍 모델이자 구현체 구글에서 2004년 발표한 다양한 종류의 파생 데이터를 계산하기 위해 탐색된 문서 , 웹 요청 로그와 같은 대량의 원시데이터를 처리하기 위해 만들어진 소프트웨어 프레임워크 이다. 기존의 Hadoop 클러스터에 범용 서버만 추가하여 computing capacity와 storage capacity 및 I/O 대역폭을 확장하였다. 여러 호스트 간의 데이터 및 계산 파티셔닝을 제공하고 데이터 근처에서 병렬로 응용 프로그램 계산을 실행 한다. 흩어져 있는 데이터를 수직화하여, 그 데이터를 각각의 종류 별로 모으고(Map Function), Filtering과 Sorting을 거쳐 데이터를 뽑아내는(Reduce Funct..