Notice
Recent Posts
Recent Comments
Link
| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | 2 | |||||
| 3 | 4 | 5 | 6 | 7 | 8 | 9 |
| 10 | 11 | 12 | 13 | 14 | 15 | 16 |
| 17 | 18 | 19 | 20 | 21 | 22 | 23 |
| 24 | 25 | 26 | 27 | 28 | 29 | 30 |
Tags
- spring
- Algorithm
- dbms
- DB
- 가상컴퓨팅
- sql
- 생성자
- 알고리즘
- MVC
- Java
- 코테
- 자바의정석
- JDBC
- data structure
- 클라우드 컴퓨팅
- BFS
- 공개키 암호화
- jsp
- 암호학
- 크루스칼
- Stack
- generic class
- python
- cloud computing
- 코딩테스트
- 자료구조
- Queue
- dfs
- JPA
- javascript
Archives
- Today
- Total
PLOD
[MapReduce] HIVE and pig 본문
* HIVE and Pig
- HIVE : Facebook에 의해 만들어진 data-warehouing 어플리케이션이다. Query language 로는 SQL과 비슷한 HiveQL을 사용한다. HiveQL로 정의한 내용을 Hive가 MapReduce job으로 변환해서 실행
- Pig : YAHOO에 의해 만들어진 large-scale data processing system이다. Script들은 Data-flow 언어인 Pig Latin으로 작성되었다.(No Query language) , 사용자 정의 함수로 확장이 가능하지만 컴파일 과정이 필요함으로 기존의 MapReduce보다 성능이 떨어진다.
HIVE와 Pig는 기존의 MapReduce에서 Text, IntWritable, LongWritable 이외의 객체를 사용하거나 Key 값이 아닌 Value 값으로 정렬을 하고 싶을때 어려운 점이 많아 탄생하게 되었다.
-> HIVE와 pig는 Higher-Language-level이기 때문에 기존의 Mapreduce code보다 매우 간결하다.
'computer science > Cloud computing' 카테고리의 다른 글
| [Hadoop] YARN : Yet Another Resource Negotiator (0) | 2022.12.15 |
|---|---|
| [Spark] Apache - Spark (1) | 2022.12.15 |
| [HDFS] MapReduce : simplified Data Processing on Large Clusters (0) | 2022.11.03 |
| [Hadoop]Hadoop and HDFS (0) | 2022.11.02 |
| [Cloud computing] definition of Big Data , cloud computing (0) | 2022.11.02 |
'computer science/Cloud computing' Related Articles
more
Comments