| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | 2 | |||||
| 3 | 4 | 5 | 6 | 7 | 8 | 9 |
| 10 | 11 | 12 | 13 | 14 | 15 | 16 |
| 17 | 18 | 19 | 20 | 21 | 22 | 23 |
| 24 | 25 | 26 | 27 | 28 | 29 | 30 |
- DB
- Queue
- 자료구조
- 생성자
- 공개키 암호화
- JPA
- generic class
- 자바의정석
- MVC
- BFS
- javascript
- 암호학
- data structure
- cloud computing
- 크루스칼
- 코딩테스트
- 코테
- sql
- 가상컴퓨팅
- Stack
- 클라우드 컴퓨팅
- dfs
- Java
- JDBC
- dbms
- jsp
- Algorithm
- spring
- 알고리즘
- python
- Today
- Total
목록Hadoop (2)
PLOD
[Hadoop] YARN : Yet Another Resource Negotiator
* YARN : Hadoop 프로젝트의 분산 환경에서의 자원관리를 담당하는 프레임워크 기존의 hadoop에서 하나의 클러스터에서 다양한 하둡 에코시스템이 적절히 시스템 자원을 할당받고, 할당된 자원이 모니터링되고 해제되는 체계가 미흡한 리소스 자원 관리 문제(hadoop이 가지고 있던 SPOF(JobTracker의 메모리 이슈)인 namenode 이중화문제(자원 할당과 작업 스케줄링이 일원화 되어있음,))그리고 MapReduce 기반이 아닌 시스템은 자원 공유가 불가능한 기존의 리소스 관리 방식, datanode 블록들이 하나의 namespace만 사용하는 데 따르는 단점과 성능개선 요청인 HDFS Fereration 으로 인한 hadoop의 안정성문제로 인해 hadoop 1.0의 무제가 대두되기 시작했..
[HDFS] MapReduce : simplified Data Processing on Large Clusters
* MapReduce: 대용량 데이터를 생성 및 처리를 위한 분산 프로그래밍 모델이자 구현체 구글에서 2004년 발표한 다양한 종류의 파생 데이터를 계산하기 위해 탐색된 문서 , 웹 요청 로그와 같은 대량의 원시데이터를 처리하기 위해 만들어진 소프트웨어 프레임워크 이다. 기존의 Hadoop 클러스터에 범용 서버만 추가하여 computing capacity와 storage capacity 및 I/O 대역폭을 확장하였다. 여러 호스트 간의 데이터 및 계산 파티셔닝을 제공하고 데이터 근처에서 병렬로 응용 프로그램 계산을 실행 한다. 흩어져 있는 데이터를 수직화하여, 그 데이터를 각각의 종류 별로 모으고(Map Function), Filtering과 Sorting을 거쳐 데이터를 뽑아내는(Reduce Funct..