PLOD

DockerGo 언어로 작성된 리눅스 컨테이너 기반 오픈소스 가상화 플랫폼컨테이너 : 가상화 기술 중 하나 , 애플리케이션과 그 실행 환경을 함께 패키징하여 어디서든 동일하게 실행 될 수 있도록 해주는 기술가상화 : 물리적 컴퓨터 하드웨어를 보다 효율적으로 활용할 수 있도록 해주는 프로세스 Docker 주요 개념 정리이미지(Image): 실행 가능한 애플리케이션과 실행 파일 및 설정과 같은 환경을 정의한 파일이다. 코드, 런타임, 라이브러리 등을 포함하며, 변경이 불가능하다. → Dockerfile을 통해 docker image를 생성 할 수 있다.컨테이너(Container): 이미지를 실행한 상태. 이미지의 인스턴스로서, 애플리케이션이 실제로 동작하는 환경을 제공Docker를 사용하는 이유일관성 : 어..

* YARN : Hadoop 프로젝트의 분산 환경에서의 자원관리를 담당하는 프레임워크 기존의 hadoop에서 하나의 클러스터에서 다양한 하둡 에코시스템이 적절히 시스템 자원을 할당받고, 할당된 자원이 모니터링되고 해제되는 체계가 미흡한 리소스 자원 관리 문제(hadoop이 가지고 있던 SPOF(JobTracker의 메모리 이슈)인 namenode 이중화문제(자원 할당과 작업 스케줄링이 일원화 되어있음,))그리고 MapReduce 기반이 아닌 시스템은 자원 공유가 불가능한 기존의 리소스 관리 방식, datanode 블록들이 하나의 namespace만 사용하는 데 따르는 단점과 성능개선 요청인 HDFS Fereration 으로 인한 hadoop의 안정성문제로 인해 hadoop 1.0의 무제가 대두되기 시작했..

*Spark : 빅데이터 처리를 위한 오픈 소스 분산 처리 플랫폼 , Resilient Distribute Dataset(RDD) Spark는 효율적이고 범용적인 프로그래밍 언어를 대화형으로 사용해서 클러스터의 대규모 데이터 세트(ex. interactive query , streaming processing)를 처리할 수 있는 최초의 시스템이다. Spark는 다른 processing type들을 결합하는 것을 쉽고 싸게 할 수 있다. * spark의 기능 1) cluster 병렬화 기능을 통해 system programming 구별 기능 2) 네트워크 통신 기능 3) fault tolerance 기능 *Spark Construct - Spark Core(Spark engine) : Spark의 기본 기..

* HIVE and Pig - HIVE : Facebook에 의해 만들어진 data-warehouing 어플리케이션이다. Query language 로는 SQL과 비슷한 HiveQL을 사용한다. HiveQL로 정의한 내용을 Hive가 MapReduce job으로 변환해서 실행 - Pig : YAHOO에 의해 만들어진 large-scale data processing system이다. Script들은 Data-flow 언어인 Pig Latin으로 작성되었다.(No Query language) , 사용자 정의 함수로 확장이 가능하지만 컴파일 과정이 필요함으로 기존의 MapReduce보다 성능이 떨어진다. HIVE와 Pig는 기존의 MapReduce에서 Text, IntWritable, LongWritable..

* MapReduce: 대용량 데이터를 생성 및 처리를 위한 분산 프로그래밍 모델이자 구현체 구글에서 2004년 발표한 다양한 종류의 파생 데이터를 계산하기 위해 탐색된 문서 , 웹 요청 로그와 같은 대량의 원시데이터를 처리하기 위해 만들어진 소프트웨어 프레임워크 이다. 기존의 Hadoop 클러스터에 범용 서버만 추가하여 computing capacity와 storage capacity 및 I/O 대역폭을 확장하였다. 여러 호스트 간의 데이터 및 계산 파티셔닝을 제공하고 데이터 근처에서 병렬로 응용 프로그램 계산을 실행 한다. 흩어져 있는 데이터를 수직화하여, 그 데이터를 각각의 종류 별로 모으고(Map Function), Filtering과 Sorting을 거쳐 데이터를 뽑아내는(Reduce Funct..

Hadoop은 비정형 데이터를 관리하기 위해 생겨난 자바기반 프레임워크이다. 정형데이터는 RDBMS가 관리 할 수 있지만 비정형 데이터는 데이터의 크기와 또 그 데이터를 처리하고 보관하기 위한 비용이 크기 때문에 Hadoop이 생겨남 ,Hadoop은 분산처리를 위한 오픈소스 프레임워크이다 -> Hadoop 은 RDBMS와 상호보완적 특징을 가진다 1. 하둡의 장점 1) 오픈소스 프로젝트 -> SW license 비용부담이 적어짐 2) Commodity Hardware 3) Scale - out 아키텍쳐 4) 테이터 복제를 통해 데이터 유실이나 장애 복구 가능 5) 여러 대의 서버에 분산 저장 및 데이터가 자 데이터 분신 저장하고 각 서버에서 동시에 데이터 처리 -> Data Locality - 데이터 근..