PLOD

Greedy Algorithm - 당장 좋은것 만 선택하는 그리디 그리디 알고리즘은 탐욕법이라고 불리며 , 현재 상황에서 지금 당장 좋은 것만 고르는 방법을 뜻한다. 완전탐색과 달리 모든 경우를 살펴보지 않는다. 그렇기 때문에 완전탐색보다 빠르다. 그리디 알고리즘은 기준에 따라 좋은 것을 선택하는 알고리즘이므로 문제에서 "가장" 큰 순서대로, "가장" 작은 순서대로 와 같은 기준을 잘 잡는 것이 중요하다. 그리디는 문제를 해결할 수있는 가장 standard한 logic이지만, 말그대로 앞으로 남은 선택들을 고려하지 않고 현재 상황만을 고려하기 때문에 항상 최적해를 보장하지 않는다. 1. 거스름돈 문제 더보기 당신은 음식점의 계산을 도와주는 점원이다. 카운터에는 거스름돈으로 사용할 500원, 100원, 5..

* MapReduce: 대용량 데이터를 생성 및 처리를 위한 분산 프로그래밍 모델이자 구현체 구글에서 2004년 발표한 다양한 종류의 파생 데이터를 계산하기 위해 탐색된 문서 , 웹 요청 로그와 같은 대량의 원시데이터를 처리하기 위해 만들어진 소프트웨어 프레임워크 이다. 기존의 Hadoop 클러스터에 범용 서버만 추가하여 computing capacity와 storage capacity 및 I/O 대역폭을 확장하였다. 여러 호스트 간의 데이터 및 계산 파티셔닝을 제공하고 데이터 근처에서 병렬로 응용 프로그램 계산을 실행 한다. 흩어져 있는 데이터를 수직화하여, 그 데이터를 각각의 종류 별로 모으고(Map Function), Filtering과 Sorting을 거쳐 데이터를 뽑아내는(Reduce Funct..

Hadoop은 비정형 데이터를 관리하기 위해 생겨난 자바기반 프레임워크이다. 정형데이터는 RDBMS가 관리 할 수 있지만 비정형 데이터는 데이터의 크기와 또 그 데이터를 처리하고 보관하기 위한 비용이 크기 때문에 Hadoop이 생겨남 ,Hadoop은 분산처리를 위한 오픈소스 프레임워크이다 -> Hadoop 은 RDBMS와 상호보완적 특징을 가진다 1. 하둡의 장점 1) 오픈소스 프로젝트 -> SW license 비용부담이 적어짐 2) Commodity Hardware 3) Scale - out 아키텍쳐 4) 테이터 복제를 통해 데이터 유실이나 장애 복구 가능 5) 여러 대의 서버에 분산 저장 및 데이터가 자 데이터 분신 저장하고 각 서버에서 동시에 데이터 처리 -> Data Locality - 데이터 근..

빅데이터 : 빅데이터는 기존의 데이 터 처리 소프트웨어가 처리하기 힘들정도로 거대하고 복잡한 데이터셋을 말한다 빅데이터의 3요소 1. velocity(속도) : 데이터를 모으고 분석하는 시간이 단축됨, 빠른 속도로 생성되는 디지털 데이터에 대한 실시간 처리와 누적되온 데이터에 대한 장기적인 접근이 필요함 2. volumn(크기) : 어마어마하게 많은 데이터와 데이터 형태들을 제공함, 일반적으로 수십 수백 페타바이트 이상, 기존의 데이터 웨어하우스에서 처리하기 힘들다 - > 분산컴퓨팅 기법 필요 3.variety(다양성) : 다양한 데이터 타입들을 제공함, 정형, 반정형, 비정형 데이터가 있다 1) 정형 : 고정된 필드에 저장되는 데이터, 기존의 데이터와 유사해 쉽게 보관, 분석, 처리 가능 2) 반정형 ..