[Cloud computing] definition of Big Data , cloud computing

빅데이터 : 빅데이터는 기존의  데이 터 처리 소프트웨어가 처리하기 힘들정도로 거대하고 복잡한 데이터셋을 말한다

 

빅데이터의 3요소 

 

1. velocity(속도) : 데이터를 모으고 분석하는 시간이 단축됨, 빠른 속도로 생성되는 디지털 데이터에 대한 실시간 처리와 누적되온 데이터에 대한 장기적인 접근이 필요함

 

2. volumn(크기) : 어마어마하게 많은 데이터와 데이터 형태들을 제공함, 일반적으로 수십 수백 페타바이트 이상, 기존의 데이터 웨어하우스에서 처리하기 힘들다 - > 분산컴퓨팅 기법 필요

 

3.variety(다양성) : 다양한 데이터 타입들을 제공함, 정형, 반정형, 비정형 데이터가 있다

 

1) 정형 : 고정된 필드에 저장되는 데이터, 기존의 데이터와 유사해 쉽게 보관, 분석, 처리 가능

 

2) 반정형 : 메타데이터나 스키마 같은 데이터(ex.XML,HTML,JSON)

 

3) 비정형 :  고정된 필드에 저장되어 있지 않은 데이터(ex.동영상,사진, 오디오데이터)

 

빅데이터의 장점

 

1.  cost reduce :  하둡이나 클라우드 기반 소프트웨어를 사용함으로써 대용량 데이터를 저장할 때 비용을 아낄 수 있다.

 

2. fast, high quality  : 오랜시간 축적됬던 데이터를 기반으로  더 나은 결과를 도출해 낼 수 있다

 

3. new product, service :  누적된 고객의 니즈와 만족 데이터를 기반으로 더 쉽고 빠르게 새롭게 고객의 욕구를 채워줄 수 있다

 

클라우드 컴퓨팅 :  클라우드 컴퓨팅이란 기존의 local machine에서 가동하는 것이 아니라 서버환경에서 프로그램이나 Application을 구동하는 것을 의미한다. 

 

cloud computing 

 

1. laas (infrastructure - as - a -service) : 서버 / 스토리지,네트워크 등의 H/W 자원을 필요에 따라서 사용할 수 있게 제공하는 형태

 

2. Paas(platform - as - a -Service) : 서비스를 개발할 수 있는 안정적인 환경과 응용 프로그램을 개발 할 수 있는 API까지 제공하는 형태

 

3. Saas(software - as - a -service) : 클라우드 환경에서 동작하는 응용프로그램을 서비스 형태로 제공하는 형태 

 

-> cloud computing 은 기존의 cost scalability , Elasticity 문제를 해결했다

 

 

- cloud virualization은 Hypervisior- based -virualization과 comtainer virtualization으로 나누어져 있다 .

 

Hypervisor 방식은 host operating System위에 Hypervisor가 있고 각각의 gusetOS위에 App을 구동할 수 있다.

 

container 방식은 operating system위에 container Engine이 있고 그위에 바로 App을 구동할 수 있다.

 

cloud statics

 

1) scale out , not up

 

2) Move Processing close to the data

 

3) Peocess data sequentially , avoid random access

 

4)seamless scalability

 

 

cloud characteristics

 

1) pay-per-use

 

2) elastic capacity

 

3) illusion of infinite resoruces

 

4) self-service interface

 

5) abstracted or virtualized resource

 

 

cloud benefit

1) Consumers 관점 : 좋은 서비스들을 더 싸게 받을 수 있게 되었다

 

2) Service Provider 관점 : return in investment(ROI) faster , total cost of ownership(TCO) lower

 

Cloud service adventage 

 

1) 사용자에 맞춰 self-service

 

2)사용한 만큼만 요금 지불

 

3) auto scaling을 통해 사용자에게 언제 얼마든지 자원을 제공 할 수 있음

 

4) 자원들을 customizable 할 수 있다

 

 

Hypervisior - based Virtualization 

가상화 방식에 따라서 전가상화와 반가상화로 나뉜다.

 

1) 전가상화 : 컴퓨팅 시스템의 하드웨어 리소스를 완전하게 가상화 하는 방식 ,GuestOS 수정 없이 구동이 가능하다

 

2) 반가상화 : 하드웨어를 완전히 가상화하지 않는 방식 

 

- 특징 : 하드웨어를 완전히 가상화 하지 않는 방식 , GuestOS 수정이 필요하다.

 

 

Container-based Cloud virtualization( = OS - level Virualization
운영체제 가상화)

Container는 모듈화 되고 격리된 컴퓨팅 공간 또는 컴퓨팅 환경 , 기존 Hypervisor 방식이 GuestOS가 필요했던 반변 프로세스를 격리하여 모듈화된 프로그램 패키지로써 수행, 컨테이너 기술을 통해 경량화 되어 속도가 빠르고 , 이식성 측면에서 각광받고 있다. No-GuestOS 이기 떄문에 기본의 가상머신방식보다 성능 부하가 훨씬 적고,  가상화 방식보다 시스템에 대한 요구사항이 적다.