목록분류 전체보기 (137)

PLOD

[Hadoop] YARN : Yet Another Resource Negotiator

* YARN : Hadoop 프로젝트의 분산 환경에서의 자원관리를 담당하는 프레임워크 기존의 hadoop에서 하나의 클러스터에서 다양한 하둡 에코시스템이 적절히 시스템 자원을 할당받고, 할당된 자원이 모니터링되고 해제되는 체계가 미흡한 리소스 자원 관리 문제(hadoop이 가지고 있던 SPOF(JobTracker의 메모리 이슈)인 namenode 이중화문제(자원 할당과 작업 스케줄링이 일원화 되어있음,))그리고 MapReduce 기반이 아닌 시스템은 자원 공유가 불가능한 기존의 리소스 관리 방식, datanode 블록들이 하나의 namespace만 사용하는 데 따르는 단점과 성능개선 요청인 HDFS Fereration 으로 인한 hadoop의 안정성문제로 인해 hadoop 1.0의 무제가 대두되기 시작했..
computer science/Cloud computing 2022. 12. 15. 12:30
[Spark] Apache - Spark

*Spark : 빅데이터 처리를 위한 오픈 소스 분산 처리 플랫폼 , Resilient Distribute Dataset(RDD) Spark는 효율적이고 범용적인 프로그래밍 언어를 대화형으로 사용해서 클러스터의 대규모 데이터 세트(ex. interactive query , streaming processing)를 처리할 수 있는 최초의 시스템이다. Spark는 다른 processing type들을 결합하는 것을 쉽고 싸게 할 수 있다. * spark의 기능 1) cluster 병렬화 기능을 통해 system programming 구별 기능 2) 네트워크 통신 기능 3) fault tolerance 기능 *Spark Construct - Spark Core(Spark engine) : Spark의 기본 기..
computer science/Cloud computing 2022. 12. 15. 10:28
[MapReduce] HIVE and pig

* HIVE and Pig - HIVE : Facebook에 의해 만들어진 data-warehouing 어플리케이션이다. Query language 로는 SQL과 비슷한 HiveQL을 사용한다. HiveQL로 정의한 내용을 Hive가 MapReduce job으로 변환해서 실행 - Pig : YAHOO에 의해 만들어진 large-scale data processing system이다. Script들은 Data-flow 언어인 Pig Latin으로 작성되었다.(No Query language) , 사용자 정의 함수로 확장이 가능하지만 컴파일 과정이 필요함으로 기존의 MapReduce보다 성능이 떨어진다. HIVE와 Pig는 기존의 MapReduce에서 Text, IntWritable, LongWritable..
computer science/Cloud computing 2022. 12. 15. 08:06
[AI] Generatvice Adversarial Network(GAN)

*GAN 데이터를 생성하는 generator와 데이터를 구별하는 discriminator가 경쟁하는 과정을 통해서 데이터를 학습한다. Generator는 이미지를 생성하고 Discriminator는 Generator가 생성한 이미지를 구별하는 역할 을 한다. Generator가 실제처럼 보이는 데이터를 생성함으로써 Discriminator를 속이려고 시도하고, 이에 반해 discriminator는 실제 데이터와 만들어진 가짜 데이터를 구별하려고 한다. GAN은 Autoencoder가 사용되었다 Generator가 Decoder에서 noise를 추가하면 Discriminator가 fake라고 판별하는 방식으로 discriminator의 역할을 수행 할 수 있다. GAN에는 Objective 함수 (loss..
대외 활동 및 IT 지식 2022. 12. 13. 09:11
[AI] Sequence to Sequence Learning

*Sequence to Sequence Learning(seq2seq) seq2seq 모델은 입력된 Sequence로부터 다른 도메인의 시퀀스를 출력하는 다양한 분야에서 사용되는 모델이다. 예를 들어 챗봅이나 기계번역이 그러한 대표한 예인데, 입력 시퀀스와 출력 시퀀스를 각각 질문과 대답으로 구성하면 챗봇(ChatBot)으로 만들 수 있고 , 입력 시퀀스와 출력 시퀀스를 각각 입력 문장과 번역 문장으로 만들면 papago, youtube 자동 번역기로도 만들수 있다. 그외에도 내용 요약 , 음성인식 등에서 쓰일 수 있다. ex) 음성 인식 ex 2) 문장 자동 완성
대외 활동 및 IT 지식 2022. 12. 13. 08:50
[AI] Autoencoder

* Autoencoder(AE) 데이터를 인코딩하는 방법을 배우는 효과적인 딥러닝 모델이다. 기존의 모델과의 가장 큰 차이점은 입력 데이터만을 가지고 학습을 진행하는데 있다. (정답데이터 X, Dataset ) Autoencoder은 저차원 공간에서 새로운 이미지를 추출해야 되기 때문에 latent vector가 필요하다. * 손실함수 (L) : 입력 값과 동일한 추력을 가지도록 학습함으로써 네트어크를 통해서 나온 출력값인 decoder(encoder(x))가 입력 값인 x와 얼마나 차이가 있는지 측정 ex 1) hidden dimension = 32, hidden activation = 'relu', output activation = 'sigmoid' 인 AE를 modeling 먼저 test_data..
대외 활동 및 IT 지식 2022. 12. 13. 05:07
이전 Prev 1 ··· 11 12 13 14 15 16 17 ··· 23 Next 다음