SMALL 빅데이터1 (Apache Spark) 개요 Spark 소개 및 특징 What is Spark? 인메모리 기반의 대용량 데이터 고속 처리 엔진 Apache Spark 는 오픈 소스 범용 분산 클러스터 컴퓨팅 프레임워크 범용적이면서도 빠른 속도로 작업을 수행할 수 있도록 설계한 클로스터용 연산 플랫폼이자 스트림 처리를 효과적으로 수행하는 인-메모리 방식의 분산 처리 시스템 최초 데이터 로드와 최종 결과 저장시에만 디스크 사용 메모리에 분산 저장하고,병렬 처리 구조 Hadoop vs Spark 디스크 입출력 방식을 인-메모리 데이터 처리 방식으로 전환 기존 맵리듀스 디스크 입출력 방식보다 평균 10~100배 정도의 속도 향상 기존 디스크 입출력에 대한 지연 시간 개선 메모리를 사용하여 반복적인 작업이나 스트리밍 데이터를 효율적으로 처리 빅데이터 애플리.. 2020. 11. 9. 이전 1 다음 반응형 LIST
