빅데이터 분석을 위한 스칼라와 스파크 스파크를 이용해 데이터 분석 방법을 배우려는 사람에게 매우 유용한 책이다. 가장 먼저 스칼라를 소개하고, 스칼라 애플리케이션 개발에 필요한 객체지향 개념과 함수형 프로그래밍 개념을 설 www.yes24.com 요약: 05.스파크로 빅데이터 다루기 하둡과 맵리듀스 프레임워크의 발전 과정과 개념 하둡 프레임워크는 크게 스토리지와 프롸세싱을 제공한다. 스토리지는 hdfs로 데이터를 block으로 분할해서 관리한다. 이때 메타데이터를 관리하는 네임노드와 실제 분할된 데이터를 관리하는 데이터노드라는 개념으로 전체 파일을 관리한다. 프로세싱에는 맵리듀스 프레임워크가 있는데 입력데이터를 분할하고 분할된 데이터를 복사해서 처리된다. 이때 자원관리자와 여러 노드관리자로 구성되어 작업..