mini world

[스파크 완벽 가이드] 2장. 스파크 간단히 살펴보기(2)

※ 혼자 책보고 공부하면서 적는거라 틀린 부분 있으면 댓글로 알려주세요!YES24구매링크 - 별 의도는 없고 그냥 제가 예사에서 구매했어요... 스파크 완벽 가이드 - 예스24스파크 창시자가 알려주는 스파크 활용과 배포, 유지 보수의 모든 것 오픈소스 클러스터 컴퓨팅 프레임워크인 스파크의 창시자가 쓴 스파크에 대한 종합 안내서이다. 스파크 사용법부터 배포,www.yes24.com CHAP2. 스파크 간단히 살펴보기(2) - 종합예제데이터 다운로드는 여기서1. 스파크로 데이터 읽어오기spark.read: Spark의 DataFrameReader를 사용해 데이터를 읽을 준비.option("inferSchema", "true"): CSV 파일의 각 열에 대한 데이터 타입을 자동으로 추론하여 읽어옴.option..

※ 혼자 책보고 공부하면서 적는거라 틀린 부분 있으면 댓글로 알려주세요!https://www.yes24.com/Product/Goods/67116641 스파크 완벽 가이드 - 예스24스파크 창시자가 알려주는 스파크 활용과 배포, 유지 보수의 모든 것 오픈소스 클러스터 컴퓨팅 프레임워크인 스파크의 창시자가 쓴 스파크에 대한 종합 안내서이다. 스파크 사용법부터 배포,www.yes24.comCHAP2. 스파크 간단히 살펴보기스파크 애플리케이션스파크 애플리케이션 = 드라이버(명령) + 익스큐터(실행 및 진행상황 보고)드라이버가 익스큐터에 작업 할당 → 익스큐터가 데이터 처리 및 드라이버에 보고 → 작업 완료 시 드라이버가 결과 반환스파크(Spark): 대규모 데이터 처리 시스템. 병렬처리를 통해 빠른 속도로 작..

오늘은 로컬 환경에 Spark를 설치하는 방법에 대해서 정리해보려고 한다. 하지만 처음 설치하려고 하면, 특히 Windows 환경에서는 몇 가지 설정 과정이 다소 복잡하다(자꾸 안돌아가서 깨끗하게 전부 삭제하고 처음부터 다시 하는 중인 나같은 사람이 더이상 없기를). 이 글에서는 Windows 환경에서 Spark를 설치하는 단계를 아주아주 자세히 알아보려고 한다. Spark 홈페이지릴리스 노트나 예시 쉘 같은걸 확인할 수 있다. 당연히 한국어는 없지만 구글번역기로 돌려서 보면 된다. https://spark.apache.org/docs/latest/  Overview - Spark 3.5.3 DocumentationDownloading Get Spark from the downloads page of t..