mini world

[스파크 완벽 가이드] 2장. 스파크 간단히 살펴보기(2)

※ 혼자 책보고 공부하면서 적는거라 틀린 부분 있으면 댓글로 알려주세요!YES24구매링크 - 별 의도는 없고 그냥 제가 예사에서 구매했어요... 스파크 완벽 가이드 - 예스24스파크 창시자가 알려주는 스파크 활용과 배포, 유지 보수의 모든 것 오픈소스 클러스터 컴퓨팅 프레임워크인 스파크의 창시자가 쓴 스파크에 대한 종합 안내서이다. 스파크 사용법부터 배포,www.yes24.com CHAP2. 스파크 간단히 살펴보기(2) - 종합예제데이터 다운로드는 여기서1. 스파크로 데이터 읽어오기spark.read: Spark의 DataFrameReader를 사용해 데이터를 읽을 준비.option("inferSchema", "true"): CSV 파일의 각 열에 대한 데이터 타입을 자동으로 추론하여 읽어옴.option..

※ 혼자 책보고 공부하면서 적는거라 틀린 부분 있으면 댓글로 알려주세요!https://www.yes24.com/Product/Goods/67116641 스파크 완벽 가이드 - 예스24스파크 창시자가 알려주는 스파크 활용과 배포, 유지 보수의 모든 것 오픈소스 클러스터 컴퓨팅 프레임워크인 스파크의 창시자가 쓴 스파크에 대한 종합 안내서이다. 스파크 사용법부터 배포,www.yes24.comCHAP2. 스파크 간단히 살펴보기스파크 애플리케이션스파크 애플리케이션 = 드라이버(명령) + 익스큐터(실행 및 진행상황 보고)드라이버가 익스큐터에 작업 할당 → 익스큐터가 데이터 처리 및 드라이버에 보고 → 작업 완료 시 드라이버가 결과 반환스파크(Spark): 대규모 데이터 처리 시스템. 병렬처리를 통해 빠른 속도로 작..

오늘은 로컬 환경에 Spark를 설치하는 방법에 대해서 정리해보려고 한다. 하지만 처음 설치하려고 하면, 특히 Windows 환경에서는 몇 가지 설정 과정이 다소 복잡하다(자꾸 안돌아가서 깨끗하게 전부 삭제하고 처음부터 다시 하는 중인 나같은 사람이 더이상 없기를). 이 글에서는 Windows 환경에서 Spark를 설치하는 단계를 아주아주 자세히 알아보려고 한다. Spark 홈페이지릴리스 노트나 예시 쉘 같은걸 확인할 수 있다. 당연히 한국어는 없지만 구글번역기로 돌려서 보면 된다. https://spark.apache.org/docs/latest/  Overview - Spark 3.5.3 DocumentationDownloading Get Spark from the downloads page of t..

참고https://seaborn.pydata.org/tutorial/regression.html Estimating regression fits — seaborn 0.13.2 documentationEstimating regression fits Many datasets contain multiple quantitative variables, and the goal of an analysis is often to relate those variables to each other. We previously discussed functions that can accomplish this by showing the joint distribution ofseaborn.pydata.orgseaborn을 진짜 안써..

matplotlib 라이브러리를 활용하여 이중 축 그래프를 만들어보자.엄청 자주 쓰는 차트가 아니라서 매번 잊어먹는데, 가끔 필요할때가 있어서 기록한다.(더 효율적인 방법이 있다면 댓글로 알려주세요.)이중 축 그래프를 사용하는 경우는1. 시각화 하고 싶은 데이터의 단위가 다를 때.2. 시각화 하고 싶은 데이터들의 스케일 차이가 클 때.예를 들어 병원 주차장의 차량 대수와 수납 고객 수의 추세를 시각화 하는 경우,차량과 고객의 단위와 스케일이 달라 같은 그래프에 표시하면 당연히 차량 수가 직선처럼 보인다.이런 경우 이중 축 그래프로 추세 비교가 가능하다. 근데 대학 다닐 때, 이중축은 헷갈린다고 자주 안쓴다고 하시긴 했다.오늘은 구분하기 쉽도록 축의 색상을 다르게 해보려고 한다. fig, ax1 = plt..

오늘은 어제에 이어,그래머인유즈 이북 코드 입력 방법을 알아볼 예정이다.사실 그냥 혼자 입력하고 공부 기록부터 올리려고 했는데, 하면서 어이가 없어서 모두에게 공유하고자,, 글을 작성하게 되었다.링크를 찾아서우선 책 안쪽에 써있는대로https://www.bookshelf.cambridge.org에 접속했으나, 2022년에 폐쇄된 페이지라고 나온다.이딴 게....5판? 최신판이라며. 최신판이라며. 어휴아무튼 접속을 하면 이런 페이지가 뜬다.내가 구매한 책을 넣고 입력해보니, 이 이북은 cambridgeone으로 옮겨갔단다. 아놔.그래서 캠브릿지 원으로 접속을 하면 된다.이북 로그인 링크 찾고 계신 분들은 아래 링크로 바로 접속하세요.https://www.cambridgeone.org/ Cambridge O..

외노자를 꿈꾸며 이직 전까지 비즈니스영어를 열심히 공부해야할 의무가 생겼다.뉴스프레소의 비즈니스영어를 하려다가, 문법이 애매한 것 같아세계적인 베스트셀러, Grammar in use 를 구매하게 되었다.책 구매 정보ENGLISGH GRAMMAR IN USEBOOK WITH ANSWERS AND INTERACTIVE eBOOK, 5/E 정가: 35,000원YES24: 29,800원(24년 11월 16일 기준)100% 내돈내산이고, 광고 대환영 연락 주세요 캠브릿지^_^yes24에서 구매했고 2천원 쿠폰 덕분에 27800원에 구매했다. 배송은 이틀 정도 걸렸다.요렇게 배송이 왔다. 쨍한 파란색이 예쁘다.5판인데, 이게 제일 최신버전 같다.책 기록 스티커는 유용하게 쓸 것 같아서 800p차감해서 추가함.메모지..

가끔 EUW 계정으로 남자친구랑 게임을 한다. 한국에서 돌아가긴 하는데 핑이 300정도 찍히고 좀 느림.그래도 뭐... 같이 할 수 있는 거의 유일한 게임이라서 같이 할때 가끔 씁니다.오늘 사용했던 덱을 리뷰해보려고요. (공략 아닙니다. 제꺼 따라하면 티어 강등됨.분명 플3에서 시작했는.... 데...플4에서 끝남...슬프다.아니 분명 초반에는 잘 하는데 후반에 가면 왜 밀리는걸까.근데 이상한게 혼자 돌릴 때는 잘만 되는데, 꼭 남자친구랑만 같이 큐 잡으면 이상하게 게임이 잘 안된다..첫 판바위게 판이라서 무난하게~ 나오는거 가야지! 마인드로 일단 다 사봄.한창하는데 첫번째 증강으로 선봉대가 나왔다.마침 신드라도 잘 나오길래 선봉대 신드라를 해봐야겠다! 싶어서 당장 실행에 옮겼음.근데 분명 초반엔 제가 ..