mini world

[모두를 위한 R 데이터 분석 입문] chap08 - 연습문제 풀이

별수호자룰루 — Wed, 25 Jun 2025 18:37:26 +0900

중간 중간 귀찮아서 안푼 문제도 있어요.. 그냥 혼자 공부하면서 올리는거라 이상한 부분은 댓 남겨주시면 수정할게요.

R에서 기본 제공하는 데이터셋이나 특정 데이터셋을 받아오거나 하는 문제가 아니라, 직접 하나하나 데이터값을 입력해서 프레임을 만들어줘야하는 문제는 시간 상 건너뛰었어요.

연습문제 1

#01
us <- data.frame(state.x77, state.division)
us
us$index <- rownames(us)
us
#(1)
library(treemap)
treemap(us, index=c("state.division", "index"),
        vSize="Population",
        vColor="Income",
        title="1-(1) 그래프")

#(2)
treemap(us, index=c("state.division", "index"),
        vSize="HS.Grad",
        vColor="Murder")

#(3)
symbols(us$Income, us$Illiteracy,
        circle=us$Population,
        bg="green")
text(us$Income, us$Illiteracy,
     rownames(us))

#(4)
symbols(us$Illiteracy, us$Murder,
        circle=us$Area,
        bg="green")
text(us$Illiteracy, us$Murder,
     rownames(us))

연습문제2

#02
ds <- data.frame(swiss)
ds$index <- rownames(ds)
ds
#(1)
ds$group <- "MID"
ds$group[ds$Education >=13] <- "HIGH"
ds$group[ds$Education <= 6] <- "LOW"

treemap(ds, index=c("group", "index"),
        vSize="Fertility",
        vColor="Agriculture")

#(2)
treemap(ds, index="index",
        vSize="Catholic", vColor = "Examination")

연습문제3

#03
symbols(ds$Fertility, ds$Agriculture,
        circle=ds$Education,
        bg="green")
text(ds$Fertility, ds$Agriculture,
     rownames(ds))

연습문제4

#04
ds_tree <- data.frame(trees)
head(ds_tree)

symbols(ds_tree$Girth, ds_tree$Height,
        circle=ds_tree$Volume,
        bg="blue")
text(ds_tree$Girth, ds_tree$Height,
     rownames(ds_tree))

연습문제5

#05

ds_color <- data.frame(HairEyeColor)
head(ds_color)
mosaicplot(~Hair+Eye, data=ds_color)

연습문제7

#07
library(ggplot2)
cars <- data.frame(mtcars)
head(cars)
ggplot(cars, aes(x=carb)) +
  geom_bar()+
  labs(
    x = "기화기의 수", 
    y = "빈도",
    title = "기화기의 수"
  )

연습문제8

#08
ggplot(cars, aes(x=cyl))+
  geom_bar(fill='green')

연습문제9

#09
ggplot(cars, aes(x=mpg))+
  geom_histogram(binwidth = 5.0)

연습문제10

#10
ggplot(ds_tree, aes(x=Volume))+
  geom_histogram(binwidth = 5.0, fill='steelblue')+
  labs(x="나무부피", y="빈도", title="나무부피 히스토그램")

연습문제11

#11
ggplot(ds, aes(x=Examination, y=Agriculture, color=Fertility))+
  geom_point()

연습문제12

#12
ggplot(cars, aes(y=mpg, fill=factor(gear)))+
  geom_boxplot()

연습문제15

#15
library(Rtsne)
ds <- data.frame(state.x77)
head(ds)

#2차원 산점도
tsne <- Rtsne(ds, dims=2, perplexity=10)
df.tsne <- data.frame(tsne$Y)
head(df.tsne)
ggplot(df.tsne, aes(x=X1, y=X2))+
  geom_point()

#3차원 산점도
library("rgl")
library("car")
tsne <-Rtsne(ds, dims=3, perplexity=10)
df.tsne <- data.frame(tsne$Y)
head(df.tsne)
scatter3d(x=df.tsne$X1, y=df.tsne$X2, z=df.tsne$X3)

연습문제16

#16
#2차원 산점도
tsne <- Rtsne(ds, dims=2, perplexity=10)
df.tsne <- data.frame(tsne$Y)
ggplot(df.tsne, aes(x=X1, y=X2))+
  geom_point()

#3차원 산점도
tsne <-Rtsne(ds, dims=3, perplexity=10)
df.tsne <- data.frame(tsne$Y)
head(df.tsne)
scatter3d(x=df.tsne$X1, y=df.tsne$X2, z=df.tsne$X3)

[모두를 위한 R 데이터 분석 입문] chap06 - 연습문제 풀이

별수호자룰루 — Fri, 16 May 2025 18:34:12 +0900

중간 중간 귀찮아서 안푼 문제도 있어요.. 그냥 혼자 공부하면서 올리는거라 이상한 부분은 댓 남겨주시면 수정할게요.

연습문제01

#01
cor(cars$speed, cars$dist)
plot(cars$speed, cars$dist)
res <- lm(cars$dist~cars$speed)
abline(res, col='red')
#상관계수가 0.8로 강한 양의 상관관계임

연습문제02

#02
cor(pressure$temperature, pressure$pressure)
plot(pressure$temperature, pressure$pressure)
res <- lm(pressure$pressure~pressure$temperature)
abline(res, col='red')
#상관계수가 0.76으로 양의 상관관계가 있는 편임

연습문제03

#03
ds <- swiss[,1:4]
head(ds)
pairs(ds)

연습문제04

#04
plot(iris$Petal.Length, iris$Petal.Width,
     col = iris$Species,
     pch = 3)

연습문제07

#07
ds <- state.x77
cor(ds)
pairs(ds)
#Income과 가장 큰 상간관계를 가진변수는 HS Grad임

연습문제10

#10
#(1)
plot(trees$Girth, trees$Height)
cor(trees$Girth, trees$Height)
#(2)
pairs(trees)
cor(trees)

연습문제11

#11
plot(Orange$age, Orange$circumference,
     col=Orange$Tree,
     pch = 10)

연습문제12

#12
#(1)
data("Glass")
myds <- Glass
#(2,3,4)
pairs(myds[,-10])
cor(myds[,-10])
pairs(myds[,-10],
      col = myds$Type)

연습문제14

#14
years <- 1875:1972
hlevel <- as.vector(LakeHuron)
lines(years,
     hlevel,
     type='b',
     main = 'LakeHuron',
     col='skyblue')

연습문제16

#16
str(USAccDeaths)
months <- 1:12
acc_1973 <- acc[1:12]
acc_1975 <- acc[25:36]
acc_1977 <- acc[49:60]

plot(months, acc_1973, type = "l", col = "red")
lines(months, acc_1975, col = "blue")
lines(months, acc_1977, col = "green")

[모두를 위한 R 데이터 분석 입문] chap05 - 연습문제 풀이

별수호자룰루 — Thu, 15 May 2025 18:26:09 +0900

중간 중간 귀찮아서 안푼 문제도 있어요.. 그냥 혼자 공부하면서 올리는거라 이상한 부분은 댓 남겨주시면 수정할게요.

연습문제 01

#01
#(1,2,3,4)
tabaco <- esoph$tobgp
tabaco
unique(tabaco)
table(tabaco)
barplot(table(tabaco), main='막대그래프')

연습문제 02

#02
#(1,2,3,4)
result <- c("P", "P", "F", "P", "F", "P", "F", "P", "P", "F")
table(result)
barplot(table(result), main='막대그래프')
pie(table(result), main='파이차트')

연습문제 03

#03
#(1,2,3,4)
season <- c("여름", "봄", "겨울", "가을", "여름", "여름", "가을", "겨울", "봄")
table(season)
barplot(table(season), main='계절선호', col=colors)
pie(table(season))

연습문제 05

#05
ds <- mtcars
mean(ds$wt)
median(ds$wt)
mean(ds$wt, trim = 0.15)
sd(ds$wt)
summary(ds$wt)
table(ds$cyl)
boxplot(ds$wt)
boxplot.stats(ds$wt)
boxplot(ds$disp)
boxplot(ds$mpg~ds$gear)

연습문제 06

#06
ds.tree <- trees
head(ds.tree)
mean(ds.tree$Girth)
median(ds.tree$Girth)
mean(ds.tree$Girth, trim=0.15)
sd(ds.tree$Girth)
boxplot(ds.tree$Girth, main="나무 지름")
hist(ds.tree$Height)
boxplot(ds.tree$Height)

연습문제 07

#07
ds.orange <- Orange
head(ds.orange)
summary(ds.orange$age)
mean(ds.orange$age, trim=0.15)
boxplot(ds.orange$age~ds.orange$Tree)
hist(ds.orange$circumference[ds.orange$Tree !=2])
boxplot(ds.orange$circumference~ds.orange$Tree)

[모두를 위한 R 데이터 분석 입문] chap04 - 연습문제 풀이

별수호자룰루 — Wed, 14 May 2025 18:05:07 +0900

문제 번호는 주석에 달아놨습니다. 틀린 부분은 댓글로 알려주시면 수정하겠습니다.

연습문제 01

#(1)
nums = 0
cnt = 0
for(i in 1:100){
  if(i%%3==0){
    nums <- nums + i
    cnt <- cnt + 1
  }
}
print(c(nums, cnt))

#(2)
for(i in 101:200){
  if(i%%12==0){
    print(i)
  }
}

#(3)
for(i in 1:24){
  if(24%%i==0){
    print(i)
  }
}

#(4)
fac <- 1
for(i in 1:10){
  fac <- fac * i
}
print(fac)

연습문제 02

for(i in 1:6){
  cat(strrep("*", i), "\n")
}

연습문제 03

i<-1
num <- 0
sum <- 0
while(i<10){
  num <- i*i
  sum <- sum + num
  i <- i + 1
}
print(sum)

연습문제 04

score <- 80
result <- ifelse(score>60, 'Pass', 'Fail')
print(result)

연습문제 05

nums <- 2:1000
prime <- c()
while (length(nums)>0) {
  p<- nums[1]
  prime <- c(prime, p)
  nums<- nums[nums %%p !=0]
}
print(prime)

#에라토스테네스의 체 원리로 배수를 삭제하는 식으로 짜봤어요!

연습문제 06

numlist <- c(0,1)
while (length(numlist)<40){
  next_num <- numlist[length(numlist)] + numlist[length(numlist)-1]
  numlist <- c(numlist, next_num)
}
print(numlist)

연습문제 07

#(1), (2)
apply(iris[,1:4], 1, sum)
apply(iris[,1:4], 2, max)

연습문제 08

apply(mtcars, 2, sum)
apply(mtcars, 2, max)
apply(mtcars, 2, sd)

연습문제 09

lgm <- function(x, y){
  while(y !=0){
    temp <- y
    y <- x %% y
    x <- temp
  }
  return(x)
}
lgm(10, 8)
lgm(10, 20)

연습문제 10

maxmin <- function(v) {
  maxnum<- which.max(v)
  minnum<-which.min(v)
  
  return (list(max=v[maxnum], min=v[minnum]))
}

v1 <- c(7,1,2,8,9)
result <- maxmin(v1)
result$max
result$min

연습문제 11

weight <- c(69, 50, 55, 71, 89, 64, 59, 70,71,80)
which.max(weight)
which.min(weight)
which(weight < 69 & weight > 61)
weight.2 <- subset(weight,weight <= 60)
weight.2

연습문제 12

#(1)
idx<- which.max(mtcars$mpg)
mtcars[idx,]

#(2)
idx2<-which(mtcars$wt >2 & mtcars$wt <3)
mtcars[idx2,]

#(3)
idx3<- which(mtcars$gear ==3 )
apply(mtcars[idx3,], 2, mean)

#(4)
idx4<-which(mtcars$wt >=5)
apply(mtcars[idx4,], 2, max)

[모두를 위한 R 데이터 분석 입문] chap03 - 연습문제 풀이

별수호자룰루 — Mon, 12 May 2025 18:52:36 +0900

* 혼자 공부하면서 작성한 내용으로 틀린 부분은 댓글로 알려주시면 수정하겠습니다*

연습문제 02

st <- data.frame(state.x77)
st
colnames(st)
rownames(st)
dim(st)
str(st)
colSums(st)
rowSums(st)
colMeans(st)
rowMeans(st)
st["Florida",]
st[, "Income"]
st["Texas","Area"]
st["Ohio", c(1,2)]
subset(st, Population >= 5000)
subset(st, Income >=4500, select= c("Population","Income", "Area"))
sum(st$Income>=4500)
subset(st, Area>=100000 & Frost<=120)
subset(st, Population <2000 & Murder <12)
mean(st$Income[st$Illiteracy >=2.0])
mean(st$Income[st$Illiteracy <=2.0]) - mean(st$Income[st$Illiteracy >=2.0])
subset(st, Life.Exp == max(st$Life.Exp))
subset(st, Income > st["Pennsylvania", "Income"])

연습문제 03

name <- c("Tom", "Jane", "Nick")
age <- c(20, 23, 26)
gender <- c("M", "F", "M")
height <- c(180, 160, 175)
student <- c(TRUE, TRUE, FALSE)
human <- data.frame(name, age, gender, height, student)
human
new_row <- list (
  name = "Mary",
  age = 24,
  gender = "F", 
  height = 155,
  student = TRUE
)
human <- rbind(human, new_row)
human
str(human)
mean(human$age)
mean(human$height)
names(human)[-4]
table(human$gender)

연습문제 04

class(airquality)
head(airquality)
subset(airquality, Temp == max(airquality$Temp))
subset(airquality, airquality$Month == 6 & Wind == max(airquality$Wind))
mean(airquality$Temp[airquality$Month == 7])
mean(airquality$Ozone[airquality$Month ==5], na.rm=T)
sum(airquality$Ozone>100, na.rm=T)

연습문제 05

str(swiss)
swiss[swiss$Agriculture == max(swiss$Agriculture), ]
swiss[order(swiss$Agriculture, decreasing = T),]
subset(swiss$Agriculture, swiss$Catholic >=80)
subset_data <- subset(swiss, Examination < 20 & Agriculture < 50)
data.frame(
  Region = rownames(subset_data),
  Examination = subset_data$Examination,
  Agriculture = subset_data$Agriculture
)

[LeetCode] 리트허브 폴더 수정하기, 백준허브처럼 상위 폴더 만들기

별수호자룰루 — Mon, 21 Apr 2025 18:04:19 +0900

야심차게 리트허브를 설치하고 커밋을 했는데...

이렇게 생성된다....

내가 원한건

코딩 연습 폴더 하위에 백준, 프로그래머스, 리트코드 이렇게 있고, 각 폴더마다 문제가 들어가는 형태를 원했는데...

찾아보니까 나같은 문제를 겪으신 고수님들이 방법을 아주아주 친절하게 설명해주셨다.

깃헙 잘 쓸 줄 모르는 나도 설치하였으니 다들 잘 따라하면 가능할듯!

https://github.com/raphaelheinz/LeetHub-3.0

GitHub - raphaelheinz/LeetHub-3.0: Automatically push your LeetCode solutions to your GitHub repository

Automatically push your LeetCode solutions to your GitHub repository - raphaelheinz/LeetHub-3.0

github.com

일단 내가 사용한 건 리트허브 ver 3이다.

이게 제일 최신버전 같아서 이걸로 시도했다.

readme를 보면, 아래처럼 매뉴얼하게 설치하는 방법이 있는데 이걸 그대로 따라하면 된다.

1단계: GitHub OAuth 앱 만들기

링크로 이동: https://github.com/settings/applications/new
아래 항목을 입력:
- Application name: 원하는 이름 (예: MyLeetHub)
- Homepage URL: https://github.com/raphaelheinz/LeetHub-3.0
- Authorization callback URL: https://github.com/
완료되면 CLIENT_ID와 CLIENT_SECRET이 생성되는데 메모장에 기록해두기
- 저는 이 과정에서 CLIENT_SECRET이 없어서 옆에 새로 만들기 버튼 클릭해서 새로 받았어요

2단계: 프로젝트 다운로드

링크로 이동: https://github.com/raphaelheinz/LeetHub-3.0
이건 해당링크에 있는걸 매뉴얼하게 zip파일로 다운받거나 git 클론을 하심 되는데 저는 git clone을 하였어요
cmd를 여시고 아래를 입력해줍니다.

git clone https://github.com/raphaelheinz/LeetHub-3.0

디렉터리를 이동하지 않고 그냥 설치해서 저는 C 드라이브에 설치가 되었습니다!

3단계

압축을 푼 폴더로 이동

cd LeetHub 3.0

다음 명령어 실행

npm run setup

했는데 글쎄 저는 이런게 뜨지 뭐에요.

이게 뭔소리야 싶어서 영원한 친구 gpt에서 물어봤더니 Node.js가 없어서 그렇다네요?

그래서 Node.js 를 설치하러 출발했답니다.

4단계: Node.js 설치 후 다시 시도

https://nodejs.org/en

Node.js — Run JavaScript Everywhere

Node.js® is a JavaScript runtime built on Chrome's V8 JavaScript engine.

nodejs.org

잘 몰라서 그냥 디폴트 세팅으로 설치했어요.

이제 다시 한번 시도해볼건데요. 기존 cmd 창을 닫고 새로 시작한 뒤에, 디렉터리를 다시 leethub로 옮겨준 후 npm 명령어를 다시 시도했더니 되더라구요! (잘 하고 있는거 맞나..)

5단계: OAuth 정보 설정

이제 코드파일을 열어서

src/js/authorize.js
src/js/oauth2.js

이 두 파일 안에 있는 클라이언트 아이디와 시크릿 부분을 수정했어요.

6단계: leetcode.js 파일 내용 수정

이번엔 leetcode.js 파일을 열어서 const URL 부분에 있는 경로를 수정해줄거에요.

근데 봤더니 여기 왜 주석처리 되어 있을까요..?

수정을 도대체 어디를 해야하는걸까아....?

고민하다가 같은 파일에서 constructGitHubPath 함수를 정의한 부분을 발견했다.

냅다 리트코드 추가. 이거 해보고 되는지 안되는지 알려드릴게요 여러분들

추가할만한 곳이 저기밖에 없었다....제발 되었으면 좋겠네요..

아무튼 저장을 하고~

7단계: 개발자모드에서 확장프로그램 로드하기

크롬브라우저에서 오른쪽 상단 퍼즐 모양 버튼을 누르면 확장프로그램이 열리는데,

거기서 개발자 모드를 체크해준다.

요렇게!

그리고 저 압축해제된 확장프로그램을 로드합니다. 를 눌러준다.

LeetCode 3.0 디렉터리를 찾아 클릭해주면!!!

오 일단 뭔가 추가가 되긴 되었다.

리트코드에서 문제를 한번 풀어봤다.

저렇게 LeetCode 폴더가 생겼고, 폴더를 열어보면

흐어어엉 내가 원하는대로 그 하위로 각 문제 풀이들이 들어가있다ㅠㅠㅠㅠ엉엉

제가 참고한 고수님의 블로그는 아래 블로그입니다.

내 코드가 성공했을 때, 문제와 코드가 github에 자동 푸시되도록 만들기 (LeetCode, 백준, 프로그래

- 한 레포에 모든 코테 결과 오토푸시하기 LeetCode(LeetHub) + 백준, 프로그래머스(백준허브)서론쉴때는 쉬어야지그치만 할때는 해야한다 (?) 주로 책, 노트와 펜으로 공부를 해서 대부분의 기록들은

www.nosilv.com

근데 여기에서는 바로 링크를 수정하셨는데,, 제가 수정하려고 보니 저는 함수로 들어가 있어서 저는 함수를 수정했다는 점이 달라요!

[R] 패키지 다운로드 시 오류 SSL connect error, packages are not available for this version of R / 패키지 수동설치하기

별수호자룰루 — Thu, 20 Mar 2025 18:29:08 +0900

R을 설치하고 install.package("tidyverse")를 했는데

> install.packages("tidyverse")
Warning: unable to access index for repository https://cran.yu.ac.kr/src/contrib:
  cannot open URL 'https://cran.yu.ac.kr/src/contrib/PACKAGES'
Warning: unable to access index for repository https://cran.yu.ac.kr/bin/windows/contrib/4.4:
  cannot open URL 'https://cran.yu.ac.kr/bin/windows/contrib/4.4/PACKAGES'
Warning message:
package 'tidyverse' is not available for this version of R

A version of this package for your version of R might be available elsewhere,
see the ideas at
https://cran.r-project.org/doc/manuals/r-patched/R-admin.html#Installing-packages

이런 오류가 생기는 것이다.

CRAN 페이지에서 패키지 이름 확인 및 재설치 시도

https://cran.yu.ac.kr/web/packages/available_packages_by_name.html

CRAN: Available Packages By Name

cran.yu.ac.kr

여기에 들어가면 패키지 이름들이 정렬이 되어 있는데, 내가 설치하려고 하는 패키지를 찾아봤다.

tidyverse를 찾아 클릭해보면 해당 패키지에 대한 설명이 나온다.

호환되는 R 버전은 3.3 이상이라는데.. 근데 내 R은 4.4.3이라고....

이렇게 아래쪽을 보면 패키지 소스가 있다. 이걸 활용해서 다시 install해보기로 했다.

하이퍼링크 된 부분에 마우스우클릭하면 링크 복사가 되는데 이걸로 경로를 직접 설정해서 다운로드를 시도해봤다.

install.packages("https://cran.yu.ac.kr/src/contrib/tidyverse_2.0.0.tar.gz", repos=NULL, type="source")

install.packages("https://cran.yu.ac.kr/bin/windows/contrib/4.4/tidyverse_2.0.0.zip", repos = NULL, type = "win.binary")

이렇게. 근데 또 오류남.

CRAN 미러를 글로벌로 바꿔보기도 하고 먼나라이웃나라 가리지 않고 바꿔보고

zip파일로도 경로를 바꿔보고 온갖 짓을 다 했는데도 다운로드가 안되었다.

그리고 깨달았다. 내가 문제가 아니라는걸.

In download.file(p, destfile, method, mode = "wb", ...) :
  URL 'https://cran.yu.ac.kr/src/contrib/tidyverse_2.0.0.tar.gz': status was 'SSL connect error'

SSL 연결문제로 다운로드가 불가능하다고 하는 메시지가 출력됐다. 회사 네트워크라 차단되는 것 같다.

내맘대로 SSL 인증 비활성화를 할 수는 없어서...선택한 방법.

R 패키지가 회사 네트워크라 설치가 안되시는 분들은 이렇게 해보세요~~~!

패키지 수동설치

1. 아까 그 패키지 이름 목록으로 들어간다.

2. 원하는 패키지를 클릭 후 zip 파일을 내 컴퓨터에 다운로드 한다.(윈도우 기준)

3. 다운로드한 경로를 복사해서 install 다시 시도

install.packages("C:/Users/user/Downloads/tidyverse_2.0.0.zip", repos = NULL, type = "win.binary")

이렇게 경로 부분에 내가 다운로드한 파일의 경로를 지정해주면~~~~!

드디어 다운로드 완료했다.. 진짜 이렇게 하나하나 설치해줘야한다고,,,? 진짜..? 하...

4. zip파일을 R라이브러리에 다운받아놓고 압축을 푸는 방법도 시도해봤다.

이렇게 압축폴더를 다운받아놓고 압축을 해제한뒤에 라이브러리 불러오기를 해봤다.

된다!!! 이게 차라리 편할지도...

하나하나 필요한 거 압축해제하다보면 언젠가는 필요한 패키지를 모두 얻게 되지 않을까.

혹시 더 효율적인 방법을 알고 있는 분이 계시다면 제발 꼭 저에게 알려주세요.

[Python] parallel_apply() 함수 사용 시 pandas import 문제 해결 : NameError: not defined error

별수호자룰루 — Tue, 4 Feb 2025 10:04:58 +0900

혼자 공부하면서 작성하는 글입니다. 더 효율적인 해결방법이 있거나 오류가 있다면 댓글 남겨주세요~!

Parallel_apply() 사용 시 NameError 해결 1

parallel 함수를 사용하며 worker 프로세스에서도 모듈을 정의해줘야 한다는 사실을 알았다.

처음에 코드를 다음과 같이 작성했는데, NameError: re not defined가 떴다. 분명 처음에 import를 했는데.

#에러코드
def remove_one_char_words(text):
    cleaned_text = re.sub(r'\b[가-힣]\b', '', text)
    cleaned_text = re.sub(r'\s+', ' ', cleaned_text).strip()
    
    return cleaned_text

df['cleaned'] = df['split_sentence'].parallel_apply(remove_one_char_words)

그래서 찾아보니까 worker프로세스에서는 메인프로세스에서 import한 전역변수를 공유하지 않는다고..2가지 방법을 사용할 수 있을 것 같더라.

1. 함수 내부에서 모듈 import

2. 전체 모듈이 있는 스크립트 실행('__main__')

노트북 파일로 작업하고 있어서 2번도 가능할 것 같지만 그냥 간단하고 확실한 방법을 선택했다.

#해결 코드
def remove_one_char_words(text):
    import re
    cleaned_text = re.sub(r'\b[가-힣]\b', '', text)
    cleaned_text = re.sub(r'\s+', ' ', cleaned_text).strip()
    
    return cleaned_text

df['cleaned'] = df['split_sentence'].parallel_apply(remove_one_char_words)

짜잔 초심플 해결 완

근데 또 다른 문제가 발생했다.

Parallel_apply() 사용 시 NameError 해결 2

이렇게 Okt도 임포트해주고 당연히 될거라고 생각했는데..!

#에러코드
def tokens_sep(text, stopwords= stopword_path):
    from konlpy.tag import Okt
    
    okt = Okt()
    tags = okt.pos(text, stem=True)
    
    nouns = [word for word, tag in tags if tag =='Noun']
    verbs = [word for word, tag in tags if tag == 'Verb']
    adjs = [word for word, tag in tags if tag == 'Adjective']
    
    return nouns, verbs, adjs

df[['nouns', 'verbs', 'adjs']] = df['cleaned'].parallel_apply(lambda x:pd.Series(tokens_sep(x), index=['nouns','verbs', 'adjs']))

NameError: name 'pd' is not defined 라는 에러가 떴다.

람다식 안에, 만들어진 리스트를 시리즈로 가지고 오는 작업을 했는데 요기서 pandas를 가져오지 못했다. 우씨.

그래서 이건 그냥 반환값을 시리즈로 바로 하도록 수정해줬다.~~메인함수를 만들면 이럴 일이 없을텐데..~~

#수정코드
def tokens_sep(text, stopwords= stopword_path):
    import pandas as pd
    from konlpy.tag import Okt
    
    okt = Okt()
    tags = okt.pos(text, stem=True)
    
    nouns = [word for word, tag in tags if tag =='Noun']
    verbs = [word for word, tag in tags if tag == 'Verb']
    adjs = [word for word, tag in tags if tag == 'Adjective']
    
    return pd.Series({'nouns': nouns, 'verbs':verbs, 'adjs':adjs})

df[['nouns', 'verbs', 'adjs']] = df['cleaned'].parallel_apply(tokens_sep)

이제 잘 된다!

앞으로 요런 오류가 발생하면,

간단한 작업이면 그냥 함수 내에 모듈 임포트 하고 이 외에는 메인함수를 만들면 좋을 것 같다.

[논문 - 빅데이터] 빅데이터를 활용한 스마트 관광도시 사례 분석 연구: 제주특별자치도 관광객 데이터를 중심으로

별수호자룰루 — Wed, 22 Jan 2025 16:16:31 +0900

개인적으로 읽으며 정리한 내용입니다. 자세한 내용은 원문에서 확인하세요!

논문 정보

문준환, 김성현, 노희섭 and 구철모. (2019). 빅 데이터를 활용한 스마트 관광 도시 사례 분석 연구: 제주특별자치도 관광객 데이터를 중심으로. 경영정보학연구, 21(2), 1-27.

https://www.kci.go.kr/kciportal/ci/sereArticleSearch/ciSereArtiView.kci?sereArticleSearchBean.artiId=ART002472477

빅 데이터를 활용한 스마트 관광 도시 사례 분석 연구: 제주특별자치도 관광객 데이터를 중심으

정보기술의 발전으로 스마트한 관광서비스가 가능해졌는데, 관광산업이 기존 산업 범위를 벗어나 다른 산업과 융합을 통해 새로운 비즈니스 모델이 지속적으로 창출되기 위해서는 관광객들의

www.kci.go.kr

요약

제주도 스마트 관광 활성화 방안을 제시하고자 제주도 관광객 데이터를 이용하여 최근 관광객의 소비지출 특성과 빠르게 변화하는 관광트렌드 분석

1. 내국인과 중국인 관광객의 질적 성장을 위한 정책 방향 제시

- 분석 내용: 내국인과 중국인 관광객의 소비 분석(업종 및 주요 관광테마별 구분/단체와 개별 관광 유형 구분)

데이터 상세

내국인, 중국인 카드 데이터

업종별 카드 이용 데이터

주요 관광업종 인당 이용금액

주요 관광테마 건당, 인당 금액

단체 개별 관광객 소비데이터

업종별 건당, 인당 이용금액

제주 전체 업종별 건당, 인당 금액

2. 제주도 지역별 소비 및 이동경로 분석을 통한 관광현황 파악

- 분석내용: 지역별 관광객의 소비 분석(주요 지역별 구분, 업종에 따른 구분, 시간대별 관광객 소비 현황)

데이터 상세

내국인, 중국인 카드 데이터

업종별 카드 이용 데이터

주요 관광업종 인당 이용금액

지리적 지역 구분 데이터

카드 이용자 유형별 이용금액

업종별 카드 이용 데이터

시간대별 카드 이용 데이터

3. 주요 관광지 및 상권 소비현황 분석

- 분석내용: 주요 상업지구 단위 소비 분석(주요 관광지 및 상권 구분, 주요 상권별 소비 현황)

데이터 상세

관광지 및 상업지구 단위 구분 데이터

카드 이용자 유형별 이용금액

업종별 카드 이용 데이터

데이터

신용카드: 2016년 9월 ~2017년 8월

- 제주도민, 내국인 관광객(거주지가 제주도가 아님), 중국인 관광객으로 분류

-업종: 교통, 문화레저, 쇼핑소매, 숙박, 식음료, 유흥

이동경로: 2016년 12월 2017년 12월

주요 분석 결과

소비 패턴: 제주를 방문한 관광객의 소비 패턴은 중국인 관광객이 차지하는 비중이 크고, 특히 북부 지역의 면세점과 공항 등에서 소비가 집중된다. 중국인 관광객은 쇼핑 및 소매 분야에서 높은 소비를 보이며, 다른 지역에서 소비가 적다. 이를 해결하기 위해 중국인 관광객을 위한 인프라 개선과 다양한 프로모션이 필요하다.
관광객 유형별 소비 차이: 내국인과 중국인 관광객은 소비 분야가 다르다. 내국인은 유흥, 숙박, 소매에서 많은 소비를 보이고, 중국인은 쇼핑과 숙박에 집중한다. 특히 중국인 단체 관광객은 문화/레저 분야에서 큰 지출을 보인다.
스마트 관광 활성화: 제주도는 비콘 장치와 공공 와이파이를 통해 스마트 관광 환경을 구축하고 있으며, 이를 바탕으로 더욱 정교한 빅데이터 분석을 통해 관광객의 세부 이동경로를 파악하고, 다양한 서비스를 제공할 필요가 있다.

시사점

쇼핑관광 활성화: 제주도를 쇼핑 관광지로 자리매김하고, 중국인 관광객을 유치하기 위한 다양한 쇼핑 콘텐츠와 인프라 개선이 필요하다.
교통 인프라 개선: 제주도의 대중교통이 외국인 관광객에게 불편할 수 있어, 대중교통 인프라를 개선하고 외국어 표기 등을 강화해야 한다.
지역별 맞춤형 관광 상품 개발: 관광객 특성에 맞는 맞춤형 관광 상품과 정책을 개발하여, 지역별 특성에 맞는 소비 유도를 해야 한다.

개인적으로 궁금한 점

숙박의 경우 대부분 숙박 예약 어플리케이션(네이버, 야놀자, 여기어때, 아고다 등)을 활용하는 경우가 많을 텐데 이런 부분은 어떻게 처리했는지 궁금하다는 생각을 했다. 카드 결제에는 해당 숙박업체가 아니라 플랫폼명으로 뜰텐데 제주에서 숙박했는지 안했는지 어떻게 알았을까??

[스파크 완벽 가이드] 2장. 스파크 간단히 살펴보기(2)

별수호자룰루 — Tue, 17 Dec 2024 19:43:20 +0900

※ 혼자 책보고 공부하면서 적는거라 틀린 부분 있으면 댓글로 알려주세요!

YES24구매링크 - 별 의도는 없고 그냥 제가 예사에서 구매했어요...

스파크 완벽 가이드 - 예스24

스파크 창시자가 알려주는 스파크 활용과 배포, 유지 보수의 모든 것 오픈소스 클러스터 컴퓨팅 프레임워크인 스파크의 창시자가 쓴 스파크에 대한 종합 안내서이다. 스파크 사용법부터 배포,

www.yes24.com

CHAP2. 스파크 간단히 살펴보기(2) - 종합예제

데이터 다운로드는 여기서

1. 스파크로 데이터 읽어오기

spark.read: Spark의 DataFrameReader를 사용해 데이터를 읽을 준비
.option("inferSchema", "true"): CSV 파일의 각 열에 대한 데이터 타입을 자동으로 추론하여 읽어옴
.option("header", "true"): 첫 번째 줄을 컬럼 이름으로 인식

flight_data_2015 = spark.read.option("inferSchema", "true").
				   option("header", "true").
                   csv("#파일경로")

여기까지만 하면 당연히 아무일도 안일어나기 때문에 액션을 호출해야 한다.

2. take 액션 호출하기

flight_data_2015.take(3)

3. explain 메서드를 호출하여 스파크의 실행계획 읽어보기

flight_data_2015.sort("count").explain()
#count 열을 기준으로 오름차순으로 정렬한 후, 그 실행 계획을 출력

구체적인 실행계획을 챗GPT와 함께 뜯어봤다.

위에서 아래 방향으로 읽으며, 최종 결과는 가장 위, 데이터 소스는 가장 아래에 있다.

isFinalPlan=false: 현재 실행 계획이 최종이 아니라는 의미임. Spark가 실행 중에 이 계획을 조정할 수 있음
+-Sort[count#39 ASC NULLS FIRST], true, 0
- sort: 데이터를 정렬하는 연산
- count#39 : count라는 열의 39번째 컬럼으로, 컬럼 ID임
- ASC NULLS FIRST: 정렬 기준은 오름차순(ASC), Null값을 먼저 오도록 조정
- 0: 정렬 버퍼 크기, 기본 정렬 방식 적용
Exchange rangepartitioning(count#39 ASC NULLS FIRST, 200), ENSURE_REQUIREMENTS,[plan_id=99]
- Exchage: 데이터 교환
- rangepartitioning(): count열을 기준으로 범위 파티셔닝을 하여 200개 파티션으로 나눔. 이때 count컬럼을 기준으로 정렬된 상태로 데이터가 나누어짐
- ENSURE_REQUIREMENTS: 필요한 파티션 수를 보장하기 위함
- plan_id = 99 실행 계획의 고유 ID
+- FileScan csv [DEST_COUNTRY_NAME#37, ORIGIN_COUNTRY_NAME#38, count#39] Batched: false, DataFilters: [], Format: CSV, Location: InMemoryFileIndex(1 paths)[file:/D:/Spark_practice/2015-summary.csv], PartitionFilters: [], PushedFilters: [], ReadSchema: struct<DEST_COUNTRY_NAME:string,ORIGIN_COUNTRY_NAME:string,count:int>
- filescan csv: csv 파일을 읽어옴. []안의 열을 읽음
- Batched: false는 배치 방식으로 읽지 않고, 각 레코드를 즉시 처리
- Location~ : CSV파일의 경로를 나타냄, 파일이 메모리에 로드 된 상태임
- ReadSchema: 데이터를 읽을 때 사용할 스키마을 정의함. 여기서는 3개 컬럼이 정의되어 있는 걸 <>안에서 확인 가능

4. 트랜스포메이션 추가해보기

스파크는 셔플 실행 시 기본적으로 200개의 셔플 파티션이 생성됨. 값을 조정하여 파티션 수를 줄일 수 있음.

spark.conf.set(): Spark의 설정 값을 변경해서 실행환경을 세팅할 수 있다.
"spark.sql.shuffle.partitions": 셔플 시 파티션의 개수를 설정한다. 본 예제에선 5개의 파티션으로 나누어 처리

spark.conf.set("spark.sql.shuffle.partitions","5")
flight_data_2015.sort("count").take(2)

파티션 값을 200으로도 변경해봤다. 런타임이 달라진다곤 하는데 데이터가 작아서 그런지 딱히 차이는 못느꼈다.

DataFrame과 SQL을 사용하는 복잡한 작업

스파크는 언어에 상관없이 같은 방식으로 트랜스포메이션을 실행한다.

스파크 SQL을 사용하면 모든 Dataframe을 테이블이나 뷰로 등록 후 SQL쿼리를 사용할 수 있다.

flight_data_2015.createOrReplaceTempView("flightData2015")
#createorreplacetempview를 호출하면 테이블/뷰로 만들 수 있음

SQL과 Dataframe의 처리 방식이 어떻게 다른지 확인해봤다.

1. 각 목적지 국가별로 개수 세기

sql_way와 df_way가 실행계획이 완전히 똑같다. 개인적으로는 SQL쓴지 너무 오래되어서,, 데이터프레임 방식이 조금 더 편했던 것 같다.

2. 상위 5개의 도착 국가 찾아내기(max함수)

max함수는 특정 컬럼값을 스캔하면서 이전 최댓값보다 더 큰 값을 찾아내는 트랜스포메이션이다.

요건 SQL방식. SQL이 익숙하면 이 방식이 편한 것 같다. 문제는 SQL한지가... 반년 넘어서 다 희미하게 남아있다는 것.

그래서 데이터프레임 구문으로 똑같은 걸 해봤다.

이렇게 써놓고 보니까 SQL이 더 나은 것 같기도 하고.. 편한 걸로 선택하면 되지 않을까 싶다.

+ 캡쳐를 못했는데 explain()으로 확인한 실행계획과 내가 쓴 코드 간의 차이가 좀 나는 것 같다.

아무튼 이렇게 아파치 스파크 기초 정리가 끝났다. 매번 말로만 스파크 스파크 했지 실제로 요렇게 해 보는 건 처음인데, 생각보다 괜찮았던 것 같다. 그리고 cmd로 하니까 눈아프다,, 조만간 vscode에 spark설치해서 거기서 연습해봐야겠다..