import pandas as pd
import numpy as np
import seaborn as sns
import matplotlib.pyplot as plt

plt.rc("font", family = "Malgun Gothic")
plt.rc("axes", unicode_minus=False)

from IPython.display import set_matplotlib_formats
set_matplotlib_formats("retina")

df0 = pd.read_csv("./6110000_서울특별시_03_05_05_P_인터넷컴퓨터게임시설제공업.csv", encoding="cp949")
df1 = pd.read_csv("./6110000_서울특별시_03_05_06_P_일반게임제공업.csv", encoding="cp949")
df2 = pd.read_csv("./6110000_서울특별시_03_05_07_P_청소년게임제공업.csv" ,encoding="cp949")
df3 = pd.read_csv("./6110000_서울특별시_03_06_01_P_공연장.csv" ,encoding="cp949")
df4 = pd.read_csv("./6110000_서울특별시_03_09_01_P_노래연습장업.csv" ,encoding="cp949")
df5 = pd.read_csv("./6110000_서울특별시_03_11_03_P_숙박업.csv" ,encoding="cp949")
df6 = pd.read_csv("./6110000_서울특별시_03_12_02_P_국외여행업.csv" ,encoding="cp949")
df7 = pd.read_csv("./6110000_서울특별시_05_18_01_P_미용업.csv" ,encoding="cp949")
df8 = pd.read_csv("./6110000_서울특별시_05_19_01_P_이용업.csv" ,encoding="cp949")
df9 = pd.read_csv("./6110000_서울특별시_06_20_01_P_세탁업.csv" ,encoding="cp949")
df10 = pd.read_csv("./6110000_서울특별시_07_22_18_P_제과점영업.csv" ,encoding="cp949")
df11 = pd.read_csv("./6110000_서울특별시_07_23_01_P_단란주점영업.csv" ,encoding="cp949")
df12 = pd.read_csv("./6110000_서울특별시_07_23_02_P_유흥주점영업.csv" ,encoding="cp949")
df13 = pd.read_csv("./6110000_서울특별시_07_24_04_P_일반음식점.csv" ,encoding="cp949")
df14 = pd.read_csv("./6110000_서울특별시_07_24_05_P_휴게음식점.csv" ,encoding="cp949")
df15 = pd.read_csv("./6110000_서울특별시_08_26_02_P_방문판매업.csv" ,encoding="cp949")
df16 = pd.read_csv("./6110000_서울특별시_10_31_01_P_골프연습장업.csv" ,encoding="cp949")
df17 = pd.read_csv("./6110000_서울특별시_10_31_03_P_등록체육시설업.csv" ,encoding="cp949")
df18 = pd.read_csv("./6110000_서울특별시_10_32_01_P_당구장업.csv" ,encoding="cp949")
df19 = pd.read_csv("./6110000_서울특별시_10_41_01_P_체육도장업.csv" ,encoding="cp949")
df20 = pd.read_csv("./6110000_서울특별시_10_42_01_P_체력단련장업.csv" ,encoding="cp949")

cols = ["개방서비스명", "인허가일자", "영업상태명", "상세영업상태명", "폐업일자", 
        "소재지전체주소", "도로명전체주소", "사업장명", "좌표정보(x)", "좌표정보(y)"]
df0 = df0[cols].copy()
df1 = df1[cols].copy()
df2 = df2[cols].copy()
df3 = df3[cols].copy()
df4 = df4[cols].copy()
df5 = df5[cols].copy()
df6 = df6[cols].copy()
df7 = df7[cols].copy()
df8 = df8[cols].copy()
df9 = df9[cols].copy()
df10 = df10[cols].copy()
df11 = df11[cols].copy()
df12 = df12[cols].copy()
df13 = df13[cols].copy()
df14 = df14[cols].copy()
df15 = df15[cols].copy()
df16 = df16[cols].copy()
df17 = df17[cols].copy()
df18 = df18[cols].copy()
df19 = df19[cols].copy()
df20 = df20[cols].copy()

df0.shape

df = pd.concat([df0, df1, df2, df3, df4, df5, df6, df7, df8, df9, df10, df11, df12, df13, df14, df15, df16, df17, df18, df19, df20])

df.shape

df.to_csv("seoul_financial.csv", index=False)

df = pd.read_csv("./seoul_financial.csv")
df.info()

# 폐업일자 숫자화 및 이상치 제거 / 20210202=분석 및 데이터 다운로드일 기준, 2010년 이후 폐업 데이터로  df_seoul 생성

df["폐업일자상세"] = pd.to_numeric(df["폐업일자"], errors='coerce')
df_seoul = df[(df["폐업일자상세"] < 20210202.0) & (df["폐업일자상세"] > 20100000.0) | (df["폐업일자상세"].isnull()) ].copy()
df_seoul["폐업일자상세"].max()

df_seoul.shape

df_seoul.sample(10)

# 페업연도 columns 추가 / 정규표현식 이용 / null값은 그대로.

import re
                
def make_date_year(date):
    if pd.isnull(date):
        return date
    
    date = re.sub("(\d{4})(\d{4}.\d)", r"\1", date)
    
    return date

make_date_year(np.nan)

df_seoul["폐업연도"] = df_seoul["폐업일자상세"].astype('str')
df_seoul["폐업연도"] = df_seoul["폐업연도"].map(make_date_year)
df_seoul["폐업연도"].head()

df_seoul.groupby(["개방서비스명","폐업연도"])["사업장명"].count().unstack().round()

# 폐업 연도 별 폐업업장 총합 비교

pd.pivot_table(df_seoul, index=["폐업연도"], values=["사업장명"], aggfunc='count')

# 폐업한 업장 데이터 (폐업한 영업장만)

df_seoul_closed = df_seoul[(df_seoul["폐업일자상세"].notnull()) & (df_seoul["인허가일자"].notnull())].copy()
df_seoul_closed.sample(10)

def make_date(date):
    
    a = date[:4]
    b = date[4:6]
    c = date[6:8]
    a = float(a)
    b = float(b)
    c = float(c)
    
    date = a * 365 + b * 30 + c
    
    return date

# 인허가일자, 폐업일자 전처리하여 영업일수 비교 준비.
df_seoul_closed["폐업일자상세"] = df_seoul_closed["폐업일자상세"].astype('str')
df_seoul_closed["폐업일자상세"] = df_seoul_closed["폐업일자상세"].map(make_date)

# 전처리 1
df_seoul_closed = df_seoul_closed.reset_index()
df_seoul_closed = df_seoul_closed.drop(["index"], axis=1)

# 전처리 2
idx = df_seoul_closed[df_seoul_closed["사업장명"] == '유니베라관악대리점'].index
df_seoul_closed = df_seoul_closed.drop(idx)

df_seoul_closed.loc[221623]

# 인허가 일자 계산 가능하게 전처리3
df_seoul_closed["인허가일자(전처리)"] = pd.to_numeric(df_seoul_closed["인허가일자"])
df_seoul_closed["인허가일자(전처리)"] = df_seoul_closed["인허가일자(전처리)"].astype('str')
df_seoul_closed["인허가일자(전처리)"] = df_seoul_closed["인허가일자(전처리)"].map(make_date)

# '영업일수' 컬럼 생성
df_seoul_closed["영업일수"] = df_seoul_closed["폐업일자상세"] -  df_seoul_closed["인허가일자(전처리)"]

df_seoul_closed["영업일수"].sample(10)

# 전처리한 데이터 저장.
df_seoul_closed.to_csv("seoul_closed.csv", index=False)

# 각 년도에 폐업한 업장의 데이터 분류 (영업일수 비교 위해) (자영업의 대표격인 일반음식점 및 휴게음식점을 살펴본다.)
df_2020 = df_seoul_closed[(df_seoul_closed["폐업연도"] == "2020") & (df_seoul_closed["개방서비스명"].str.contains("음식점"))]
df_2019 = df_seoul_closed[(df_seoul_closed["폐업연도"] == "2019") & (df_seoul_closed["개방서비스명"].str.contains("음식점"))]
df_2018 = df_seoul_closed[(df_seoul_closed["폐업연도"] == "2018") & (df_seoul_closed["개방서비스명"].str.contains("음식점"))]
df_2017 = df_seoul_closed[(df_seoul_closed["폐업연도"] == "2017") & (df_seoul_closed["개방서비스명"].str.contains("음식점"))]
df_2016 = df_seoul_closed[(df_seoul_closed["폐업연도"] == "2016") & (df_seoul_closed["개방서비스명"].str.contains("음식점"))]

a = round(df_2020["영업일수"].mean()), b = round(df_2020["영업일수"].median())

c = round(df_2019["영업일수"].mean()), d = round(df_2019["영업일수"].median())

e = round(df_2018["영업일수"].mean()), f = round(df_2018["영업일수"].median())

g = round(df_2017["영업일수"].mean()), h = round(df_2017["영업일수"].median())

i = round(df_2016["영업일수"].mean()), j = round(df_2016["영업일수"].median())

print(a , b)
print(c , d)
print(e , f)
print(g , h)
print(i , j)

df_compare = pd.concat([df_2016, df_2017, df_2018, df_2019, df_2020])

plt.figure(figsize=(10,3))
sns.violinplot(data=df_compare, x='폐업연도', y="영업일수")

# 인허가연도
df_seoul["인허가연도"] = pd.to_numeric(df_seoul["인허가일자"], errors='coerce')
df_seoul["인허가연도"] = df_seoul["인허가연도"].astype('str')
df_seoul["인허가연도"] = df_seoul["인허가연도"].map(make_date_year)

df_seoul["인허가연도"].sample(10)

df_seoul["인허가연도(전처리)"] = pd.to_numeric(df_seoul["인허가연도"], errors='coerce')
df_seoul_open = df_seoul[(df_seoul["인허가연도(전처리)"] > 2010.0) & (df_seoul["인허가연도(전처리)"] < 2021.0)].copy()
df_seoul_open.groupby(["개방서비스명", "인허가연도(전처리)"])["사업장명"].count().unstack().round()

pd.pivot_table(df_seoul_open, index=["인허가연도(전처리)"], values=["사업장명"],aggfunc='count')

df_2020_open = df_seoul[df_seoul["인허가연도"] == "2020"]
g = df_2020_open.groupby(["개방서비스명"])["사업장명"].count()

g = g.sort_values(ascending=False)
g.plot.bar(rot=30, figsize=(10,3))

df_2020_oc = df_seoul[(df_seoul["인허가연도"] == "2020") & (df_seoul["폐업연도"] == "2020")]

pd.pivot_table(df_2020_oc, index=["개방서비스명"], values=["사업장명"],aggfunc='count')

# 전처리

df_food = pd.concat([df13, df14])

food_cols = ["개방서비스명","업태구분명","인허가일자", "영업상태명", "상세영업상태명", "폐업일자", 
        "소재지전체주소", "도로명전체주소", "사업장명", ]

df_food = df_food[food_cols].copy()
df_food.head()

# 전처리2
df_food["폐업일자상세"] = pd.to_numeric(df_food["폐업일자"], errors='coerce')
df_food = df_food[(df_food["폐업일자상세"] < 20210202.0) & (df_food["폐업일자상세"] > 20100000.0) | (df_food["폐업일자상세"].isnull()) ].copy()

df_food["폐업연도"] = df_food["폐업일자상세"].astype('str')
df_food["폐업연도"] = df_food["폐업연도"].map(make_date_year)

df_food_2020 = df_food[df_food["폐업연도"] == "2020"]
f = pd.pivot_table(df_food_2020, index=["업태구분명"], values=["사업장명"],aggfunc='count')
f = f.sort_values(by='사업장명', ascending=False)
f[:7]

# 전처리
df_seoul['도로명전체주소'] = df_seoul['도로명전체주소'].fillna(df_seoul['소재지전체주소'])
df_seoul['도로명전체주소'].isnull().sum()

df_seoul["지역구"] = df["도로명전체주소"].str.split(' ', expand=True)[1] #띄어쓰기로 나눈다 기본적으로/ expand=True 컬럼기준으로
df_seoul["지역구"].head()

df_seoul["지역구"].unique()

# 전처리(서울에 있는 구만 선택)
gu = r'.*((종로|중|용산|성동|광진|동대문|중랑|성북|강북|도봉|노원|은평|서대문|마포|양천|강서|구로|금천|영등포|동작|관악|서초|강남|송파|강동)구).*'

df_seoul_gu = df_seoul[df_seoul["지역구"].str.match(gu, na=False)]
df_seoul_gu.shape

# 업종이 음식점인 2010년 이후 폐업하거나 영업중인 업장 데이터
df_seoul_gu = df_seoul_gu[df_seoul_gu["개방서비스명"].str.contains("음식점")]
df_seoul_gu.shape

# 업종이 음식점인 2010년 이후 폐업한 업장 데이터.

df_seoul_gu_closed= df_seoul_gu[(df_seoul_gu["개방서비스명"].str.contains("음식점")) & (df_seoul_gu["폐업일자상세"].notnull())]

t = pd.pivot_table(df_seoul_gu_closed, index="지역구", columns="폐업연도", values="사업장명", aggfunc="count").round()

plt.figure(figsize=(12, 7))
sns.heatmap(t, cmap="Blues", annot=True, fmt=".0f")

df_2020_gu = df_seoul_gu_closed[df_seoul_gu_closed["폐업연도"]== "2020"]
df_2020_gu["지역구"].value_counts()

# barplot을 통한 가시화
d2g = df_2020_gu.groupby(["지역구"])["사업장명"].count()
d2g = d2g.reset_index()
plt.figure(figsize=(15, 4))
sns.barplot(data=d2g, x="지역구", y="사업장명")