Heeh

DataFrame.shift(periods=1, freq=None, axis=0, fill_value=NoDefault.no_default)

shift메서드는 시계열 데이터의 데이터나 인덱스를 원하는 기간만큼 쉬프트 하는 메서드 입니다.
freq 인수를 입력하지 않으면 데이터가 이동하고, 인수값을 입력하게되면 인덱스가 freq값 만큼 이동하게됩니다.

사용법

df.shift(periods=1, freq=None, axis=0, fill_value=NoDefault.no_default)
periods : 이동할 기간입니다.
freq : 입력 할 경우 인덱스가 이동하게 됩니다. Y, M, D, H, T, S 나 Timestamp, 'Infer'등이 올 수 있습니다.
fill_value : shift로 인해 생긴 결측치를 대체할 값입니다.

예시

가지고 있는 데이터를 불러옵니다.

import pandas as pd
df = pd.read_csv("../input/bigdatacertificationkr/basic2.csv")
df

df.shift(1)

행이 뒤로 한 칸 밀린 것을 확인할 수 있습니다.

df.shift(-1)

행이 앞으로 한 칸 밀린 것을 확인할 수 있습니다. (마지막 줄 NaN으로 확인)

df['previous_PV'] = df['PV'].shift(1)
df.head()

특정 컬럼을 shift 하여 새로운 컬럼을 만들 수 있습니다. 

중복행 확인 (duplicated)

DataFrame.duplicated(subset=None, keep='first')

duplicated : 중복되는 행을 확인
행의 모든 요소가 동일한 행이 이미 존재할경우 해당 행은 True로 반환

df.duplicated(subset=None, keep='first')
subset : 특정 열만을 대상으로 할 수 있습니다. list의 사용도 가능합니다.
keep : {first : 위부터 검사 / last : 아래부터 검사} 검사 순서를 정합니다. first일 경우 위부터 확인해서 중복행이 나오면 True를 반환하며, last일 경우 아래부터 확인합니다.

예시

df = pd.DataFrame({'Num':[1, 2, 1, 2, 2, 3], 
                   'Alphabet':['a', 'b', 'a', 'b', 'a', 'b']})
df

keep='first'이며 위에서부터 행을 확인하여 중복인 행이 나오면 True를 반환

print(df.duplicated(keep='first'))

keep='last'일 경우 아래부터 행을 확인하여 중복인 행이 나오면 True를 반환

print(df.duplicated(keep='last'))

 아래 행 부터 확인 하였으므로 0,1번째 행 데이터가 아래 2,3번째 행의 중복 데이터가 된다. 

subset으로 특정 열만 확인

print(df.duplicated(subset=['Alphabet']))

중복행 제거 (drop_duplicates)

DataFrame.drop_duplicates(subset=None, keep='first', inplace=False, ignore_index=False)

drop_duplicates : 내용이 중복되는 행을 제거하는 메서드

df.drop_duplicates(subset=None, keep='first', inplace=False, ignore_index=False)
subset : 중복값을 검사할 열 입니다. 기본적으로 모든 열을 검사합니다.
keep : {first / last} 중복제거를할때 남길 행입니다. first면 첫값을 남기고 last면 마지막 값을 남깁니다.
inplace : 원본을 변경할지의 여부입니다.
ignore_index : 원래 index를 무시할지 여부입니다. True일 경우 0,1,2, ... , n으로 부여됩니다.

예시

df = pd.DataFrame({'Num':[1, 2, 1, 2, 2, 3], 
                   'Alphabet':['a', 'b', 'a', 'b', 'a', 'b']})
df

df.drop_duplicates()

0,1번째 행과 중복된 2,3번재 행 제거

subset에 특정 컬럼명만 입력할 경우, 해당 열에대해서만 중복값 검사를 수행

df.drop_duplicates(subset='Num')

keep인수를 통해 남길 행 선택

keep='first'인 경우 처음 값을 남깁니다. (기본값)

df.drop_duplicates(subset='Num', keep='first')

keep='last'인 경우 마지막 값을 남깁니다.

df.drop_duplicates(subset='Num', keep='last')

추가로 ignore_index=True로 할 경우 결과값의 인덱스를 0, 1, 2, ... , n으로 설정합니다.

df.drop_duplicates(subset='Num', keep='last',ignore_index=True)

위의 결과와 동일하지만 인덱스가 바뀐 것을 볼 수 있다.

inplace 인수의 사용
Pandas 공통사항으로 inplace인수를 사용할 경우 원본에 변경이 적용

df.drop_duplicates(subset='Num',inplace=True)
print(df)

시간 데이터를 DataFrame으로 처리할 때 Pandas resample() 함수를 사용하여 시간을 재조정 할 수 있다.

import pandas as pd
df = pd.read_csv("../input/bigdatacertificationkr/basic2.csv", parse_dates=['Date'], index_col=0)

시계열 데이터를 불러옵니다.

주 단위의 컬럼 합계를 구해보자!  

resample('W') 사용

df_w = df.resample('W').sum()
df_w

Date 컬럼을 보면 주 단위로 변경 된 것을 볼 수 있다. 

월 단위의 컬럼 합계를 구해보자.

resample('M') 사용

df_m = df.resample('M').sum()
df_m

Date 컬럼을 보면 월(마지막날 기준) 단위로 변경 된 것을 볼 수 있다. 

resample('MS') 사용

df_ms = df.resample('MS').sum()
df_ms

Date 컬럼을 보면 월(시작 일 기준) 단위로 변경 된 것을 볼 수 있다. 

주기 단위 정리

날짜 오프셋빈도 문자열설명

참고: https://pandas.pydata.org/pandas-docs/stable/user_guide/window.html

pd.merge는 공통의 열을 기준으로 두 데이터프레임을 합쳐준다.

import pandas as pd


# 기준열 이름이 같을 때
pd.merge(left, right, on = '기준열', how = '조인방식')

# 기준열 이름이 다를 때
pd.merge(left, right, left_on = '왼쪽 열', right_on = '오른쪽 열', how = '조인방식')

left: 왼쪽 데이터 프레임

right: 오른쪽 데이터 프레임

on: (두 데이터프레임의 기준열 이름이 같을 때) 기준열

how: 조인 방식('left', 'right', 'inner', 'outer') 기본값은 'inner'

left_on: 기준열 이름이 다를 때, 왼쪽 기준열

right_on: 기준열 이름이 다를 때, 오른쪽 기준열

예시

# 예시 데이터 생성
students = pd.DataFrame({'Num':[4, 14, 7, 11, 10], 'students':['채치수', '정대만', '송태섭', '서태웅', '강백호']})
grade = pd.DataFrame({'Num':[14, 11, 12], 'Grade':['A', 'B', 'C']})

students과 grade는 Num를 공통의 열로 가지고 있다.

Num를 기준으로 데이터프레임을 병합해보자.

1. how = JOIN 방식

Left Join: 왼쪽 데이터프레임을 기준으로 한다. 오른쪽 데이터프레임에 없는 값은 NaN으로 나타난다.

pd.merge(left, right, on = 'col', how = 'left')

Right Join: 오른쪽 데이터프레임을 기준으로 조인한다. 왼쪽 데이터프레임에 없는 값은 NaN으로 나타낸다.

pd.merge(left, right, on = 'col', how = 'right')

Inner Join: 교집합을 의미한다. 양쪽에 공통으로 있는 값만 나타낸다.

pd.merge(left, right, on = 'col', how = 'inner')

Outer Join: 모든 값이 나타나도록 한다. 왼쪽 데이터프레임과 오른쪽 데이터프레임에 없는 값들은 NaN으로 나타난다.

pd.merge(left, right, on = 'col', how = 'outer')

2. on = '기준열'

공통이 되는 기준 열이 여러 개일 때

pd.merge(left, right, on = ['col1', 'col2'])

두 데이터프레임의 열 이름이 다를 때

위 예시처럼 양쪽 데이터프레임에서 merge의 기준이 되는 열의 이름이 같다면 on = '기준열'로 지정해주면 된다. 하지만 양쪽 데이터프레임에서 기준이 되는 열의 이름이 다르다면 각각 left_on = '왼쪽 열', right_on = '오른쪽 열'로 지정하면 된다.

pd.merge(left, right, left_on = '왼쪽 열', right_on = '오른쪽 열')

pd.to_datetime['column'] 이용해서 바꾸기

import pandas as pd
df = pd.read_csv('../input/bigdatacertificationkr/basic2.csv')

print(df.head())

df.info()

pd.to_datetime 이용하여 변경

df['Date'] = pd.to_datetime(df['Date'])
df.info()

df.info()를 통하여 Date 칼럼의 Dtype이 objectd에서 datetime64[ns]로 바뀐 것을 알 수 있습니다.

read_csv로 데이터 불러올 때 parse_dates 옵션으로 datetime으로 바로 지정하기

df = pd.read_csv("../input/bigdatacertificationkr/basic2.csv", parse_dates=['Date'])

df.info()

Date 칼럼이 바로 datetime64[ns]로 바뀌어져 데이터를 불러왔음을 알 수 있다. 

DataFrame.reset_index(level=None, drop=False, inplace=False, col_level=0, col_fill='')

reset_index:  설정 인덱스를 제거하고 기본 인덱스(0,1,2, ... , n)으로 변경

• level : Multi Index의 경우 제거할 인덱스의 레벨을 설정할수 있습니다. 기본적으로 모든 레벨입니다.
• drop : 제거한 인덱스를 열에 추가할지 여부입니다. 기본값은 False로 제거된 인덱스는 열로 변환됩니다.
• inplace : pandas 공통 인수로, 원본을 변경할지 여부 입니다.
• col_level / col_fill : Multi Index의 경우 제거된 인덱스를 열에 추가할 때 레벨과 열의 이름을 설정할 수 있습니다.
  col_level을 통해 레벨을 설정하고, col_fill을통해 해당 열의 이름을 정합니다.

예시

먼저 3x2 데이터프레임 생성

import pandas as pd 

df = pd.DataFrame([[1,2],[3,4],[5,6]],['row1','row2','row3'],['col1','col2'])
print(df)

      col1  col2
row1     1     2
row2     3     4
row3     5     6

기본적인 사용법(+drop, inplace)

기본적으로 아무 인수 없이 사용하게 되면, 모든 레벨에 대해 인덱스가 제거되며, 열에 추가됩니다.

print(df.reset_index())

  index  col1  col2
0  row1     1     2
1  row2     3     4
2  row3     5     6

첫번째 열 0,1,2 추가  / row1 열 컬럼명 index로 바뀜

drop = True인 경우 열이 밖으로 꺼내지는게 아니라 완전히 삭제됩니다.

print(df.reset_index(drop=True))

   col1  col2
0     1     2
1     3     4
2     5     6

index 컬럼 삭제 / 0 1 2 순서로만 남음

inplace=True인 경우 원본이 변경되게 됩니다.

df.reset_index(inplace=True)
print(df)

  index  col1  col2
0  row1     1     2
1  row2     3     4
2  row3     5     6

Multi Index 예시

 4x4짜리 Multi Index 생성

idx = [['IDX1','IDX1','IDX2','IDX2'],['row1','row2','row3','row4']]
col = [['COL1','COL1','COL2','COL2'],['val1','val2','val3','val4']]
data = [[1,2,3,4],[5,6,7,8],[9,10,11,12],[13,14,15,16]]
df2 = pd.DataFrame(data,idx,col)
print(df2)

          COL1      COL2     
          val1 val2 val3 val4
IDX1 row1    1    2    3    4
     row2    5    6    7    8
IDX2 row3    9   10   11   12
     row4   13   14   15   16

기본적인 사용법(+level)
Multi Index의 경우 level을 설정해줌으로서 제거할 인덱스의 레벨을 선택할 수 있습니다.
level을 입력하지 않은 경우 모든 index에 대해서 수행됩니다.

print(df2.reset_index())

  level_0 level_1 COL1      COL2     
                  val1 val2 val3 val4
0    IDX1    row1    1    2    3    4
1    IDX1    row2    5    6    7    8
2    IDX2    row3    9   10   11   12
3    IDX2    row4   13   14   15   16

level=0인 경우

print(df2.reset_index(level=0))

     level_0 COL1      COL2     
             val1 val2 val3 val4
row1    IDX1    1    2    3    4
row2    IDX1    5    6    7    8
row3    IDX2    9   10   11   12
row4    IDX2   13   14   15   16

level=1인 경우

print(df2.reset_index(level=1))

     level_1 COL1      COL2     
             val1 val2 val3 val4
IDX1    row1    1    2    3    4
IDX1    row2    5    6    7    8
IDX2    row3    9   10   11   12
IDX2    row4   13   14   15   16

col_fill / col_level의 사용
col_fill을 이용하여 열로 변경되는 인덱스의 열 이름을 설정할 수 있습니다. COL0으로 설정해보겠습니다.

print(df2.reset_index(level=1, col_fill='COL0'))

     level_1 COL1      COL2     
        COL0 val1 val2 val3 val4
IDX1    row1    1    2    3    4
IDX1    row2    5    6    7    8
IDX2    row3    9   10   11   12
IDX2    row4   13   14   15   16

col_level을 이용해 열 이름의 레벨을 정할 수 있습니다. COL0을 다른 열이름에 맞게 LEVEL을 변경해보겠습니다.

print(df2.reset_index(level=1,col_fill='col0',col_level=1))

        col0 COL1      COL2     
     level_1 val1 val2 val3 val4
IDX1    row1    1    2    3    4
IDX1    row2    5    6    7    8
IDX2    row3    9   10   11   12
IDX2    row4   13   14   15   16

DataFrame.fillna(value=None, method=None, axis=None, inplace=False, limit=None, downcast=None)

fillna 메서드 : DataFrame에서 결측값을 원하는 값으로 변경하는 메서드입니다.

• value : 결측값을 대체할 값입니다. dict형태로도 가능합니다.
• method : 결측값을 변경할 방식입니다. bfill로 할경우 결측값을 바로 아래 값과 동일하게 변경합니다.ffill로 할 경우 결측값을 바로 위 값과 동일하게 변경합니다.
• axis : {0 : index / 1 : columns} fillna 메서드를 적용할 레이블입니다.
• inplace : 원본을 변경할지 여부입니다. True일 경우 원본을 변경하게 됩니다.
• limit : 결측값을 변경할 횟수입니다. 위에서부터 limit로 지정된 갯수만큼만 변경합니다.
• downcast : 다운캐스트할지 여부입니다. downcast='infer'일 경우 float64를 int64로 변경합니다.

예시

먼저 5x5 데이터프레임 생성

col  = ['col1','col2','col3','col4','col5']
row  = ['row1','row2','row3','row4','row5']
na = np.nan
data = [[na, 2,na, 4,na],
        [ 6, 7,na, 9,na],
        [11,na,na,14,15],
        [na,17,na,na,20],
        [na,22,na,na,25]]
df = pd.DataFrame(data,row,col)
print(df)

      col1  col2  col3  col4  col5
row1   NaN   2.0   NaN   4.0   NaN
row2   6.0   7.0   NaN   9.0   NaN
row3  11.0   NaN   NaN  14.0  15.0
row4   NaN  17.0   NaN   NaN  20.0
row5   NaN  22.0   NaN   NaN  25.0

value의 형식에 따른 사용

value가 숫자나 문자일 경우 그대로 결측값을 대체하게 됩니다. 여기서는 A로 바꿔보겠습니다.

print(df.fillna('A'))

      col1  col2 col3  col4  col5
row1     A   2.0    A   4.0     A
row2   6.0   7.0    A   9.0     A
row3  11.0     A    A  14.0  15.0
row4     A  17.0    A     A  20.0
row5     A  22.0    A     A  25.0

dict형태로 입력할 경우 각각 레이블값에 대해 원하는 값으로의 변경이 가능합니다.

dict = {'col1':'A', 'col2':'B', 'col3':'C', 'col4':'D', 'col5':'E'}
print(df.fillna(value=dict))

# print(df.fillna(dict))도 가능

      col1  col2 col3  col4  col5
row1     A   2.0    C   4.0     E
row2   6.0   7.0    C   9.0     E
row3  11.0     B    C  14.0  15.0
row4     A  17.0    C     D  20.0
row5     A  22.0    C     D  25.0

method인수를 사용하는 경우

method인수에 bfill을 입력할 경우 결측값이 바로 아래값과 동일하게 설정됩니다.

※ df.backfill( )이나 df.bfill( )과 완전히 동일한 기능을 수행

print(df.fillna(method='bfill'))

      col1  col2  col3  col4  col5
row1   6.0   2.0   NaN   4.0  15.0
row2   6.0   7.0   NaN   9.0  15.0
row3  11.0  17.0   NaN  14.0  15.0
row4   NaN  17.0   NaN   NaN  20.0
row5   NaN  22.0   NaN   NaN  25.0

method인수에 ffill을 입력할 경우 결측값이 바로 위값과 동일하게 설정됩니다.

※ df.pad( )나 df.ffill( )과 완전히 동일한 기능을 수행합니다.

print(df.fillna(method='ffill'))

      col1  col2  col3  col4  col5
row1   NaN   2.0   NaN   4.0   NaN
row2   6.0   7.0   NaN   9.0   NaN
row3  11.0   7.0   NaN  14.0  15.0
row4  11.0  17.0   NaN  14.0  20.0
row5  11.0  22.0   NaN  14.0  25.0

limit인수를 사용하는 경우

limit인수는 각 레이블값에 대해서 결측치 변경을 수행할 횟수입니다. 행 기준일경우 왼쪽부터, 열 기준일 경우 위에서부터 수행합니다.

print(df.fillna('A', limit=2))

       col1  col2 col3  col4  col5
row1     A   2.0    A   4.0     A
row2   6.0   7.0    A   9.0     A
row3  11.0     A  NaN  14.0  15.0
row4     A  17.0  NaN     A  20.0
row5   NaN  22.0  NaN     A  25.0

downcast인수를 사용하는 경우

downcast 인수를 'infer'로 설정함으로써 float64형태를 int64형태로 변경할 수 있습니다.

print(df.fillna(0, downcast='infer'))

      col1  col2  col3  col4  col5
row1     0     2     0     4     0
row2     6     7     0     9     0
row3    11     0     0    14    15
row4     0    17     0     0    20
row5     0    22     0     0    25

inplace를 사용하는 경우

다른 파이썬 객체에서와 마찬가지로 inplace는 원본을 덮어씌우는 기능과 유사한 기능을 합니다.
즉 df.fillna(0, inplace=True) 는 df=df.fillna(0)과 동일한 기능을 합니다.

df.fillna('A', inplace=True)
print(df)

      col1  col2 col3  col4  col5
row1     A   2.0    A   4.0     A
row2   6.0   7.0    A   9.0     A
row3  11.0     A    A  14.0  15.0
row4     A  17.0    A     A  20.0
row5     A  22.0    A     A  25.0

df.cumsum(axis=None, skipna=True, args, kwargs) 누적합
df.cumprod(axis=None, skipna=True, args, kwargs) 누적곱

axis : 누적합/누적곱을 구할 축을 지정합니다.
skipna : 결측치를 무시할지 여부 입니다

예시

df = pd.DataFrame({'col1':[2,-2,4,5,6,8],'col2':[3,4,np.NaN,7,4,5]})
print(df)

   col1  col2
0     2   3.0
1    -2   4.0
2     4   NaN
3     5   7.0
4     6   4.0
5     8   5.0

누적합 cumsum() 

print(df.cumsum())

 col1  col2
0     2   3.0
1     0   7.0
2     4   NaN
3     9  14.0
4    15  18.0
5    23  23.0

누적곱 cumprod()

print(df.cumprod())

   col1    col2
0     2     3.0
1    -4    12.0
2   -16     NaN
3   -80    84.0
4  -480   336.0
5 -3840  1680.0

skipna 인수의 사용

print(df.cumsum(skipna=False))

   col1  col2
0     2   3.0
1     0   7.0
2     4   NaN # NaN 등장부터 계산할 수 없으므로 NaN 반환
3     9   NaN
4    15   NaN
5    23   NaN