Ⅰ. 서론

올해 8월 17일에 발표된 기상청의 보도자료에 의하면, 서울의 최고기온 극값은 관측 시작 이래 111년 만에 최고 기록을 세웠다고 한다. 이러한 기록적인 폭염에 전력사용량은 치솟았고 전력공급 예비율은 8.4%를 기록해 5년 만에 최저치를 기록했다고 한다^[1].

한국뿐만 아니라 전 세계적으로 전력 사용량이 증가하고 있다. 또한 스마트 미터기의 보급량 증가와 환경에 대한 관심이 높아짐으로 인해 효율적인 에너지 수급, 수요예측 기술에 대한 다양한 연구가 진행되고 있다. 스마트 미터기를 집안 곳곳에 배치한 스마트 홈 시스템에서, 사용자의 전력사용 패턴을 군집화하고 분류하여 가정 내의 전력소모량을 예측하여 효율적인 에너지 소모량 관리를 하게 해주는 연구가 진행되었다^[2]. 이 연구에서는 사용데이터, 기후데이터, 시간 데이터의 특징을 군집화해서 머신러닝 모델을 학습시키고 예측 출력을 나타내는 방법을 이용한다. 또한 시계열 데이터 분석을 이용해 7년간의 월간 전력량 데이터를 분석하고, 복합적 정규화 기법을 이용하여 머신러닝 모델의 학습 성능을 높인 연구가 진행되었다^[3]. 이 연구는 수년간의 월간 전력량 데이터를 입력으로 받아 연간 전력 사용량 패턴을 예측하는 장기 수요예측 연구이다. 국가의 전력 시장 데이터를 웹 페이지에서 자동으로 다운로드받아 데이터를 처리하고 시계열 분석 모델과 학습된 머신러닝 모델에 입력으로 넣어 사용자에게 예측 결과 출력을 보여주는 시스템을 제안한 연구도 진행되었다^[4]. 이 연구에서는 사용자가 월간, 일간 등 단위를 설정해서 전력 예측을 확인 할 수 있게 해주는 시스템을 제안한다.

선행 연구들이 머신러닝 기법을 적극적으로 이용함에 따라 본 연구에서는 실제 가정용 전력 소모데이터를 이용해 머신러닝 모델을 학습시켜 출력 결과를 확인한다. 본 논문에서는 단순한 인공 뉴런계층을 이용한 다층 퍼셉트론 네트워크, 순환되는 구조의 계층을 이용한 순환 신경망 네트워크 그리고 마지막으로 순환신경망의 한 종류이지만 더 복잡한 처리 과정을 포함한 LSTM 네트워크에 대해서 알아보고, 각 네트워크를 적용한 실험 결과를 제시한다. 같은 데이터, 같은 실험 파라미터들에 대해 각기 다른 모델들이 어떤 성능을 내는지 확인해본다.

본 논문의 구성은 다음과 같다. 먼저 2장에서는 앞서 언급한 세 종류의 네트워크에 대한 설명이 나온다. 3장에서는 데이터 전처리 기법인 이동평균법과 실험 파라미터들에 대해 설명하고 실험 결과를 제시하고 결과를 분석한다. 마지막 4장에서는 논문을 총정리하고 추후 가능한 연구에 대해 논의하며 마무리 된다.

Ⅱ. 딥 러닝 알고리즘

딥 러닝은 인간 두뇌의 학습구조를 파악하고 탐구하는 분야인 머신러닝의 한 분야이다. 머신러닝 네트워크는 입력층, 은닉층 그리고 출력층으로 이루어진 계층구조이다. 은닉층에 어떤 계층구조를 사용하는지에 따라 네트워크의 분류가 달라진다. 이때 은닉층이 2층 이상의 구조로 이루어진 네트워크를 딥 러닝 네트워크라고 한다^[5].

1. 다층 퍼셉트론

퍼셉트론이란 네트워크를 이루는 노드로써 인공 뉴런으로 볼 수 있다. 이 인공 뉴런은 입력을 받아 연결계수와 곱해지고, 인공 뉴런의 바이어스 값을 그 값에 더해주고 활성함수에 따라 연산된 값을 출력한다. 이러한 뉴런들이 이루는 계층이 둘 이상의 층으로 이루어진 네트워크를 다층 퍼셉트론 네트워크라고 한다^[6]. 그림 1은 다층 퍼셉트론의 구조를 예시적으로 보여준다. 그림 1의 예시는 은닉층이 2층인 다층 퍼셉트론 딥 러닝 네트워크를 보여 준다. 각 층의 인공 뉴런들은 연결 계수를 갖는 연결로 이루어져 있다. 일반적인 다층 퍼셉트론 네트워크의 출력을 수식적으로 표현하자면 다음과 같이 표현될 수 있다.

y = f(W_kx_k + b_k).       (1)

그림 1. 다층 퍼셉트론 네트워크의 구조.

Fig. 1. Structure of MLP network.

이 수식에서 y는 출력을 나타내고, f는 활성함수, W_k는 연결계수, x_k는 입력 그리고 b_k는 바이어스 값을 의미한다. 각 인공뉴런에 대해, 각 연결계수에 대해 모든 연산을 처리하고 출력층으로 나온 값이 다층 퍼셉트론 네트워크의 출력이다.

2. 순환 신경망

순환 신경망이란 은닉층으로 순환하는 층을 이용하여 이전 상태의 은닉층 출력이 현재 상태의 은닉층 입력으로 들어가 연산에 포함되는 구조를 의미한다^[7]. 주로 시계열 데이터가 이 순환 신경망의 구조를 이용한다. 그림 2는 순환 신경망의 기본 구조를 보여준다. 그림 2의 화살표 왼쪽 기본 형태를 이용해 시계열 데이터를 처리한다고 했을 때, 기본 형태를 시간의 흐름에 따라 펼쳐보면 화살표 오른쪽과 같은 구조가 나타나게 된다. 순환 신경망의 출력을 수식으로 표현하면 다음과 같다.

y_t = f([Ux_t,vh_t-1])+b_k).       (2)

그림 2. 순환신경망의 구조.

Fig. 2. Structure of RNN.

이 수식에서 y_t는 현재 입력에 대한 출력을 나타내고, f는 활성함수, U는 입력에 대한 연결계수, x_t는 현재 입력, v는 이전 은닉층에 대한 연결계수, h_t-1는 이전 은닉층의 출력 그리고 b_k는 바이어스 값을 의미한다. 이러한 연산 과정은 입력이 모두 입력되어 연산되고 출력이 나올 때까지 반복되게 된다.

3. LSTM 네트워크

LSTM 네트워크는 은닉층을 LSTM 블록으로 이용하는 네트워크로 순환신경망의 종류 중 하나이다^[8]. 그렇기 때문에 순환신경망의 기본원리인 이전 상태의 값이 현재 은닉층으로 들어온다는 점은 동일하다. LSTM 블록은 세 단계를 거쳐 연산을 진행하는데, 망각 게이트, 입력 게이트 그리고 출력 게이트 이 순서로 연산을 진행한다. 또한 LSTM 블록은 블록의 상태 값을 연산에 도입한다. 이제 각 게이트가 어떻게 연산을 진행하는지 그림 3과 더불어 순차적으로 서술하겠다.

그림 3. LSTM 블록의 기본구조.

Fig. 3. Structure of LSTM block.

가장 먼저 연산은 망각 게이트에서 시작된다. 현재 상태의 입력과 이전 상태의 은닉층 출력이 망각 게이트로 들어가게 된다. 망각 게이트의 주된 역할은 이전 상태의 블록 상태 값을 얼마나 통과시킬 것인지 그 비율에 대해서 정하는 역할을 하게 된다.

현재 상태의 입력과 이전 상태의 은닉층 출력은 σ로 표기된 레이어를 통과하게 된다. 이 L_σ는 sigmoid 활성 함수를 갖는 레이어를 나타낸다. 이 sigmoid 활성함수를 통과한 출력값은 0과 1사이의 값으로 매칭된다. 출력값이 1이라면 이전 상태의 블록 상태 값을 모두 통과시키고, 만약 출력값이 0이라면 이전 상태의 블록 상태 값을 모두 받지 않는 것을 의미한다. 이 sigmoid 함수와 망각 게이트의 연산을 수식적으로 표현하면 다음과 같이 나타난다.

\(L_{\sigma}(x)=\frac{1}{1+e^{-x}}\)       (3)

j_t - L_σ(W_f[h_t-1,x_t]+b_f)       (4)

수식 (3)은 sigmoid 함수를 나타내고, 수식 (4)는 망각 게이트의 출력을 나타낸다. 이때 수식(4)에서 W_f는 레이어의 연결계수 값을 나타내고, h_t-1은 이전 상태의 은닉층 출력, x_t는 현재 상태의 입력, 그리고 b_f는 레이어의 바이어스 값을 나타낸다.

다음 단계의 연산은 입력 게이트에서 이루어진다. 입력 게이트에서는 망각 게이트를 통과한 값에 어떤 값을 더해주거나 빼줄 것인지 결정하는 과정이다. 새로운 값의 반영 비율을 결정해주기 위해서 이전 상태의 은닉층 출력과 현재 상태의 입력값을 sigmoid 레이어를 통과시킨다. 이 반영비율은 그림 3의 p_t로 나타난다. 그 다음 새로 반영할 값을 결정하는데, 이 값 역시 이전 상태의 은닉층 출력과 현재 상태의 입력값을 이용한다. 이 두 값을 tanh 활성함수를 갖는 레이어 L_tanh를 통과시킨다. tanh 함수는 입력값을 –1과 1사이의 값으로 매칭시켜 출력한다. 이 출력값은 \(\overline{S_{t}}\)로 나타난다. p_t와 \(\overline{S_{t}}\)를 수식으로 표현하면 다음과 같다.

p_t = Lσ(W_t[h_t-1,x_t] + bi )       (5)

\(\overline{S_{t}}=L_{\mathrm{tanh}}\left(W_{k}\left[h_{t-1}, x_{t}\right]+b_{k}\right)\)       (6)

수식 (5)와 수식 (6)에서 각 변수들이 의미하는 것은 앞서 언급한 것과 같다. 이 두 과정에서 나온 출력값을 토대로 LSTM 블록은 현재 상태의 블록 상태 값을 구할 수 있다. 그림 3의 S_t값을 수식으로 나타내면 다음과 같다.

\(S_{t}=j_{t} S_{t-1}+p_{t} \overline{S_{t}}\)       (7)

마지막으로 현재 상태의 은닉층 출력을 결정하는 출력 게이트 과정이다. 이 과정에서도 S_t값, 즉 현재 상태의 블록 상태 값을 얼마나 반영할 것인지 sigmoid 함수를 이용해 결정한다. 이 과정은 그림 3의 q_t로 나타나는 과정이다. 그리고 이 반영비율과 더불어 현재 상태의 블록 상태 값을 tanh함수를 통과시켜 새로운 출력값을 만든다. 이 두 값의 곱이 현재 상태의 은닉층 출력으로 연산되어 블록을 빠져나가게 된다. 이를 수식으로 나타내면 다음과 같다.

q_t = L_σ(W_o [h_t-1, x_t]) + b_o).       (8)

h_t = q_t tanh(C_t).       (9)

이런 3단계를 거치면서 LSTM 블록은 입력값을 받아 연산하고 출력을 낸다.

Ⅲ. 실험 환경 및 결과

1. 실험 데이터

본 연구에서는 UMass Trace Repository에서 제공하는 가정 전력사용량 데이터를 이용하였다^[9]. 학습데이 터는 2016년 1월 1일 00시부터 2016년 2월 29일 23시 30분까지 두 달간의 데이터를 설정하였다. 학습 방향을 조정하는데 참고하는 검증 데이터는 2016년 3월 1일 00시부터 같은 달 14일 23시 30분까지 2주간의 데이터를 설정하였다. 마지막으로 모델의 성능평가에 이용할 테스트 데이터는 2016년 3월 15일 00시부터 같은 달 31일 23시 30분까지의 데이터를 설정하였다.

2. 데이터 전처리

학습데이터와 검증데이터는 데이터의 전처리 과정을 진행해 학습에 도움을 주도록 하였다. 데이터 전처리에 활용한 기법은 이동평균법이다^[10]. 이동평균법은 본 논문에서 사용하는 데이터와 같은 시계열 데이터의 전처리에 사용되는 기법중 하나이다. 이동평균법은 정해진 구간 마다의 평균을 구해서 그 구간을 구해진 평균값으로 나누어 주는 기법을 말한다. 이 기법을 사용하면 구간을 옮겨가며 평균을 구하고 그 구간의 값들을 평균을 나눠주는 과정을 반복하게 된다. 이 기법으로 데이터를 전처리를 하면 데이터의 피크값이 낮아지고 데이터의 그래프 개형이 완곡해지는 효과를 얻을 수 있었다. 이 기법을 수식으로 표현하면 다음과 같다.

\(\left(x_{0}^{\prime}, x_{1}^{\prime}, \cdots x_{n}^{\prime}\right)=\left(x_{0}, x_{1}, \cdots x_{n}\right) \div \frac{\sum_{k=a}^{a+w} x_{k}}{w} .\)       (10)

위의 수식에서 x_k'값들은 이동평균법으로 연산된 값들을 의미하고, x_k값들은 이동평균법으로 연산되기 전 데이터를 의미한다. α 값은 이동평균법의 시작지점을 의미하고 이 시작지점은 0부터 n까지 변하게 된다. 이때 n은 데이터의 마지막 인덱스를 의미한다. 마지막으로 ω는 윈도우 사이즈로 이동평균을 구하는 구간의 크기를 의미한다.

3. 실험 파라미터

본 연구에서 설정한 실험 파라미터는 총 5개이다. look_back, 셀의 개수, batch 사이즈, epoch 그리고 윈도우 사이즈이다. 각 파라미터에 대해 간략히 서술하겠다.

먼저 look_back이다. look_back 파라미터는 훈련, 검증 데이터의 데이터셋 한 단위가 갖는 크기를 정하는 파라미터이다. 이 파라미터로 데이터셋 벡터 크기를 정할 수 있다. 실험을 통해 100으로 이 값을 설정했다.

다음으로 셀의 개수이다. 은닉층의 LSTM, RNN, MLP의 셀 개수를 정하는 파라미터이다. 셀의 개수가 커지면 네트워크의 크기가 커지고 더 복잡한 데이터 처리가 가능하다고 예상한다. 실험을 통해 이 값을 400으로 설정했다. 추가로 은닉층의 층수는 3층으로 모두 동일하게 설정했다. Batch 사이즈는 학습 단위를 정해주는 파라미터이다. 모델이 학습데이터를 얼마나 받아들여 모델 내부의 변수들을 업데이트할 것인지를 결정하는 파라미터다. 이 값도 실험을 통해 10의 값을 설정했다. 그다음으로 epoch는 주어진 데이터를 몇 번 반복 학습할 것인지 결정하는 파라미터이다. 대체로 이 값을 증가시키면 학습성과가 잘 나타나는 경향이 있지만 너무 높은 값을 설정하면 과적합에 빠져 유의미한 학습 결과를 얻기 힘들다. 본 연구에서는 이 값을 100회로 설정했다. 마지막으로 윈도우 사이즈이다. 앞서 언급한 대로 윈도우 사이즈는 이동평균을 구하는 구간의 크기이다. 본 연구에서는 이 값을 48로 지정하였는데, 이 숫자는 하루 치의 샘플을 의미한다. 데이터는 30분에 한번 샘플링되어 하루에 48개의 샘플로 구성되어 있다. 이 값 또한 실험적으로 설정하였다. 은닉층의 개수는 3층으로 설정하였다. 표 1은 본 연구에서 사용한 파라미터를 정리한 표이다.

표 1. 실험 파라미터.  

Table 1. Parameters of experiments. 

4. 실험 결과

가. 다층 퍼셉트론

다층 퍼셉트론의 예측 결과는 그림 4와 같이 나타났다. 실험결과를 확인해보면, 입력데이터인 테스트 데이터 초반에는 경향을 잘 따라가다가 약 time sample 150 정도에서 진폭이 증가하며 진동하기 시작했다. 이는 데이터의 복잡한 경향을 학습하기에는 네트워크의 구조가 단순하기 때문이라고 예상된다.

그림 4. 다층 퍼셉트론 예측 결과.

Fig. 4. Prediction result of MLP network.

나. 순환 신경망

그림 5는 순환 신경망의 예측 결과를 보여준다. 그림 5를 확인해보면, 예측 결과가 처음부터 소폭으로 진동하는 개형으로 나타난다. 학습이 잘 진행되지 않은 원인으로는 다층 퍼셉트론과 마찬가지로 네트워크의 구조를 생각할 수 있다.

그림 5. 순환신경망 예측 결과.

Fig. 5. Prediction result of RNN.

다. LSTM 네트워크

그림 6은 LSTM의 예측 결과를 보여준다. 그림 6을 확인해보면, 무의미한 진동하는 예측 결과를 출력한 다른 네트워크에 비해서 전력사용 패턴을 따라가는 경향을 보여준다. 하지만 급격히 사용량이 올라가거나 낮아지는 경향은 따라가지 못했다. 이 결과에 대해 성능평가를 진행하였는데, 성능평가 결과는 표 2와 같이 나타난다. 결과 값은 소수 4자리까지 표기했다. 각 성능평가 방법은 다음과 같이 수식으로 나타낸다 ^[11,12].

\(M S E=\frac{\left(p_{1}-y_{1}\right)^{2}+\cdots+\left(p_{n}-y_{n}\right)^{2}}{n} \)       (11)

\(M A E=\frac{\left|p_{1}-y_{1}\right|+\cdots+\left|p_{n}-y_{n}\right|}{n}\)       (12)

그림 6. LSTM 예측 결과.

Fig. 6. Prediction result of LSTM.

표 2. LSTM의 성능평가.

Table 2. Performance evaluation of LSTM.

각 수식에서 P_n은 n번째 예측결과를 의미하고 y_n은 n번째 테스트 데이터 값을 의미한다. 표 2는 실제 데이터와 설계한 모델간의 오차를 각각 식 11과 식 12를 이용해 계산한 결과를 정리한 표이다. 표 2가 갖는 의미는 얼마나 실제 데이터에 근접한지 보여주는 지표로써 의미가 있다.

Ⅳ. 결론

본 논문에서는 다층 퍼셉트론 네트워크, 순환신경망, LSTM 네트워크의 개념을 알아보았다. 그리고 데이터 전처리 기법으로써 이동평균법을 알아보았다. 또한, UMass Trace Repository에서 제공하는 가정 전력사용량 데이터를 사용하여 모델을 학습시키고 예측 출력을 통해 학습 결과를 확인하였다. LSTM 네트워크를 기준으로 5개 의 파라미터를 실험을 통해 최적값을 찾았다. 그리고 최적값으로 학습된 모델 중 유의미한 예측결과를 나타낸 LSTM 모델의 성능평가를 진행하였다.

^[13]의 논문에서는 실제 수집된 데이터가 아닌 설정된 가상의 데이터로 연구를 진행했었다. 하지만 본 논문에서는 실제 수집된 데이터로 모델의 학습을 진행해 실험을 진행하였다. 또한 실험결과를 확인해보았을 때, 같은 파라미터라도 네트워크의 종류에 따라 성능이 다른 것을 확인했다. 이점을 미루어 볼 때, 네트워크 구조별로 학습 파라미터에 각각의 최적값이 있을 것으로 예상된다. 추후 연구로써는 한 사용자의 패턴을 미리 학습한 모델을 이용하는 전이학습 모델 기법을 생각해볼 수 있다. 전이학습은 같은 종류의 작업에 있어 많은 학습데이터로 미리 학습된 모델을 상대적으로 적은 데이터로도 같은 성능을 낼 수 있도록 하는 기법이다. 전이학습 기법을 통해 이런 예측 시스템을 새로이 도입하려는 사용자에게 더 빠른 시스템 도입을 가능하게 해줄 것이다.