![]()
1. 시계열(Time Series)의 정의시간의 흐름에 따라 순차적으로 수집된 데이터시간 순서가 중요하며, 관측 간격이 일정한 경우가 대부분 (예: 일간, 월간, 분 단위 등)관측값들 사이에 시간적 의존성이 존재함예시 2. 시계열 데이터와 일반 데이터의 차이점 3. 시계열의 주요 통계적 특성이 특성들은 시계열 분석에서 모델 선택, 전처리, 예측 기법에 직접적인 영향을 미칩니다. 3.1 정상성 (Stationarity)정의: 시계열의 통계적 성질(평균, 분산, 공분산 등)이 시간에 따라 변하지 않는 것필수 개념: 대부분의 시계열 모델(AR, ARIMA 등)은 정상성을 전제로 함 수학적 조건평균이 일정하다: \(\mathbb{E}[Y_t] = \mu\) (모든 t에 대해 동일)분산이 일정하..
이 글은 2017년 발표된 "Attention Is All You Need" 논문에서 제안한 Transformer 모델을 Pytorch로 구현한 내용을 정리한 것입니다. 논문에서 설명된 구조와 수식을 바탕으로, 각 구성 요소가 코드에서 어떻게 구현되는지를 단계적으로 설명하겠습니다. 참고: https://k-jirung.tistory.com/62 (Attention Is All You Need 논문 리뷰) 전체 구조 요약Transformer는 인코더-디코더 구조를 기반으로 하며, 각 구성은 다음과 같이 이루어집니다:Encoder: 입력 문장을 처리하여 문맥 정보를 추출Decoder: 인코더의 출력을 바탕으로 출력 문장을 생성핵심 구성 요소:Multi-Head AttentionPosition-wis..
![]()
1. 논문 정보제목: A Time Series Is Worth 64 Words: Long-Term Forecasting With Transformers저자: Yuqi Nie (Princeton University), Nam H. Nguyen, Phanwadee Sinthong, Jayant Kalagnanam (IBM Research)소속: Princeton University, IBM Research출판: ICLR 2023 (International Conference on Learning Representations)링크: https://arxiv.org/pdf/2211.14730 2. 연구 배경 및 목적 (Introduction)배경시계열 예측(Time Series Forecasting)은 ..
1. 입출력 (Input & Output)코딩테스트에서 가장 기본이 되는 부분이 바로 입력과 출력입니다. 일반적으로 input()을 사용하지만, 입력 데이터가 많을 경우 실행 속도를 개선하기 위해 sys.stdin.readline()을 사용하는 것이 좋습니다. 띄어쓰기로 구분된 여러 개의 입력값 받기input().split()을 사용하면 입력값이 자동으로 공백 기준으로 나뉩니다.map(int, input().split())을 사용하면 나뉜 값을 정수형으로 변환할 수 있습니다.a, b = map(int, input().split())처럼 여러 변수에 한 번에 저장 가능합니다.# 예제 입력: 3 5a, b = map(int, input().split())print(a, b) # 출력: 3 5 빠른 입출력..
![]()
PCA를 공부하기에 앞서 필요한 기초 개념인 공분산 행렬(Covariance Matrix)과 고유값(Eigenvalue), 고유벡터(Eigenvector)의 개념에 대해 먼저 살펴보겠습니다. 1. 공분산 행렬(Covariance Matrix)공분산(Covariance)이란?공분산은 두 변수(X, Y) 간의 변화하는 관계(상관성, Correlation)를 측정하는 값이다. 공분산이 양수(> 0) -> 두 변수가 같은 방향으로 변화함 (즉, 한 변수가 증가하면 다른 변수도 증가)공분산이 음수( 두 변수가 반대 방향으로 변화함 (즉, 한 변수가 증가하면 다른 변수는 감소)공분산이 0 -> 두 변수 간 상관성이 없음 공분산을 구하는 공식은 다음과 같다. $$COV(X, Y) = \frac{1}{n-1} \di..
![]()
1. 논문 정보제목: Attention Is All You Need저자: Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, tukasz Kaiser, lllia Polosukhin기관: Google Brain, Google Research, University of Toronto출판: Proceedings of the 31st Conference on Neural Information Processing Systems (NeurIPS 2017)링크: https://arxiv.org/pdf/1706.03762 2. 연구 배경 및 목적 (Introduction)기존 시퀀스 변환 모델(Seque..
