시계열 패치를 “서로 보게” 해야 할까, 아니면 “각자 독립적으로” 임베딩하게 해야 할까?
1. 들어가며
최근 시계열(Time Series) 분야에서도 self-supervised learning이 매우 중요한 흐름이 되었다. 이유는 단순하다. 실제 현업에서 시계열 데이터는 많지만, 라벨은 적다. 설비 센서 데이터, 전력 사용량, 기상 데이터, 생체 신호 등은 대량으로 쌓이지만, 이를 일일이 라벨링하는 것은 쉽지 않다. 결국 라벨 없이도 좋은 representation을 미리 학습해두고, 이후 forecasting이나 classification 같은 downstream task에 활용하는 전략이 중요해진다.
시계열 self-supervised learning의 대표적인 축은 크게 두 가지다.
- Contrastive Learning(CL)
- Masked Modeling(MM)
대체로 기존 연구에서는 고수준 분류(classification) 에서는 contrastive learning이, 저수준 예측(forecasting) 에서는 masked modeling이 강한 성능을 보인다고 알려져 있었다. 특히 최근 masked time series modeling(MTM) 계열에서는 PatchTST 같은 Transformer 기반 모델이 큰 주목을 받았다. 기본 아이디어는 시계열을 여러 patch로 나눈 뒤, 일부 patch를 마스킹하고, 나머지 unmasked patch들로부터 masked patch를 복원하는 것이다. 즉, patch들 사이의 dependency를 잘 학습하는 것이 좋은 representation의 핵심이라고 여겨져 왔다.
그런데 이 논문은 그 가정 자체를 정면으로 다시 묻는다.
시계열 representation learning에서 정말 patch 간 dependency를 강하게 배우는 것이 최선일까?
저자들의 답은 예상과 다르게 아니다이다. 오히려 시계열 패치를 서로 의존적으로 인코딩하는 것보다, 각 patch를 독립적으로 임베딩하는 편이 더 좋은 representation을 만들 수 있다고 주장한다. 그리고 이를 위한 방법으로 PITS(Patch Independence for Time Series) 를 제안한다.
이 논문이 흥미로운 이유는 단순히 새로운 모델을 하나 더 제안한 것이 아니라, 시계열 masked modeling의 핵심 전제를 뒤집기 때문이다. “패치 사이의 관계를 잘 배워야 한다”는 기존 상식을, “오히려 각 패치를 독립적으로 잘 임베딩하는 것이 더 낫다”는 관점으로 바꾼다.
2. 배경: 시계열 self-supervised learning은 왜 patch를 쓰는가
시계열은 길이가 길어질수록 그대로 모델에 넣기 어렵다. 특히 Transformer처럼 sequence length에 민감한 모델은 길이가 길면 계산량과 메모리 사용량이 급격히 증가한다. 그래서 최근에는 시계열을 짧은 구간 단위인 patch로 쪼개서 다루는 방식이 널리 쓰인다. PatchTST라는 이름 자체도 “A Time Series is Worth 64 Words”라는 아이디어를 가져와, 시계열 patch를 일종의 token처럼 다루는 방식이다.
여기서 기존의 masked modeling 흐름은 대체로 다음과 같았다.
- 시계열을 여러 patch로 나눈다.
- 일부 patch를 mask한다.
- unmasked patch를 본 뒤 masked patch를 예측한다.
- 이 과정을 통해 patch 간 dependency를 배우게 만든다.
이 논문은 이 흐름을 patch-dependent(PD) 라고 부른다. 이유는 masked patch를 복원하려면 반드시 다른 patch들의 정보가 필요하기 때문이다. 반면 논문이 제안하는 방식은 patch-independent(PI) 이다. 여기서는 masked patch를 맞히는 대신, 각 patch를 그 patch 자체만 보고 재구성(autoencode) 하게 만든다. 즉, 다른 patch를 굳이 보지 않는다.
Figure 1은 이 차이를 직관적으로 보여준다. toy forecasting 예시에서 PD task로 pretrain한 Transformer는 distribution shift가 들어간 test 구간에서 예측이 흔들리는 반면, PI task로 pretrain한 모델은 더 robust하게 동작한다. 저자들은 이를 통해 “dependency를 강하게 배우는 것이 오히려 distribution shift에 취약할 수 있다”는 문제의식을 제시한다.
3. 이 논문의 핵심 주장 한 줄 요약
이 논문의 핵심은 다음 한 문장으로 요약할 수 있다.
시계열 representation learning에서는 patch 간 상호작용을 강제로 학습하는 것보다, 각 patch를 독립적으로 잘 임베딩하고, 부족한 인접 정보는 가벼운 contrastive learning으로 보완하는 편이 더 좋다.
즉, 논문은 두 가지를 동시에 바꾼다.
- Pretraining task를 PD에서 PI로 바꾼다.
- Encoder architecture도 PD에서 PI로 바꾼다.
그리고 여기에 추가로 complementary contrastive learning을 얹어, patch 간 인접 정보를 너무 무겁지 않게 보완한다. 이 세 가지가 PITS의 핵심이다.
4. Patch-Dependent(PD) vs Patch-Independent(PI)
논문을 읽을 때 가장 먼저 확실히 잡아야 하는 개념이 바로 PD와 PI이다.
4.1 PD task
기존 masked modeling은 masked patch를 unmasked patch로부터 예측한다.
이 작업은 다른 patch를 봐야만 가능하므로 patch-dependent task이다. 대표적으로 PatchTST 같은 방법이 여기에 해당한다.
4.2 PI task
이 논문이 제안하는 task는 unmasked patch를 자기 자신으로부터 재구성하는 patch reconstruction task이다. 즉, 각 patch를 autoencoder처럼 복원한다. 다른 patch를 참고할 필요가 없으므로 patch-independent task가 된다.
직관적으로 보면 좀 이상하게 느껴질 수도 있다.
“자기 자신을 복원하는 것이 무슨 representation learning이 되지?”라는 의문이 생길 수 있다.
저자들도 이 점을 인식하고 있다. 단순 autoencoding은 자칫 trivial identity mapping으로 흐를 수 있기 때문이다. 그래서 hidden dimension과 dropout 설계를 통해 이 문제를 완화한다. 실제로 논문은 hidden dimension이 patch size보다 커질 때 dropout이 없으면 trivial solution 위험이 커지고, dropout을 넣으면 성능이 안정적으로 좋아짐을 보인다.
5. 모델 구조: 왜 Transformer 대신 MLP인가
논문의 두 번째 핵심은 architecture이다. 기존 PD 방식은 patch 간 상호작용을 학습하기 위해 자연스럽게 Transformer나 MLP-Mixer 같은 patch-mixing 구조를 사용한다. 하지만 저자들은 patch-independent task를 쓸 경우, 인코더도 굳이 patch 간 관계를 섞지 않는 단순한 구조가 더 적절하다고 본다. 그래서 2-layer MLP를 기본 인코더로 쓴다.
논문은 Figure 2(a)에서 네 가지 구조를 비교한다.
- PI architecture
- Linear
- MLP
- PD architecture
- MLP-Mixer
- Transformer
이 중 최종 선택은 MLP다. 이유는 간단하다.
- Linear는 너무 단순하다.
- Transformer/MLP-Mixer는 patch dependency를 섞는다.
- MLP는 patch를 독립적으로 처리하면서도 표현력은 충분하다.
이 점이 이 논문의 메시지와 정확히 맞아 떨어진다.
즉, 좋은 시계열 representation을 위해 꼭 복잡한 attention이 필요한 것은 아니다라는 것이다.
6. 문제 정의와 notation
논문은 시계열을 patch 단위로 다룬다. patchified input을 xp, patch embedding을 z라고 두고, 각 인덱스는 다음 의미를 갖는다.
- i=1,…,B : 배치 안의 시계열 샘플 인덱스
- c=1,…,C : 채널 인덱스
- n=1,…,N : patch 인덱스
- P: patch size
- D: patch embedding dimension
즉, 하나의 patch는
이고, 이를 임베딩한 결과는
이다.
논문은 추가로 channel independence도 사용한다. 즉, 각 channel을 독립적으로 임베딩하고 같은 모델 가중치를 공유한다. 여기에 더해 patch independence까지 적용하므로, 같은 채널 내 patch들 역시 독립적으로 임베딩된다. 다시 말해, PITS의 encoder는 특정 patch 하나만 보고 그 patch embedding을 만든다.
7. Patch Reconstruction: PITS의 핵심 pretraining task
이제 PITS의 핵심 수식으로 들어가 보자.
논문은 reconstruction head를 통해 patch embedding z2 로부터 재구성된 patch x^ 를 만든다.
즉, patch-wise linear projection을 통해 각 patch를 복원한다.
그리고 reconstruction loss는 다음과 같이 쓴다.
논문 본문에서는 complementary masking이 들어간 두 view를 고려하여 조금 길게 전개하지만, 결국 정리하면 모든 patch에 대한 단순한 MSE reconstruction loss로 떨어진다. 이것이 중요한 포인트다.
이 식의 의미
이 loss는 “다른 patch를 보고 masked patch를 맞혀라”가 아니라,
“각 patch representation이 그 patch 자체의 정보를 잘 담도록 만들어라”에 가깝다.
즉, representation learning의 목적을 inter-patch reasoning이 아니라 patch-level encoding quality에 둔 것이다.
8. Complementary Contrastive Learning: 부족한 인접 정보를 어떻게 보완하는가
그런데 이렇게 patch를 완전히 독립적으로만 처리하면, 시계열의 연속성과 인접 정보가 너무 사라지는 것 아닌가 하는 의문이 생긴다. 논문도 바로 이 점을 보완하기 위해 complementary contrastive learning(CL) 을 추가한다.
아이디어는 다음과 같다.
- 원본 시계열 x 와 같은 길이의 binary mask m 를 만든다.
- 두 개의 view를
로 만든다.
즉, 하나의 view에서 가려진 부분은 다른 view에서는 보이도록, 서로 보완적인(complementary) 마스킹을 적용한다.
Figure 3이 이 구조를 잘 보여준다. 한 view에서 빠진 patch 정보는 다른 view에서 보이므로, contrastive learning을 통해 인접/상보적 정보를 간접적으로 학습할 수 있다.
중요한 점은, 이 CL은 reconstruction을 대체하는 것이 아니라 보조적(complementary) 인 역할이라는 것이다. 즉,
patch 자체는 reconstruction으로 배우고,
patch 사이의 인접 정보는 가벼운 CL로 보완한다.
이 균형이 PITS의 핵심 설계 철학이다.
9. Contrastive loss 수식 해설
논문은 first-layer representation z1z_1 에 대해 contrastive learning을 수행한다.
두 view에서 나온 patch embedding 간 softmax probability를 다음과 같이 정의한다.
여기서 ∘ 는 dot product similarity이다.
그리고 contrastive loss는
로 정의된다. 즉, 한 view의 특정 patch와 다른 complementary view에서 대응되는 patch를 positive pair로 두고 InfoNCE 스타일로 학습한다.
왜 hierarchical CL인가
논문은 여기서 한 번 더 max-pooling을 통해 patch axis를 줄여가며, coarse-to-fine 계층 구조에서도 CL을 수행한다. 수식으로는
를 반복한다.
즉, 처음에는 fine-grained patch 수준에서, 이후에는 더 coarse한 구간 수준에서 관계를 학습한다. 이 설계는 “patch는 독립적으로 임베딩하되, adjacent TS information은 계층적으로 포착하자”는 논문의 철학과 정확히 맞아떨어진다.
10. 최종 목적함수
최종 loss는 매우 간단하다.
즉, reconstruction loss와 hierarchical contrastive loss를 더한 형태다.
이 단순함이 오히려 이 논문의 강점이다.
Transformer 기반 masked modeling은 보통 꽤 복잡한 task 설계와 attention 구조를 동반하는데, PITS는 훨씬 단순한 구성으로 오히려 더 좋은 성능을 낸다.
11. 왜 PI task가 distribution shift에 더 강한가
개인적으로 이 논문에서 가장 흥미로운 부분은 바로 이 해석이다.
PD task는 masked patch를 다른 patch들로부터 예측해야 한다. 그러면 모델은 자연스럽게 train 시점에서 자주 보던 patch 간 dependency 패턴에 강하게 의존하게 된다. 문제는 test 시점에서 trend나 amplitude, seasonality가 바뀌는 distribution shift가 오면, 그 dependency 자체가 달라질 수 있다는 점이다. 그러면 train 때 배운 “패치들 사이의 관계”가 오히려 독이 된다.
반면 PI task는 각 patch를 자기 자신 기준으로 재구성한다. 즉, 다른 patch와의 관계를 강하게 가정하지 않는다. 그래서 shift가 들어와도 representation이 더 robust할 수 있다.
Figure 5는 이를 heatmap으로 보여준다. train/test 사이 slope ratio와 amplitude ratio를 바꿔가며 PI와 PD의 MSE 차이를 비교했는데, 전 영역에서 PI task가 PD task보다 항상 같거나 더 낫고, shift가 클수록 그 차이가 더 커진다. 특히 slope가 뒤집히거나 amplitude가 커질 때 격차가 커진다.
즉, 이 논문은 단순히 성능 수치만 보여주는 것이 아니라,
patch dependency를 배우는 것이 distribution shift 하에서는 오히려 brittle할 수 있다
는 꽤 강한 메시지를 던진다.
12. Forecasting 성능: 정말 Transformer보다 나은가?
논문은 forecasting에서 PITS를 PatchTST, SimMTM, FEDformer, Autoformer, DLinear, TSMixer 등과 비교한다. 결과를 보면 꽤 인상적이다.
Table 2의 multivariate forecasting 평균 성능을 보면:
- PITS (self-supervised): 평균 MSE 0.301
- PITS w/o CL: 0.304
- PatchTST (self-supervised): 0.314
- SimMTM: 0.306
- PITS (supervised): 0.304
- PatchTST (supervised): 0.307
등으로 나타난다. 즉, self-supervised PITS가 전체 평균 기준 가장 좋은 성능을 보인다.
특히 논문은 PatchTST와의 직접 비교(Table 3)를 따로 제시한다. fine-tuning, linear probing, supervised 학습 세 경우를 비교했을 때, 평균적으로 PITS가 모두 더 좋다.
즉, PITS는 “self-supervised라서만 좋은 것”도 아니고, supervised setting에서도 경쟁력이 있다. 이는 architecture 자체가 잘 설계되었다는 뜻으로 볼 수 있다.
13. Transfer learning 성능도 강하다
이 논문은 forecasting transfer learning도 평가한다. 같은 주파수 대역인 ETT 계열끼리 옮기는 in-domain transfer뿐 아니라, Weather → ETT 같은 cross-domain transfer도 수행한다. 결과를 보면 PITS는 in-domain, cross-domain 모두에서 대부분의 경우 기존 방법보다 낮은 MSE를 보인다. 특히 cross-domain처럼 더 어려운 상황에서도 비교적 안정적으로 성능을 유지한다.
이는 앞서 말한 PI task의 robustness 해석과 자연스럽게 이어진다.
즉, patch 간 dependency를 덜 강하게 가정하기 때문에, source와 target 도메인의 패턴이 달라도 덜 흔들린다는 것이다.
14. Classification 결과: MTM도 분류에서 잘할 수 있는가
원래 시계열 분야에서는 contrastive learning이 classification에, masked modeling이 forecasting에 더 강하다는 인식이 있었다. 이 논문은 그 통념도 다시 흔든다.
Table 5를 보면 Epilepsy 데이터셋에서 classification 성능은 다음과 같다.
- TS2Vec: Accuracy 92.17, F1 85.71
- TF-C: Accuracy 93.96, F1 89.46
- SimMTM: Accuracy 94.75, F1 91.41
- PITS w/o CL: Accuracy 95.27, F1 95.30
- PITS: Accuracy 95.67, F1 95.64
즉, CL 계열보다도, 기존 MTM 계열보다도 PITS가 더 좋다. 더 놀라운 점은 complementary CL이 없어도 이미 상당히 좋다는 것이다. 이는 PI reconstruction task 자체가 좋은 representation을 만든다는 논문의 핵심 주장을 뒷받침한다.
15. Classification transfer learning에서는 더 강하다
논문 Table 6은 SleepEEG를 source로 하고 Epilepsy, FD-B, Gesture, EMG로 transfer하는 분류 실험을 보여준다. 결과는 꽤 강력하다.
예를 들어 cross-domain transfer에서:
- SleepEEG → FD-B: F1 88.63
- SleepEEG → Gesture: F1 92.48
- SleepEEG → EMG: F1 100.0
처럼 PITS가 거의 전부 최고 성능을 낸다. 특히 기존 strong baseline인 SimMTM이나 TF-C보다도 훨씬 높다.
이 역시 “PI 방식이 domain shift에 더 robust하다”는 논문의 전체 메시지와 잘 이어진다.
16. Ablation: 이 논문의 주장을 가장 잘 보여주는 실험들
이 논문은 ablation이 매우 설득력 있다. 특히 다음 네 가지가 핵심이다.
16.1 PI task vs PD task
Table 7은 Linear, MLP, MLP-Mixer, Transformer 모든 architecture에 대해 PI pretraining이 PD pretraining보다 consistently 좋음을 보여준다. 즉, architecture와 상관없이 task 자체로도 PI가 더 낫다.
16.2 어떤 architecture가 좋은가
MLP가 가장 좋은 평균 성능을 내면서도 효율적이다. 즉, 굳이 Transformer처럼 무거운 구조가 필요하지 않다.
16.3 CL은 어디에 붙이는 것이 좋은가
Table 9를 보면 PI reconstruction은 second layer representation에서, CL은 first layer representation에서 줄 때 가장 좋다.
즉, 낮은 층에서는 local/adjacent 관계를 contrastively 잡고, 조금 더 깊은 층에서는 patch 자체를 reconstruction하게 하는 것이 가장 자연스럽다는 해석이 가능하다.
16.4 Dropout은 왜 중요한가
PI task는 잘못하면 identity mapping으로 trivial solution에 빠질 수 있다. Figure 4와 Appendix K는 dropout이 이 문제를 완화함을 보여준다. hidden dimension이 patch size보다 클 때도 dropout을 넣으면 안정적으로 좋은 성능을 낸다.
17. 왜 masked patch prediction(PD)은 심지어 0 입력보다도 못한가
논문에서 꽤 인상적인 결과 중 하나는 Table 8과 Appendix L이다. 저자들은 네 가지 pretraining task를 비교한다.
- Xu→Xu: unmasked patch를 자기 자신으로 복원 (PI)
- Xu→Xm: unmasked patch로 masked patch를 예측 (PD)
- 0→Xu: zero input으로 unmasked patch 예측
- 0→0: zero input autoencoding
결과를 보면, 놀랍게도 PD task가 zero-based baseline보다도 못한 경우가 많다. 반면 PI task는 가장 좋다.
이 결과는 꽤 강한 메시지를 준다.
즉, 기존 masked modeling에서 당연하게 여겨졌던 “masked 부분을 맞히게 해야 representation이 좋아진다”는 전제가 시계열에서는 반드시 맞지 않을 수 있다는 것이다.
18. 해석 가능성: MLP가 Transformer보다 왜 더 interpretable한가
Figure 7은 ETTh1 데이터에서 downstream linear head의 weight matrix를 시각화한다. 결과를 보면 Transformer 위에 얹은 head의 weight는 거의 균일하게 퍼져 있는 반면, MLP 기반 PITS에서는 최근 patch에 더 큰 가중치, 그리고 계절성(seasonality)에 해당하는 패턴이 더 분명하게 나타난다.
저자들은 이를 두고, Transformer는 patch들 사이에 정보가 많이 섞여 정보 누수(leak)가 생기기 때문에 각 patch의 기여를 해석하기 어렵다고 말한다. 반면 MLP는 patch를 독립적으로 처리하므로, downstream head의 weight가 곧바로 각 patch의 중요도를 보여준다.
이 부분은 단순 성능 외에도 중요한 의미가 있다. 특히 산업 시계열에서는 “어떤 구간이 예측에 중요했는가”를 설명해야 하는 경우가 많기 때문이다.
19. 이 논문의 핵심 메시지를 다시 정리하면
이 논문은 사실상 세 가지 메시지를 말하고 있다.
첫째, 시계열 patch dependency를 꼭 강하게 학습할 필요는 없다.
기존 MTM은 masked patch prediction을 위해 patch 간 상호작용을 강하게 요구했지만, 그게 오히려 representation learning에는 비효율적일 수 있다.
둘째, patch 자체를 잘 임베딩하는 것이 더 중요할 수 있다.
PI reconstruction은 각 patch representation이 그 patch 정보를 잘 담게 하며, 이것이 forecasting과 classification 모두에 유리하게 작동했다.
셋째, 필요한 인접 정보는 약한 보조 신호로 충분하다.
patch 간 관계를 encoder 전체에 강제로 녹여 넣는 대신, complementary CL로 필요한 adjacent information만 계층적으로 보완하는 편이 더 효율적이다.
20. 개인적인 해석
개인적으로 이 논문은 단순히 “MLP가 Transformer보다 낫다”는 주장보다 훨씬 더 흥미롭다. 진짜 핵심은 representation learning에서 무엇을 pretext task로 삼아야 하는가에 대한 재고라고 생각한다.
기존 masked modeling은 “빈칸 맞히기”를 잘하면 representation도 좋아질 것이라고 암묵적으로 가정해 왔다. 그런데 이 논문은 시계열에서는 그 빈칸 맞히기 자체가 너무 강한 dependency 학습을 요구하고, 그것이 오히려 distribution shift나 transfer learning에서는 불리할 수 있다고 말한다.
즉, 이 논문은 시계열 SSL의 목적을 다음처럼 다시 본다.
- 미래를 맞히거나
- 가려진 patch를 맞히는 능력 자체보다,
각 patch를 얼마나 안정적이고 robust하게 표현하느냐가 더 중요할 수 있다는 것이다.
이 관점은 꽤 설득력이 있다. 시계열은 본질적으로 noise, trend change, seasonal shift, sampling frequency mismatch 등에 자주 노출되기 때문이다. 그런 환경에서는 patch 간 dependency를 과하게 외우는 모델보다, 각 patch를 robust하게 encode하는 모델이 더 잘 일반화될 수 있다.
21. 마무리
정리하면, 이 논문은 시계열 masked modeling의 기본 가정을 다시 묻고, Patch Independence라는 간단하지만 강력한 방향을 제시한 논문이다.
- PD task: masked patch를 다른 patch로부터 예측
- PI task: 각 patch를 자기 자신으로 재구성
- PD architecture: Transformer, MLP-Mixer
- PI architecture: Linear, MLP
그리고 이 논문은 PI task + PI architecture + complementary CL의 조합인 PITS가 forecasting과 classification 모두에서 더 좋은 성능, 더 강한 transferability, 더 나은 robustness, 더 높은 효율성을 보인다고 실험으로 보여준다.
개인적으로는 이 논문이 “복잡한 dependency modeling이 항상 representation learning에 좋은 것은 아니다”라는 점을 아주 잘 보여준다고 느꼈다. 오히려 시계열에서는 더 단순한 pretraining objective와 더 가벼운 구조가 더 좋은 inductive bias가 될 수 있다는 점이 인상적이었다.