시계열 contrastive learning에서 “모든 negative를 똑같이 멀리 보내는 것”이 정말 맞을까?
1. 들어가며
시계열 데이터는 금융, 전력, 헬스케어, 제조, 교통 등 거의 모든 산업 분야에서 등장한다. 그런데 시계열 데이터의 가장 큰 문제 중 하나는 라벨링이 비싸고 어렵다는 점이다. 이미지처럼 눈으로 보고 바로 구분할 수 있는 경우도 있지만, 시계열은 종종 도메인 지식이 있어야만 의미를 해석할 수 있다. 예를 들어 설비 진동 데이터나 생체신호 데이터는 전문가가 아니면 어떤 패턴이 정상이고 어떤 패턴이 이상인지 판단하기 어렵다. 이런 이유로 시계열 분야에서도 self-supervised learning이 점점 중요해지고 있다.
최근 self-supervised learning의 대표 주자 중 하나는 contrastive learning이다. 핵심 아이디어는 간단하다. 같은 원본 데이터에서 생성한 두 개의 view는 가깝게 만들고, 다른 데이터에서 나온 view는 멀게 만든다. 이미지에서는 SimCLR 같은 방법이 이 원리를 통해 매우 좋은 표현을 학습했다. 시계열 분야에서도 TS2Vec, TS-TCC 같은 contrastive learning 기반 방법들이 강한 성능을 보였다.
하지만 이 논문은 여기서 중요한 문제를 제기한다.
시계열에서 정말 “같은 샘플만 positive, 나머지는 전부 똑같은 negative”라고 봐도 되는가?
논문 저자들은 그렇지 않다고 본다. 왜냐하면 시계열에는 일반적인 contrastive learning이 놓치고 있는 두 가지 중요한 구조가 있기 때문이다.
- 서로 다른 시계열 인스턴스끼리도 비슷할 수 있다.
예를 들어 동작 센서 데이터나 ECG 데이터는 서로 다른 샘플이더라도 꽤 유사한 shape를 가질 수 있다. - 한 시계열 내부에서도 인접한 시점들은 본질적으로 서로 강하게 연관되어 있다.
즉, 시간축 근처 값들은 보통 비슷하거나 매끄럽게 연결된다.
기존 hard contrastive learning은 이러한 구조를 무시한 채, positive는 1, negative는 0처럼 딱 잘라서 관계를 정의한다. 이 논문은 그 점이 시계열 표현학습의 품질을 떨어뜨릴 수 있다고 지적한다. 그래서 제안된 방법이 바로 SoftCLT (Soft Contrastive Learning for Time series) 이다.
2. 이 논문이 던지는 핵심 문제의식
기존 contrastive learning에서는 보통 다음과 같이 생각한다.
- 같은 샘플의 두 augmentation view → positive
- 다른 샘플의 view → negative
이 정의는 이미지에서는 꽤 잘 맞는 경우가 많다. 서로 다른 이미지 두 장이 픽셀 단위로 비슷하다고 해서 semantic하게 비슷하다는 보장이 없기 때문이다. 그런데 시계열은 조금 다르다. 시계열은 원본 데이터 공간(data space) 에서의 거리 자체가 꽤 의미 있는 경우가 많다. 예를 들어 DTW(Dynamic Time Warping) 같은 거리 척도는 시계열 간 유사성을 재는 데 오래전부터 널리 쓰여 왔다.
즉, 서로 다른 샘플이라도 실제로는 매우 비슷한 시계열일 수 있는데, 기존 CL은 이들을 무조건 negative로 밀어낸다. 이는 representation 공간에서 원래 가까워야 할 샘플들까지 억지로 멀어지게 만들 수 있다는 뜻이다.
또 시간축 안에서도 문제가 있다. 기존 temporal contrastive learning은 다른 시점끼리를 모두 거의 비슷한 방식으로 contrast하는 경우가 많다. 하지만 실제 시계열에서는 t 시점과 t+1시점은 t시점과 t+100시점보다 훨씬 비슷할 가능성이 높다. 그런데 이를 모두 똑같은 negative처럼 다루는 것은 시간 구조를 거스르는 셈이다.
그래서 저자들은 hard assignment 대신 soft assignment, 즉 0과 1 사이의 연속적인 관계 강도를 도입한다. 이것이 이 논문의 핵심이다.
3. 기본 배경: 시계열 contrastive learning은 어떻게 작동하는가
이 논문을 이해하려면 먼저 시계열 contrastive learning의 두 축을 이해하는 것이 좋다.
3.1 Instance-wise contrastive learning
이것은 서로 다른 시계열 샘플들 사이의 관계를 다루는 contrastive learning이다.
예를 들어 배치 안에 시계열 x1,x2,…,xN 가 있을 때, 각 시계열에 augmentation을 적용해 두 개의 view를 만든다. 같은 샘플에서 나온 두 view는 positive, 다른 샘플들은 negative로 본다.
3.2 Temporal contrastive learning
이것은 한 시계열 내부의 서로 다른 시간 시점들 사이의 관계를 다룬다.
즉, 시계열의 각 timestamp representation을 학습하면서 시간 구조를 포착하려는 방식이다. TS2Vec 같은 방법은 시간축 상의 표현들을 instance 차원과 temporal 차원 양쪽에서 contrastive하게 학습한다.
이 논문은 이 두 축 모두에 soft assignment를 도입한다. 그래서 단순히 “새로운 loss 하나”가 아니라, 시계열 CL의 관계 정의 자체를 더 부드럽고 현실적으로 바꾸는 접근이라고 볼 수 있다.
4. SoftCLT의 핵심 아이디어
Figure 1을 보면 hard CL과 soft CL의 차이가 아주 직관적으로 나타난다. hard CL에서는 기준 샘플에 대해 같은 augmentation view만 빨간색 positive이고, 나머지는 모두 0인 negative다. 반면 SoftCLT에서는 양옆 샘플이나 가까운 시간대에 대해 0.2, 0.5, 0.8 같은 soft assignment를 준다. 즉, 완전한 positive도 아니고 완전한 negative도 아닌 중간 관계를 허용한다.
저자들은 이 아이디어를 두 부분으로 나눈다.
- Soft Instance-wise Contrastive Learning
- Soft Temporal Contrastive Learning
5. Soft Instance-wise Contrastive Learning
먼저 instance 차원에서 보자. 서로 다른 시계열 샘플 두 개 xi,xi′ 가 있을 때, 기존 hard CL은 i≠i′ 이면 무조건 negative로 본다. 하지만 SoftCLT는 원본 시계열 공간에서 두 시계열의 거리를 계산한 뒤, 거리가 가까우면 더 큰 soft weight를 준다. 이때 사용되는 수식은 다음과 같다.
여기서
- D(xi,xi′): 두 시계열 사이의 거리
- σ(⋅): sigmoid 함수
- τ: soft assignment의 sharpness를 조절하는 하이퍼파라미터
- α: 상한 역할을 하는 값이다.
이 식을 해석해보면 매우 직관적이다.
- 두 시계열이 가까우면 D가 작다.
- 그러면 −τID는 덜 음수가 되고 sigmoid 값이 커진다.
- 따라서 wI가 커진다.
즉, 비슷한 시계열일수록 완전한 negative로 취급하지 않고, 어느 정도 positive-like하게 본다는 뜻이다.
왜 굳이 sigmoid를 쓰는가?
sigmoid를 쓰면 distance에 따라 부드럽게 0과 1 사이 값을 줄 수 있다. 너무 갑자기 잘라버리지 않고, “어느 정도 비슷한가”를 연속적으로 표현할 수 있기 때문이다. 논문은 다른 커널이나 선형 함수도 ablation으로 비교했지만, sigmoid 기반 설계가 가장 좋은 성능을 보였다고 보고한다.
왜 data space 거리인가?
여기가 이 논문의 매우 중요한 포인트다. 컴퓨터 비전에서 soft contrastive learning은 보통 embedding space 이웃을 사용한다. 하지만 이 논문은 시계열에서는 원본 입력 공간의 거리 자체가 strong self-supervision이라고 본다. 실제로 embedding-space soft CL 방법들인 NNCLR, ASCL을 시계열에 적용했을 때 오히려 TS2Vec 성능이 떨어졌고, SoftCLT만 성능을 올렸다.
즉, 시계열에서는 “원래 데이터가 얼마나 비슷한가” 자체가 유용한 신호라는 것이다.
6. Soft Instance-wise Loss 수식 해설
논문은 InfoNCE 스타일의 softmax 확률을 먼저 정의한다.
여기서 ri,t 는 샘플 i 의 시점 t 에서의 representation이고, ∘ 는 dot product similarity이다. 즉, 기준 representation이 다른 representation들과 얼마나 비슷한지를 softmax probability로 본 것이다.
그 다음 soft instance-wise loss는
로 정의된다.
이 식을 말로 풀면 다음과 같다.
- 첫 번째 항은 기존 contrastive learning의 진짜 positive pair를 당기는 항이다.
- 두 번째 항은 나머지 샘플들과의 관계를 보되, 전부 동일하게 취급하지 않고 soft weight wI 로 조절한다.
즉, hard CL에서는 두 번째 항의 weight가 사실상 전부 0처럼 작동해 “positive 하나 vs 나머지 negative 전체” 구조가 되는데, SoftCLT는 이 나머지 샘플들 중에서도 비슷한 샘플에게는 더 큰 weight를 부여한다.
이 덕분에 representation이 유사 샘플 구조를 보존하면서도 contrastive하게 학습된다.
7. Soft Temporal Contrastive Learning
이제 temporal 차원을 보자. 시계열에서는 가까운 시간끼리 값이 비슷한 경우가 많다. 그래서 시점 t 와 t′의 차이가 작을수록 더 큰 soft assignment를 주는 것이 자연스럽다. 이를 위해 저자들은 다음 식을 쓴다.
여기서
- ∣t−t′∣: 시점 차이
- τT: 시간 차이에 따른 sharpness를 조절하는 하이퍼파라미터이다.
이 식도 해석은 쉽다.
- 시간 차이가 작으면 ∣t−t′∣ 가 작다.
- 따라서 soft assignment가 커진다.
- 즉, 가까운 시점일수록 더 유사한 관계를 갖는다고 본다.
Figure 2(a)는 τT값에 따라 soft assignment가 어떻게 달라지는지 보여준다. τT가 작을수록 넓은 범위에 대해 부드럽게 weight가 퍼지고, τT가 클수록 reference 주변에 집중된 sharper한 분포가 만들어진다.
Hierarchical temporal loss
논문은 TS2Vec의 hierarchical contrastive setup도 그대로 활용한다. representation에 max-pooling을 반복 적용하면, 상위 레벨로 갈수록 한 time step이 더 긴 시간 구간을 대표하게 된다. 그러면 인접한 step끼리의 semantic 차이가 더 커질 수 있다. 그래서 논문은 depth가 깊어질수록 temporal sharpness를 키우는 방식, 즉
를 쓴다. 여기서 m 은 pooling kernel size, k 는 depth다.
이 부분은 꽤 섬세한 설계다. 단순히 시간축 차이만 보는 것이 아니라, hierarchy가 깊어질수록 같은 “한 칸 차이”의 의미가 달라진다는 점을 반영한 것이다.
8. Soft Temporal Loss 수식 해설
Temporal dimension에서도 먼저 softmax probability를 정의한다.
즉, 한 시계열 내부에서 특정 시점 representation이 다른 시간대 representation들과 상대적으로 얼마나 비슷한지를 본다.
그 다음 temporal loss는 다음과 같다.
이것 역시 구조는 instance-wise loss와 같다.
- augmentation된 동일 시점 쌍은 강한 positive
- 나머지 시간대 쌍은 시간 차이에 따라 soft weighting
즉, hard CL처럼 전부 똑같이 멀어지게 하는 것이 아니라, 가까운 시점들은 어느 정도 비슷하게 남겨두도록 학습을 유도한다.
9. 최종 목적함수
마지막으로 SoftCLT는 instance-wise loss와 temporal loss를 합친다.
여기서 λ 는 두 loss의 비중을 조절하는 하이퍼파라미터이며, 기본값은 0.5다.
즉, 최종적으로 SoftCLT는 다음 두 가지를 동시에 만족하도록 representation을 학습한다.
- 비슷한 시계열 인스턴스는 embedding space에서도 어느 정도 가깝게
- 인접한 시간대는 temporal representation에서도 어느 정도 가깝게
기존 contrastive learning이 “양자택일식 관계”를 학습했다면, SoftCLT는 시계열의 구조를 더 연속적으로 반영한다고 볼 수 있다.
10. 이 논문이 흥미로운 이유: InfoNCE의 일반화
이 논문은 SoftCLT가 단순 heuristic이 아니라, 기존 InfoNCE의 자연스러운 일반화라고 주장한다. hard assignment를 쓰면 standard contrastive loss가 되고, soft assignment를 쓰면 그 확장형이 된다. 부록에서는 이 soft loss가 normalized soft assignment를 target distribution으로 하는 scaled KL divergence 형태로 해석될 수 있다고 설명한다.
즉, 기존 CL이 “one-hot target”을 맞추는 느낌이었다면, SoftCLT는 “soft target distribution”을 맞추는 쪽에 가깝다. 이 해석은 꽤 중요하다. 왜냐하면 이 방법이 단순히 시계열만의 특수 트릭이 아니라, contrastive learning을 보다 부드러운 분포 정합 문제로 재해석한 것이기 때문이다.
11. 실험 결과 1: 시계열 분류
논문은 먼저 UCR 125개 데이터셋과 UEA 29개 데이터셋에서 분류 성능을 평가한다. 여기서 SoftCLT는 TS2Vec 위에 plug-and-play처럼 붙여서 사용된다. 결과는 상당히 강하다.
- UCR 평균 정확도:
TS2Vec 83.0 → SoftCLT 85.0 - UEA 평균 정확도:
TS2Vec 71.2 → SoftCLT 75.1
즉, 각각 +2.0%, +3.9% 성능 향상을 보인다. 평균 rank도 크게 좋아졌고, critical difference diagram에서도 성능 향상이 통계적으로 유의미하다고 보고한다.
이 수치는 꽤 인상적이다. 이유는 TS2Vec 자체가 이미 강한 baseline이기 때문이다. 단순한 augmentation 추가나 모델 확장이 아니라, loss에서 관계를 soft하게 바꾸는 것만으로 이 정도의 향상이 났다는 점이 중요하다.
12. 실험 결과 2: 반지도 학습
논문은 semi-supervised classification에서도 SoftCLT를 TS-TCC와 CA-TCC에 붙여 실험한다. 1% 혹은 5%의 labeled data만 사용하는 매우 label-scarce setting에서 비교했는데, 전반적으로 SoftCLT가 가장 좋은 결과를 낸다. 예를 들어 여러 데이터셋에서 self-supervised fine-tuning setting과 semi-supervised setting 모두에서 최고 성능을 자주 기록한다. 특히 HAR, Epilepsy, FordA/B, POC, StarLightCurves, ElectricDevices 등 다양한 데이터셋에서 일관된 향상을 보인다.
이 결과가 의미하는 바는 명확하다. SoftCLT가 단순히 unsupervised classification benchmark에서만 통하는 것이 아니라, 소량 라벨 환경에서도 representation quality를 높여준다는 것이다.
13. 실험 결과 3: 전이학습
전이학습 결과도 매우 흥미롭다. 논문은 in-domain transfer와 cross-domain transfer를 모두 평가한다. SleepEEG로 pretrain하고 Epilepsy, FD-B, Gesture, EMG 같은 다른 데이터셋으로 transfer하는 실험인데, TS-TCC에 SoftCLT를 적용했을 때 거의 모든 설정에서 큰 폭의 향상이 나타난다. 특히 transfer learning without adaptation setting에서 CA-TCC 대비 평균 정확도를 10.68% 올린 결과는 매우 강력하다.
시계열에서 transfer learning은 생각보다 어려운 문제다. 소스와 타깃의 sampling frequency, noise 특성, domain semantics가 모두 다를 수 있기 때문이다. 그런 점에서 SoftCLT가 원본 시계열의 구조적 유사성을 반영한 representation을 만든다는 해석이 더 설득력을 얻는다.
14. 실험 결과 4: 이상탐지
이 논문은 anomaly detection에서도 SoftCLT의 효과를 보여준다. Yahoo와 KPI 데이터셋에서 normal setting과 cold-start setting 모두 실험했는데, TS2Vec 대비 SoftCLT가 F1을 대략 2% 내외 향상시킨다. Yahoo normal setting에서는 72.3 → 74.2, KPI normal setting에서는 67.6 → 70.1로 올라간다. cold-start setting에서도 유사한 향상이 관찰된다.
흥미로운 점은 anomaly detection에서는 instance-wise CL을 아예 빼는 것이 더 좋은 경우가 많았다는 것이다. 논문은 이상탐지는 “다른 시계열과의 관계”보다 “한 시계열 내부의 이상 구간 탐지”가 중요하기 때문이라고 해석한다. 이것도 SoftCLT의 장점이다. plug-and-play 구조라서 task에 따라 instance/temporal 비중을 유연하게 조절할 수 있다.
15. Ablation이 말해주는 것
이 논문은 ablation도 꽤 깔끔하다.
15.1 instance-wise만 soft하게 / temporal만 soft하게 / 둘 다 soft하게
둘 중 하나만 soft하게 바꿔도 성능이 오르고, 둘 다 적용했을 때 가장 좋다. UCR에서는 둘 다 적용 시 +2.7%, UEA에서는 +3.7% 성능 향상이 보고된다.
15.2 temporal soft assignment 함수 비교
Neighbor, Linear, Gaussian, Sigmoid를 비교했는데, Sigmoid가 가장 좋다. 즉, soft assignment를 시간차에 따라 부드럽게 감소시키는 설계가 효과적이라는 것이다.
15.3 instance-wise 상한 α\alpha
논문은 α 를 통해 “같은 원본 시계열의 augmentation pair”와 “다른 시계열이지만 매우 유사한 pair”를 완전히 같게 보지 않도록 한다. 실험 결과 α=0.5 가 가장 좋았다. 즉, 비슷한 다른 시계열은 어느 정도 가까워야 하지만, 그래도 같은 샘플 augmentation pair가 가장 강한 positive여야 한다는 뜻이다.
15.4 distance metric 비교
Cosine, Euclidean, DTW, TAM을 비교했을 때 soft instance-wise CL은 어떤 metric을 써도 대체로 robust했고, DTW와 TAM이 가장 좋았다. 특히 길이가 가변적인 시계열에서는 time warping을 고려하는 DTW/TAM의 장점이 더 잘 나타났다.
16. 분석 그림이 보여주는 것
이 논문은 단순 accuracy table만 있는 것이 아니라, 왜 성능이 좋아졌는지 시각적으로도 보여준다.
16.1 Pairwise distance matrix
Figure 4를 보면 hard CL과 soft CL로 학습한 representation의 pairwise distance matrix를 레이어 깊이에 따라 비교한다. soft CL은 원래 비슷했던 클래스 간 구조를 더 잘 유지하는 반면, hard CL은 depth가 깊어질수록 그 관계를 잃는 모습을 보인다.
16.2 Temporal representation t-SNE
Figure 5에서는 한 시계열 내부의 timestamp representations를 t-SNE로 시각화한다. hard CL은 coarse한 neighborhood만 잡고 세밀한 시간 구조를 잘 구분하지 못하는 반면, soft CL은 훨씬 fine-grained한 temporal 관계를 포착한다.
17. 이 논문의 장점
내가 보기에 이 논문의 장점은 크게 다섯 가지다.
17.1 문제 제기가 정확하다
시계열에서는 원본 공간의 거리와 시간 인접성이 중요한데, 기존 hard CL은 이를 무시한다는 지적이 매우 설득력 있다. 이미지와 시계열의 차이를 잘 짚었다.
17.2 방법이 단순하다
새로운 거대한 아키텍처를 제안한 것이 아니라, 기존 contrastive loss에 soft assignment를 추가한 plug-and-play 방식이다. TS2Vec, TS-TCC, CA-TCC 등에 쉽게 붙일 수 있다는 점이 실용적이다.
17.3 수식이 직관적이다
distance가 가까우면 weight를 크게, 시간이 가까우면 weight를 크게. 말로 설명한 직관이 수식에도 그대로 반영된다.
17.4 실험 범위가 넓다
classification, semi-supervised classification, transfer learning, anomaly detection, forecasting까지 거의 시계열 representation learning의 주요 downstream task를 다 실험했다.
17.5 해석 가능성이 좋다
pairwise distance matrix, t-SNE, seasonality/shift visualization 등으로 왜 soft CL이 잘 되는지 보여준다.
18. 생각해볼 한계
물론 한계도 있다.
18.1 distance metric 계산 비용
instance-wise soft assignment는 원본 시계열 간 거리를 계산해야 한다. DTW는 강력하지만 계산량이 큰 편이다. 논문은 offline precompute나 FastDTW를 제안하지만, 초대형 데이터셋에서는 여전히 부담이 될 수 있다.
18.2 “가깝다 = semantic하게 비슷하다”가 항상 맞는가
많은 시계열 문제에서 이 가정은 그럴듯하지만, 모든 문제에서 성립하는 것은 아닐 수 있다. 예를 들어 특정 class-discriminative pattern은 아주 짧은 구간에만 있고 전체 shape는 오히려 비슷하지 않을 수도 있다. 그런 경우 raw distance 기반 soft assignment가 항상 최선이라고 보긴 어렵다.
18.3 seasonality를 직접적으로 모델링하지는 않는다
논문은 seasonality가 있어도 성능 향상은 유지된다고 보여주지만, seasonality 자체를 명시적으로 분해하거나 활용하는 방식은 아니다. 아주 강한 주기구조를 가진 데이터에선 추가 연구 여지가 있어 보인다.
19. 개인적인 해석
이 논문을 읽고 가장 크게 느낀 점은, 결국 contrastive learning에서 중요한 것은 무엇을 positive/negative로 정의할 것인가라는 아주 근본적인 질문이라는 점이다.
기존 CL은 단순하고 강력했지만, 사실상 “관계의 이산화”를 전제로 한다. 같은 샘플이면 1, 아니면 0이다. 그런데 시계열은 그렇게 깔끔하게 나뉘지 않는다.
- 서로 다른 샘플인데도 비슷한 패턴일 수 있고,
- 같은 샘플 안에서도 시간상 멀고 가까움의 정도가 존재한다.
SoftCLT는 바로 이 애매한 구조를 억지로 잘라내지 않고, 연속적인 유사도로 반영한다.
그래서 이 논문은 단순히 시계열용 contrastive loss를 하나 더 만든 것이라기보다,
“시계열에서는 hard discrimination보다 soft relational learning이 더 자연스럽다”
는 메시지를 던지는 논문처럼 느껴졌다.
20. 마무리
정리하면, 이 논문은 시계열 contrastive learning의 한계를 아주 잘 짚고, 그 해결책으로 soft assignment 기반 contrastive learning을 제안한 논문이다.
핵심을 다시 정리하면 이렇다.
- 기존 hard CL은
같은 샘플만 positive, 나머지는 전부 negative로 본다. - 하지만 시계열에서는
서로 다른 샘플끼리도 비슷할 수 있고,
시간적으로 가까운 시점도 더 유사하다. - SoftCLT는 이를 반영해
- instance-wise 차원에서는 원본 시계열 간 거리로,
- temporal 차원에서는 시간 차이로
soft assignment를 준다.
- 그 결과 classification, semi-supervised learning, transfer learning, anomaly detection 등 다양한 과제에서 일관된 성능 향상을 보였다.
개인적으로는 이 논문이 “시계열에서는 원본 데이터 공간의 구조 자체가 중요한 self-supervision”이라는 점을 잘 보여준다고 생각한다. 앞으로 시계열 representation learning에서도 무조건 더 복잡한 model을 쌓기보다, loss가 데이터의 구조를 얼마나 자연스럽게 반영하는가가 더 중요한 방향이 될 수도 있겠다는 생각이 들었다.