[논문 리뷰] When and Where to Reset Matters for Long-Term Test-Time Adaptation

1. 들어가며

최근 딥러닝 모델은 학습 당시와 다른 환경, 즉 distribution shift가 발생한 환경에서 자주 사용된다. 예를 들어 이미지 분류 모델이 깨끗한 이미지로 학습되었더라도, 실제 서비스 환경에서는 노이즈가 섞이거나 흐려진 이미지, 전혀 다른 스타일의 입력을 지속적으로 만나게 된다. 이런 문제를 다루기 위해 등장한 것이 Test-Time Adaptation(TTA) 이다. TTA는 말 그대로 테스트 시점에 모델이 스스로 적응하도록 만드는 방법이다.

그런데 문제는, 테스트 데이터가 한 번에 조금씩 계속 들어오는 continual TTA 혹은 long-term TTA 환경에서는 모델이 장기간 적응을 반복하면서 점점 잘못된 방향으로 업데이트될 수 있다는 점이다. 논문은 이 현상을 model collapse라고 부른다. 모델이 collapse되면 모든 입력에 대해 소수의 클래스만 반복적으로 예측하게 되고, 사실상 적응이 아니라 망가짐에 가까운 상태가 된다.

이 논문은 바로 이 지점을 겨냥한다. 기존 연구들은 collapse를 막기 위해 모델을 주기적으로 초기 상태로 reset하는 전략을 사용했지만, 저자들은 이 방식이 두 가지 큰 한계를 가진다고 본다.

첫째, 언제 reset할지를 고정된 주기로 정하면 실제 collapse 위험과 무관하게 너무 일찍 혹은 너무 늦게 reset될 수 있다.
둘째, 어디를 reset할지를 고려하지 않고 전부 초기화하면, 그동안 테스트 환경에서 어렵게 쌓은 유용한 적응 지식까지 함께 사라진다.

이 문제를 해결하기 위해 제안된 방법이 바로 ASR(Adaptive and Selective Reset) 이다.

---

2. 이 논문이 풀고자 하는 핵심 문제

이 논문의 출발점은 매우 명확하다.

장기적인 test-time adaptation에서는 오류가 누적되고, 그 결과 모델이 collapse할 수 있다.
따라서 단순히 “적응을 계속 잘 하게 만들기”보다, 언제 collapse 위험이 높아졌는지 감지하고, 필요한 부분만 적절히 reset하면서, 기존에 얻은 중요한 지식은 최대한 보존하는 것이 중요하다.

즉, 이 논문은 단순한 TTA 성능 향상이 아니라 다음 세 가지를 동시에 달성하려 한다.

1. collapse를 사전에 감지할 것
2. 전체가 아니라 필요한 레이어만 선택적으로 reset할 것
3. reset으로 잃어버린 중요한 지식을 다시 회복할 것

이 관점이 이 논문의 가장 큰 차별점이다.

---

3. 기존 reset 방식의 한계

기존의 대표적 reset 방식인 RDumb는 일정 step마다 모델을 원래의 source model 파라미터로 되돌린다. 직관적으로는 괜찮아 보인다. 누적된 오류를 지워 버리면 collapse에서 벗어날 수 있기 때문이다.

하지만 논문은 이 방식이 실제 장기 적응 환경에서는 꽤 비효율적이라고 지적한다. 실제로 RDumb는 reset 직후 성능이 급격히 떨어지는 경우가 많고, 다시 reset 전 수준까지 회복하는 데도 꽤 긴 시간이 걸린다. 저자들은 부록에서 RDumb의 해로운 reset이 전체의 약 40% 정도이며, 해로운 reset에서는 평균적으로 -11.55%p의 성능 하락이 발생한다고 분석한다. 반면 ASR의 경우 해로운 reset의 평균 하락폭은 -2.50%p로 훨씬 작다.

즉, “한 번에 전부 초기화”하는 방식은 collapse를 막는 데는 도움이 될 수 있어도, 적응 중 쌓인 유용한 정보까지 날려 버려서 오히려 장기적으로는 비효율적일 수 있다.

---

4. 제안 방법 개요: ASR

ASR은 이름 그대로 Adaptive하면서도 Selective한 reset 방법이다. 그림으로 보면 기존 RDumb는 “정해진 간격마다 전체 reset”이고, ASR은 “상황을 보면서 필요한 시점에 필요한 레이어만 reset”하는 구조이다. 위 사진에서도 이 차이를 직관적으로 보여준다. RDumb는 reset 직후 성능이 크게 꺾이는 반면, ASR은 더 안정적이고 더 높은 성능을 보인다.

ASR은 크게 세 구성요소로 이루어진다.

• Adaptive and Selective Reset
• Importance-aware Knowledge Recovery
• On-the-fly Adaptation Adjustment

이제 각각을 차례대로 보자.

---

5. 언제 reset할 것인가: Adaptive Reset

5.1 prediction concentration

저자들은 collapse의 핵심 징후를 예측 클래스의 쏠림(concentration) 으로 본다. 모델이 정상적으로 작동하면 여러 클래스에 걸쳐 예측이 분산되겠지만, collapse가 진행되면 점점 몇 개 클래스에만 예측이 몰리게 된다.

이를 수식화한 값이 prediction concentration Ct​ 이다.
논문은 한 배치의 평균 logits에 softmax를 적용한 뒤, 그 분포의 엔트로피 형태를 이용해 concentration을 계산한다. 여기서 중요한 점은, 단순히 평균 softmax를 쓰지 않고 Softmax(Mean(Logits)) 를 사용했다는 것이다. 저자들은 이것이 높은 confidence를 가진 예측의 지배력을 더 잘 반영하므로 collapse 감지에 유리하다고 설명한다. 실제 분석에서도 이 선택이 더 효과적이었고, CCC-Hard에서 Mean(Softmax(Logits))는 0.69% 수준으로 무너졌지만 Softmax(Mean(Logits))는 훨씬 안정적이었다.

5.2 cumulative concentration과 reset 조건

하지만 어떤 시점의 concentration 값이 “높다”는 것만으로는 reset 여부를 정하기 어렵다. 데이터 자체가 클래스 불균형일 수도 있기 때문이다. 그래서 저자들은 현재 concentration Ct 를 과거의 누적 평균인 cumulative concentration Cˉt−1와 비교한다.

• 현재 concentration이 누적 기준보다 크면
• 즉, Ct>Cˉt−1​ 이면
• collapse 위험이 커졌다고 판단하고 reset을 트리거한다.

이 아이디어가 꽤 설득력 있는 이유는, 절대적인 임계값이 아니라 자기 자신의 장기 평균 대비 이상 징후를 보는 방식이기 때문이다. 논문은 이 concentration과 실제 정확도 사이의 상관계수가 0.88이라고 보고하며, 상당히 강한 상관을 보였다고 설명한다. 즉, concentration이 높아질수록 정확도는 낮아지고, 이는 collapse 위험을 잘 반영한다는 뜻이다.

---

6. 어디를 reset할 것인가: Selective Reset

ASR의 두 번째 핵심은 reset을 전체 파라미터에 적용하지 않는다는 점이다.

저자들은 label noise로 인한 corruption이 네트워크의 뒤쪽, 즉 출력단에 가까운 레이어부터 시작된다는 기존 연구를 바탕으로, collapse 초기에 앞쪽 레이어는 비교적 덜 손상되고 뒤쪽 레이어가 더 심하게 망가진다고 본다. 따라서 reset도 출력에 가까운 레이어부터 우선적으로 적용하는 것이 합리적이라는 것이다.

reset 비율은 다음처럼 정해진다.

• collapse 정도를 Ct−Cˉt−1로 측정하고
• 이 값이 클수록 더 많은 레이어를 reset한다.
• 기본 최소 reset 비율 r0 위에 severity에 비례한 값을 더해 reset proportion rt 를 결정한다.

즉, 가볍게 흔들리는 상황에서는 일부 뒤쪽 레이어만 reset하고, 정말 심하게 collapse가 진행될 때만 더 넓은 범위를 reset한다.

이 부분이 개인적으로 이 논문의 가장 예쁜 설계라고 느껴졌다. 기존 reset은 “망가졌으면 전부 갈아엎자”에 가까웠다면, ASR은 “어디가 얼마나 망가졌는지 보고 그만큼만 손보자”는 접근이다.

---

7. reset으로 잃어버린 지식은 어떻게 복구하는가: Importance-aware Knowledge Recovery

Selective reset을 하더라도 reset된 레이어 안에는 과거 테스트 도메인에서 얻은 유용한 정보가 남아 있을 수 있다. 이를 그냥 버리면 recurring domain이나 비슷한 shift가 다시 나타났을 때 손해다.

그래서 논문은 importance-aware regularizer를 도입한다. 핵심 아이디어는 다음과 같다.

• 각 파라미터가 과거 적응 과정에서 얼마나 중요했는지 Fisher information으로 추정한다.
• 중요도가 높은 파라미터는 reset 이후에도 과거에 축적해 둔 파라미터 값에 가깝게 유지되도록 정규화한다.

수식적으로는 기존의 unsupervised loss 위에,
“현재 파라미터 – 축적된 과거 파라미터”의 차이를 Fisher-weighted quadratic penalty로 추가한다.

이 과정에서 저자들은 단순 EMA만 쓰지 않고 CMA + EMA를 결합한 hybrid accumulation을 사용한다. 이유는 단순 EMA가 너무 최근 정보만 강하게 반영해서, collapse 직전의 오염된 정보까지 과도하게 저장할 수 있기 때문이다. 따라서 reset 사이 구간에서는 CMA로 고르게 누적하고, reset 시점마다 그 결과를 EMA로 통합한다. 이런 설계는 “최근 것만 믿지도 않고, 그렇다고 오래된 것만 붙잡지도 않는” 절충안이라고 볼 수 있다.

---

8. 어려운 shift에서는 적응 강도도 바꾼다: On-the-fly Adaptation Adjustment

논문은 reset만으로 충분하지 않다고 본다. 도메인 변화가 매우 심하면 pseudo-label 자체가 불안정해지고, 이때는 concentration 추정도 흔들릴 수 있다. 따라서 적응 강도를 동적으로 조정할 필요가 있다.

이를 위해 저자들은 prediction inconsistency ϕt 를 정의한다.
이 값은 source model의 예측과 현재 adapting model의 예측이 얼마나 자주 다른지를 측정한다. 값이 클수록 source-target discrepancy가 크다고 해석한다.

이 값을 이용해 두 하이퍼파라미터를 동적으로 조정한다.

• λF: knowledge recovery regularization의 강도
• μC​: cumulative concentration 업데이트의 momentum

shift가 커질수록 λF​ 는 커져서 과거의 중요한 지식을 더 강하게 보존하려 하고, μC도 커져서 concentration 기준선이 너무 급격히 흔들리지 않도록 한다. 즉, 어려운 환경일수록 모델이 더 보수적으로 적응하도록 만드는 장치다.

---

9. 실험 설정: 왜 이 논문은 CCC를 강조하는가

이 논문은 표준 TTA benchmark만으로는 long-term TTA를 제대로 평가하기 어렵다고 본다. 이유는 장기 적응에서 중요한 것은 순간 성능이 아니라 오랜 시간 동안 collapse 없이 버티는 능력이기 때문이다.

그래서 저자들은 특히 다음 벤치마크를 사용한다.

• CCC (Continually Changing Corruptions)
  부드럽게 변하는 corruption stream을 만들어 장기 적응 상황을 구성한 데이터셋
• CIN-C
• IN-C
• IN-D109

이 중에서도 CCC-Hard가 가장 중요한 시험장이다. 왜냐하면 이 환경에서 많은 baseline이 실제로 collapse하기 때문이다.

---

10. 주요 실험 결과

가장 인상적인 결과는 역시 CCC-Hard이다.

대표 baseline인 ROID에 RDumb를 붙였을 때 Hard 성능은 **15.41%**였는데, ASR을 붙이면 **22.21%**까지 올라간다. 논문은 이를 기존 SOTA 대비 44.12% 향상이라고 강조한다. 단순히 절대값이 조금 오른 것이 아니라, 가장 어려운 장기 적응 환경에서 collapse 방지 효과가 매우 크게 나타났다는 뜻이다.

또한 CCC 전체 평균에서도 ASR은 ETA, EATA, ROID 기반 비교 모두에서 가장 좋은 성능을 보였다.

예를 들어 ROID 기반 결과를 보면,

• ROID: 34.28
• ROID + RDumb: 35.05
• ROID + ASR: 38.81

로 개선된다. 즉, 단순 주기 reset보다 ASR이 더 효과적이다.

ViT-B-16 백본에서도 유사한 경향이 나타난다. ROID + RDumb는 CCC-Hard에서 25.72인데, ROID + ASR은 28.09까지 오른다. 이는 이 방법이 단순히 ResNet 전용 trick이 아니라, 다른 백본에도 어느 정도 일반화된다는 점을 시사한다.

추가로 IN-C, IN-D109, CIN-C, non-i.i.d. CIN-C에서도 ASR은 전반적으로 가장 좋은 혹은 매우 안정적인 성능을 보였다. 특히 논문은 non-i.i.d. label distribution처럼 클래스 분포가 시간적으로 치우친 환경에서도 ASR이 reset 타이밍과 reset 범위를 잘 결정한다고 주장한다.

---

11. ablation이 보여주는 것

Ablation 결과에서 가장 중요한 메시지는 분명하다.

ASR의 핵심 기여는 결국 언제 reset할지와 어디를 reset할지를 동적으로 결정하는 것이다.

Table 5를 보면 adaptive reset과 selective reset을 제거했을 때 성능 하락이 가장 크다. 반면 knowledge recovery와 on-the-fly adjustment는 단독 효과는 상대적으로 크지 않지만, 함께 들어갔을 때 추가적인 성능 향상을 준다.

즉, 이 논문의 본질은 “Fisher regularization” 자체보다는 reset을 하나의 정교한 decision problem으로 다시 본 것에 있다.

---

12. 이 논문의 좋은 점

이 논문의 장점은 크게 네 가지라고 생각한다.

12.1 문제 정의가 명확하다

많은 TTA 논문이 “적응 성능 향상” 자체를 이야기하는 반면, 이 논문은 long-term TTA의 핵심 문제를 model collapse로 정확히 짚는다. 그리고 reset을 그 문제를 푸는 중심 메커니즘으로 놓는다.

12.2 단순하지만 설득력 있는 신호를 쓴다

collapse를 감지하기 위해 prediction concentration을 사용한 것은 매우 직관적이다. “모델이 몇 개 클래스만 찍기 시작하면 위험하다”는 현상을 정량화한 셈이다. 게다가 cumulative baseline과 비교하는 구조라 데이터 불균형에도 어느 정도 강건하다.

12.3 reset을 전부/아무것도 아님의 문제로 보지 않는다

어느 시점에 전부 리셋할지보다, 상황에 따라 일부만 리셋한다는 점이 훨씬 현실적이다. 이는 deep network의 계층적 특성과도 잘 맞는다.

12.4 실험이 long-term setting에 집중되어 있다

CCC-Hard, CDC setting 등 정말로 collapse가 일어나는 환경을 적극적으로 실험했다는 점이 좋다. 쉬운 벤치마크에서 약간의 gain만 보여주는 것보다 훨씬 설득력이 있다.

---

13. 아쉬운 점과 생각해볼 거리

물론 한계도 있다.

첫째, prediction concentration은 결국 예측 분포의 쏠림을 보는 지표이므로, 클래스 분포가 본질적으로 매우 비대칭적인 실제 환경에서 얼마나 안정적으로 작동할지는 더 검증이 필요하다. 논문은 non-i.i.d. 설정에서도 잘 된다고 보였지만, 실제 현실 데이터는 더 복잡할 수 있다.

둘째, Fisher 기반 knowledge recovery는 이론적으로는 깔끔하지만, 구현 복잡도와 상태 저장 비용이 완전히 없는 것은 아니다. 물론 논문은 오버헤드가 크지 않다고 보고하지만, 아주 경량 시스템에서는 부담이 될 가능성도 있다.

셋째, 이 방법은 여전히 “reset”이라는 강한 개입을 필요로 한다. 즉, collapse를 완전히 피하는 adaptation이 아니라, collapse를 잘 관리하는 adaptation에 가깝다. 다만 저자들도 이를 숨기지 않고, long-term TTA에서는 reset이 사실상 필수적인 메커니즘이라고 논의한다.

 

---

14. 최종 정리

정리하면, 이 논문의 핵심은 다음과 같다.

• 장기적인 TTA에서는 오류 누적으로 인해 model collapse가 발생한다.
• 기존의 fixed full reset은 collapse를 막을 수는 있어도, reset 타이밍이 부정확하고 적응 지식을 과하게 잃는다.
• ASR은
  • prediction concentration으로 언제 reset할지를 결정하고,
  • concentration deviation으로 어디까지 reset할지를 결정하며,
  • Fisher 기반 regularization으로 잃어버린 중요한 지식을 회복하고,
  • prediction inconsistency로 적응 강도까지 동적으로 조정한다.
• 특히 CCC-Hard에서 기존 최고 성능 대비 44.12% 향상을 보이며, long-term TTA에서 매우 강한 효과를 보였다.

개인적으로는, 이 논문이 단순히 성능 숫자만 좋은 논문이 아니라 문제를 바라보는 프레임 자체를 꽤 잘 바꾼 논문이라고 느꼈다. 앞으로 long-term TTA에서 “reset을 어떻게 설계할 것인가”는 꽤 중요한 연구 방향이 될 것 같다.