내맘대로 공부 기록장

시계열 패치를 “서로 보게” 해야 할까, 아니면 “각자 독립적으로” 임베딩하게 해야 할까?1. 들어가며최근 시계열(Time Series) 분야에서도 self-supervised learning이 매우 중요한 흐름이 되었다. 이유는 단순하다. 실제 현업에서 시계열 데이터는 많지만, 라벨은 적다. 설비 센서 데이터, 전력 사용량, 기상 데이터, 생체 신호 등은 대량으로 쌓이지만, 이를 일일이 라벨링하는 것은 쉽지 않다. 결국 라벨 없이도 좋은 representation을 미리 학습해두고, 이후 forecasting이나 classification 같은 downstream task에 활용하는 전략이 중요해진다. 시계열 self-supervised learning의 대표적인 축은 크게 두 가지다.Contrasti..

시계열 contrastive learning에서 “모든 negative를 똑같이 멀리 보내는 것”이 정말 맞을까?1. 들어가며시계열 데이터는 금융, 전력, 헬스케어, 제조, 교통 등 거의 모든 산업 분야에서 등장한다. 그런데 시계열 데이터의 가장 큰 문제 중 하나는 라벨링이 비싸고 어렵다는 점이다. 이미지처럼 눈으로 보고 바로 구분할 수 있는 경우도 있지만, 시계열은 종종 도메인 지식이 있어야만 의미를 해석할 수 있다. 예를 들어 설비 진동 데이터나 생체신호 데이터는 전문가가 아니면 어떤 패턴이 정상이고 어떤 패턴이 이상인지 판단하기 어렵다. 이런 이유로 시계열 분야에서도 self-supervised learning이 점점 중요해지고 있다. 최근 self-supervised learning의 대표 주자 ..

1. 들어가며최근 표현학습(Representation Learning) 분야에서는 self-supervised learning(SSL) 이 매우 중요한 축으로 자리 잡았다. 특히 이미지 분야에서는 레이블이 없어도 좋은 표현을 학습할 수 있는 방법들이 꾸준히 발전해 왔고, 그 중심에는 contrastive learning과 non-contrastive learning이 있다. 기존에는 SimCLR, MoCo 같은 contrastive learning이 먼저 큰 성공을 거두었다. 이 계열은 positive pair는 가깝게, negative pair는 멀게 학습시키는 방식이다. 하지만 contrastive learning은 좋은 negative sample이 많이 필요하고, 배치 크기나 메모리 뱅크에 꽤 민..

1. 들어가며최근 딥러닝 모델은 학습 당시와 다른 환경, 즉 distribution shift가 발생한 환경에서 자주 사용된다. 예를 들어 이미지 분류 모델이 깨끗한 이미지로 학습되었더라도, 실제 서비스 환경에서는 노이즈가 섞이거나 흐려진 이미지, 전혀 다른 스타일의 입력을 지속적으로 만나게 된다. 이런 문제를 다루기 위해 등장한 것이 Test-Time Adaptation(TTA) 이다. TTA는 말 그대로 테스트 시점에 모델이 스스로 적응하도록 만드는 방법이다.그런데 문제는, 테스트 데이터가 한 번에 조금씩 계속 들어오는 continual TTA 혹은 long-term TTA 환경에서는 모델이 장기간 적응을 반복하면서 점점 잘못된 방향으로 업데이트될 수 있다는 점이다. 논문은 이 현상을 model co..

Towards Causal Representation Learning 내가 ml을 공부하면서 느꼈던 문제의식을 그대로 반영하고 있고, 이 논문에서 제기하는 기존의 문제점들이 너무 공감이 잘 되었기에 공유한다. 언젠가는 이 분야로 한번 깊게 공부해서 논문을 써봐도 좋겠다는 생각이 든다. 나와 잘맞는 주제 같고 앞으로도 유망해질 분야 같다. https://arxiv.org/abs/2102.11107 Towards Causal Representation LearningThe two fields of machine learning and graphical causality arose and developed separately. However, there is now cross-pollination and ..

https://wikidocs.net/229977 07-02 Normalizing Flow Models**Normalizing Flow** 모델은 $Z$에 대한 정보가 주어진 경우 데이터 $X$와 잠재 변수 $Z$간 관계 $X = f_{\theta}(Z)$와 $Z = f_{\…wikidocs.net

나같은 공대생의 입장에서 MRI reconstruction을 공부하다 보면 궁금해지는 두가지 내용이 있다.하나는 “왜 MRI reconstruction에서는 data consistency가 그렇게 중요하다고 할까?”이고, 다른 하나는 “일반 MRI reconstruction과 fMRI reconstruction은 무엇이 다를까?”라는 질문이다. 처음에는 이 두 주제가 별개의 이야기처럼 느껴질 수 있다. 하나는 reconstruction 알고리즘 내부의 원리처럼 보이고, 다른 하나는 MRI의 활용 목적 차이에 대한 이야기처럼 보이기 때문이다. 그러나 조금 더 들여다보면, 이 둘은 사실 매우 밀접하게 연결되어 있다. 특히 초고해상도 fMRI나 laminar fMRI처럼 작은 기능 신호를 정밀하게 다루어야 하..

손상 영역 복원과 색상화 베이스라인 구축 경험을 ultra-high-resolution fMRI reconstruction 관점에서 해석하며최근 참여한 데이콘 이미지 재복원 대회에서는 흑백이며 일부 영역이 손상된 이미지를 입력으로 받아, 원본에 가까운 컬러 이미지를 복원하는 모델을 설계하였다. 표면적으로는 일반적인 비전 대회처럼 보일 수 있지만, 실제로 문제를 분석해보면 이는 단순 색상화(colorization)를 넘어 불완전하고 저품질인 관측값으로부터 구조와 시각적 정보를 동시에 복원하는 inverse problem에 가깝다. 이러한 관점은 내가 관심을 갖고 지원했던 Forschungszentrum Jülich의 ultra-high-resolution fMRI reconstruction 프로젝트와도 기..

Zero-filled, Residual U-Net, Data Consistency를 비교해 보며MRI reconstruction을 공부하면서 가장 궁금했던 점은 이것이었다.“k-space를 일부만 측정하면 왜 단순 inverse FFT만으로는 충분하지 않을까?”, 그리고 “딥러닝 reconstruction은 실제로 어떤 역할을 할까?”이 개념을 조금 더 직관적으로 이해하기 위해, 이번에는 실제 MRI raw data 대신 일반 grayscale 이미지에 Fourier-domain undersampling을 적용하는 방식으로 간단한 reconstruction 실습을 진행해 보았다. 완전한 MRI 실험은 아니지만, undersampling, zero-filled reconstruction, image-dom..

Bayes by Backprop 논문 정리1. 들어가며일반적인 신경망은 각 가중치(weight)를 하나의 고정된 값으로 학습한다.즉, 학습이 끝나면 모델은 각 파라미터에 대해 단 하나의 값만을 갖는다. 이는 구현이 단순하고 계산도 효율적이어서 딥러닝의 표준적인 방식으로 자리 잡아 왔다. 하지만 이런 방식에는 분명한 한계가 있다.모델이 어떤 구간에서는 충분한 데이터를 보지 못했더라도, 여전히 지나치게 확신에 찬 예측을 내놓을 수 있기 때문이다. 특히 회귀, 강화학습, 의사결정 문제에서는 단순히 예측값만 잘 맞추는 것보다 모델이 자신의 불확실성을 얼마나 잘 표현하는가도 매우 중요하다.이 논문은 바로 이 지점에서 출발한다.핵심 질문은 다음과 같다.신경망의 weight 자체를 확률분포로 둘 수는 없을까?그리고 ..