딥러닝 MRI 재구성의 주류 방법 3가지 정리(U-Net, Unrolled Network, Self-Supervised Reconstruction)

U-Net, Unrolled Network, Self-Supervised Reconstruction은 어떻게 다를까?

MRI reconstruction을 공부하다 보면 궁금해지는 내용이 있다.

• MRI 재구성에는 어떤 딥러닝 모델이 많이 쓰일까?
• U-Net만 알면 되는 걸까?
• 왜 MRI reconstruction에서는 VarNet, MoDL, SSDU 같은 이름이 자주 등장할까?
• 그리고 왜 일반적인 컴퓨터 비전과는 조금 다른 방식으로 접근할까?

처음에는 모델 이름이 너무 많아서 복잡해 보이지만, 큰 흐름으로 정리해 보면 의외로 구조는 단순하다.
현재 딥러닝 MRI 재구성의 대표 계열은 크게 다음 세 가지로 나눌 수 있다.

1. U-Net 계열
2. Unrolled network 계열
3. Self-supervised reconstruction 계열

아주 짧게 정리하면 이렇다.

• U-Net은 가장 단순하고 직관적인 baseline이다.
• Unrolled network는 MRI reconstruction의 물리 구조를 더 잘 반영한 현재의 메인스트림이다.
• Self-supervised reconstruction은 fully-sampled 정답이 부족한 실제 데이터 환경에서 특히 중요하다.

이번 글에서는 이 세 방법이 각각 어떤 생각에서 나왔고, 실제로 무엇을 하고, 왜 중요한지 차근차근 정리해 보려고 한다.

---

1. MRI reconstruction 모델은 왜 일반 이미지 복원과 다르게 보일까?

먼저 이 질문부터 짚고 가는 것이 좋다.

겉으로 보면 MRI reconstruction도 결국 “깨진 이미지를 복원하는 문제”처럼 보인다.
그러면 자연스럽게 이렇게 생각할 수 있다.

그냥 이미지 복원 네트워크를 쓰면 되는 것 아닌가?

부분적으로는 맞다. 실제로 가장 단순한 baseline은 정말 그렇게 시작한다.
하지만 MRI reconstruction은 일반적인 super-resolution이나 denoising과는 다른 특징을 가진다.

그 이유는 MRI가 이미지를 직접 측정하는 것이 아니라, k-space라는 푸리에 공간 데이터를 측정한 뒤 복원하는 문제이기 때문이다.
즉, MRI reconstruction은 단순한 이미지 후처리가 아니라 물리적 측정 과정이 명확히 존재하는 inverse problem이다.

그래서 좋은 MRI reconstruction 모델은 보통 다음 두 가지를 모두 고려해야 한다.

1. 영상이 그럴듯해야 한다
2. 실제로 측정된 데이터와도 맞아야 한다

이 두 조건 때문에 MRI reconstruction에서는 단순한 CNN 하나보다,
data consistency, forward model, iterative optimization, self-supervision 같은 개념이 훨씬 중요하게 등장한다.

---

2. U-Net 계열: 가장 단순하고 직관적인 baseline

2-1. 가장 먼저 떠올릴 수 있는 방법

MRI reconstruction을 처음 접하면 가장 쉽게 생각할 수 있는 방법은 다음과 같다.

1. 언더샘플링된 k-space를 준비한다
2. 일단 IFFT를 해서 이미지를 만든다
3. 이 이미지는 aliasing과 artifact가 있는 zero-filled reconstruction일 가능성이 크다
4. 그 이미지를 CNN에 넣어서 깨끗하게 복원한다

이런 방식의 대표적인 네트워크가 바로 U-Net이다.

즉, U-Net 계열은 MRI reconstruction을
“깨진 이미지를 입력받아 더 깨끗한 이미지를 출력하는 이미지 복원 문제”로 다룬다고 볼 수 있다.

---

2-2. 왜 하필 U-Net이 많이 쓰일까?

U-Net은 원래 biomedical image segmentation에서 매우 유명해진 구조이지만,
encoder-decoder 구조와 skip connection 덕분에 이미지 복원 문제에도 자주 쓰인다.

MRI reconstruction에서 U-Net이 baseline으로 많이 쓰이는 이유는 다음과 같다.

• 구조가 비교적 단순하다
• 구현이 쉽다
• 학습 파이프라인이 직관적이다
• 결과를 빠르게 확인하기 좋다
• “딥러닝을 붙였더니 얼마나 개선되는가”를 보여주는 baseline으로 적합하다

특히 초기에 MRI reconstruction을 입문할 때는
zero-filled image → U-Net → reconstructed image
라는 흐름이 가장 이해하기 쉽다.

---

2-3. U-Net 방식의 직관적 이해

이 방식은 아주 단순하게 말하면 다음과 같다.

• 입력: artifact가 있는 MRI 이미지
• 출력: artifact가 줄고 더 자연스러운 MRI 이미지

즉, 네트워크는 training 과정에서 다음을 배우게 된다.

• aliasing은 대체로 어떤 모양으로 나타나는가
• noise나 blur는 어떤 패턴을 가지는가
• 정상적인 MRI 구조는 대체로 어떤 모양인가

이 말은 곧, U-Net이 MRI 이미지의 통계적 패턴을 학습해 복원을 수행한다는 뜻이다.

---

2-4. 장점

U-Net 계열의 장점은 분명하다.

1) 구현이 쉽다

MRI reconstruction 입문용 프로젝트로 매우 적합하다.
딥러닝 경험이 있으면 빠르게 baseline을 만들 수 있다.

2) 결과가 직관적이다

입력과 출력이 모두 이미지이므로 시각적으로 비교하기 쉽다.

3) baseline 역할을 잘 한다

새로운 모델을 제안하더라도 보통 U-Net과 비교하면 기본 성능 차이를 이해하기 쉽다.

---

2-5. 한계

하지만 U-Net 계열은 MRI reconstruction의 본질을 완전히 반영하지는 못한다.

가장 큰 한계는 다음과 같다.

1) 측정 물리를 직접 강하게 반영하지 않을 수 있다

MRI reconstruction은 원래 k-space 측정값으로부터 시작하는 문제다.
그런데 U-Net은 대개 zero-filled image를 입력으로 받아 image-domain에서 후처리를 수행한다.

즉, 네트워크는 “이 이미지가 얼마나 실제 측정 데이터와 일치하는가”를 강하게 보장하지 못할 수 있다.

2) hallucination 위험

겉보기에는 자연스러운 구조를 만들 수 있지만,
실제로는 측정되지 않은 정보를 네트워크가 과도하게 상상해서 복원했을 가능성도 있다.

3) MRI inverse problem으로서의 구조가 약하다

단순 이미지 복원에 가깝기 때문에, MRI reconstruction 특유의 forward model과 data consistency를 충분히 반영한다고 보기 어렵다.

즉, U-Net은 시작하기 좋은 모델이지만,
MRI reconstruction의 진짜 핵심 문제를 본격적으로 다루는 방식은 아니다라고 이해하면 된다.

---

3. Unrolled network: 현재 MRI reconstruction의 메인스트림

이제 가장 중요한 계열로 넘어가 보자.
MRI reconstruction을 조금만 더 깊게 공부하면, 결국 unrolled network에 도달하게 된다.

---

3-1. 왜 unrolled network가 등장했을까?

딥러닝 이전의 MRI reconstruction은 전통적으로 최적화 문제로 많이 다뤄졌다.

대표적으로는 다음과 같은 형태다.

여기서 의미는 비교적 단순하다.

• x: 복원하고 싶은 이미지
• y: 실제 측정된 k-space 데이터
• A: 이미지에서 측정으로 가는 forward model
• 첫 번째 항: 측정값과 잘 맞아야 한다
• 두 번째 항: 너무 이상한 이미지는 안 된다

이 최적화 문제는 보통 반복적(iterative)으로 푼다.
예를 들어 한 번에 답을 찾는 것이 아니라,

• 현재 복원 결과를 갱신하고
• 측정값과 맞추고
• regularization을 적용하고
• 다시 반복하는 식이다

그런데 딥러닝 시대가 되면서 이런 생각이 등장했다.

이 반복 최적화 과정을 아예 신경망 구조로 펼쳐서 학습하면 어떨까?

이게 바로 unrolled network의 핵심 아이디어다.

---

3-2. unrolled network는 무엇을 하는가

unrolled network는 전통적인 iterative reconstruction 알고리즘을 여러 단계로 펼쳐 놓은 구조다.
보통 각 단계는 대략 다음 두 부분으로 이루어진다.

1) Data Consistency step

현재 복원된 결과가 실제 측정 데이터와 맞도록 조정한다.

즉,

• 네트워크가 복원한 이미지가 있어도
• 측정된 k-space 위치에서는 실제 관측값을 존중해야 한다

는 원칙을 반영하는 단계다.

2) Denoising / Learned Regularization step

CNN이나 다른 네트워크가 현재 복원 결과에서 artifact와 noise를 줄인다.

즉, 각 단계는 아주 단순하게 말하면

측정값과 맞추기 + 영상 더 좋게 만들기

를 반복한다고 볼 수 있다.

---

3-3. 왜 이 방식이 중요한가

이 구조가 중요한 이유는 MRI reconstruction의 본질을 더 잘 반영하기 때문이다.

U-Net은 주로 “이미지 복원” 관점이 강하다면,
unrolled network는 다음을 동시에 반영한다.

• MRI는 실제 측정값이 존재하는 inverse problem이다
• 복원 결과는 측정 데이터와 맞아야 한다
• 동시에 딥러닝은 부족한 정보를 더 잘 추정할 수 있다

즉, unrolled network는

• 물리적 제약
• 최적화 관점
• 딥러닝의 표현력

을 함께 가져가려는 방식이다.

이 때문에 현재 MRI reconstruction에서는 unrolled network가 사실상 가장 대표적인 메인스트림으로 여겨진다.

---

3-4. 대표 모델: MoDL과 VarNet

면담이나 공부 단계에서는 이름 두 개 정도만 명확히 알고 있어도 충분하다.

(1) MoDL

MoDL은 Model-Based Deep Learning의 약자다.
이름 그대로, forward model을 명시적으로 포함하면서 CNN 기반 prior를 결합한 구조다.

쉽게 말하면,

• 측정값과 맞추는 물리적 복원
• CNN 기반 복원 보정

을 함께 반복하는 방식이다.

즉, MRI reconstruction을 “그냥 image-to-image 문제”로 보지 않고,
forward model이 존재하는 inverse problem으로 다루는 대표적 예시다.

---

(2) VarNet

VarNet은 fastMRI 등에서 특히 유명한 모델이다.
실제로 MRI reconstruction 관련 benchmark에서 굉장히 자주 등장하는 대표 모델이다.

VarNet 역시 핵심은 비슷하다.

• data consistency
• learned regularization
• iterative update

를 반복적으로 수행하면서 reconstruction을 개선한다.

그래서 면담에서는 이렇게 말하면 된다.

“메인스트림으로는 VarNet이나 MoDL 같은 unrolled reconstruction 계열을 생각하고 있습니다.”

이 정도면 충분히 자연스럽다.

---

3-5. 장점

unrolled network의 장점은 꽤 분명하다.

1) MRI reconstruction답다

forward model과 data consistency를 구조적으로 반영하므로, MRI inverse problem에 더 적합하다.

2) 성능이 좋다

실제 benchmark에서도 image-domain baseline보다 더 좋은 성능을 보이는 경우가 많다.

3) 해석이 조금 더 자연스럽다

전통적 iterative algorithm과의 대응 관계가 있어, “무슨 일을 하는지”를 완전히 블랙박스로 보지 않아도 된다.

---

3-6. 한계

그렇다고 완벽한 것은 아니다.

1) 구현 난도가 높다

U-Net보다 훨씬 복잡하다.

2) 연산량과 메모리 사용량이 크다

특히 multi-coil, 3D, dynamic MRI로 가면 부담이 커진다.

3) fully-sampled 정답 데이터가 필요한 경우가 많다

supervised unrolled network는 결국 학습용 정답이 충분히 있어야 잘 돌아간다.

즉, 방법론적으로는 훨씬 MRI답지만,
데이터와 계산 자원 측면에서는 현실적인 제약이 생길 수 있다.

---

4. Self-supervised reconstruction: 현실 데이터에서 특히 중요한 방법

이제 세 번째 흐름으로 넘어가자.

이 부분은 특히 실제 의료영상, 임상 데이터, 특수 프로토콜 환경에서 매우 중요하다.

---

4-1. 왜 self-supervised가 필요한가

딥러닝을 학습하려면 보통 입력과 정답이 필요하다.
MRI reconstruction에서는 이상적으로 다음이 있으면 좋다.

• 입력: undersampled k-space
• 정답: fully-sampled k-space 또는 fully reconstructed image

문제는 현실에서 이 정답을 항상 얻기 어렵다는 것이다.

예를 들면,

• full sampling 자체가 너무 오래 걸릴 수 있고
• 환자에게 같은 검사를 여러 번 시키기 어렵고
• 특수한 프로토콜에서는 애초에 fully-sampled ground truth를 만들기 어렵다
• 초고해상도 fMRI 같은 경우는 더더욱 정답 데이터 확보가 힘들 수 있다

즉, MRI reconstruction의 현실 문제는 “모델을 만들면 된다”가 아니라,
정답 데이터를 어떻게 확보할 것인가이기도 하다.

---

4-2. self-supervised reconstruction의 핵심 아이디어

이 문제를 해결하기 위해 나온 흐름이 self-supervised reconstruction이다.

핵심 아이디어는 다음과 같다.

fully-sampled 정답이 없어도, 가지고 있는 undersampled k-space 안에서 일부를 입력용으로 쓰고 일부를 정답처럼 사용해 학습하자.

즉, 완전한 정답이 없더라도
부분적으로 관측된 데이터 안에서 supervision 신호를 스스로 만들어내는 방식이다.

이 점에서 일반적인 supervised reconstruction보다 현실 적용성이 높다.

---

4-3. SSDU란 무엇인가

self-supervised MRI reconstruction의 대표적인 이름이 SSDU다.
SSDU는 Self-Supervised learning via Data Undersampling의 약자다.

아이디어는 비교적 직관적이다.

• 이미 언더샘플링된 k-space가 있다고 하자
• 이 중 일부를 네트워크 입력으로 사용한다
• 나머지 일부는 loss 계산용으로 남겨 둔다
• 네트워크는 입력으로 들어가지 않은 그 부분을 잘 예측하도록 학습한다

즉, fully-sampled 정답 없이도 학습이 가능하다.

이 방식은 특히 임상 데이터처럼
“정답은 없지만 실제 측정 데이터는 많은” 상황에서 매우 중요하다.

---

4-4. scan-specific, zero-shot 접근은 무엇인가

최근에는 여기서 한 단계 더 나아가 scan-specific, zero-shot self-supervised 같은 흐름도 등장한다.

이 접근은 아주 거칠게 말하면,

• 거대한 외부 데이터셋으로 미리 학습하지 않고
• 지금 복원하려는 스캔 자체만 가지고
• 그 스캔에 맞는 reconstruction prior를 학습하는 방식

이라고 볼 수 있다.

왜 이런 흐름이 중요하냐면,

• MRI 프로토콜이 매우 다양하고
• 장비, 시퀀스, coil 설정, 도메인이 달라질 수 있으며
• 특정 데이터셋으로 학습한 모델이 다른 환경에 일반화되지 않을 수 있기 때문이다

특히 초고해상도 fMRI, 특수 시퀀스, scan 수가 적은 환경에서는
이런 scan-specific 접근이 더 매력적으로 보일 수 있다.

---

4-5. 왜 실제 환경에서는 self-supervised가 더 중요할 수 있을까

이론적으로는 supervised learning이 가장 편해 보인다.
하지만 실제 MRI 환경에서는 fully-sampled ground truth가 부족하거나, 수집 비용이 너무 높거나, 아예 존재하지 않을 수 있다.

이럴 때 self-supervised reconstruction은 단순한 대안이 아니라,
사실상 가장 현실적인 선택지가 될 수 있다.

특히

• 초고해상도
• 특수 획득 프로토콜
• 딥러닝 reconstruction
• 실제 환자 데이터 적용 가능성

이 같이 언급되는 상황에서는 self-supervised나 scan-specific reconstruction이 자연스럽게 중요한 키워드가 된다.

---

5. 세 방법 비교

 

5-1. U-Net 계열

• 가장 단순한 baseline
• zero-filled image를 입력으로 받아 image-domain에서 복원
• 구현이 쉽고 빠르게 시작 가능
• 하지만 물리 모델과 data consistency 반영은 약할 수 있음

---

5-2. Unrolled network 계열

• 현재 MRI reconstruction의 메인스트림
• data consistency와 learned regularization을 반복적으로 결합
• VarNet, MoDL이 대표적
• MRI inverse problem 구조를 더 잘 반영
• 성능은 좋지만 구조와 학습이 더 복잡함

---

5-3. Self-supervised reconstruction 계열

• fully-sampled 정답 없이도 학습 가능
• SSDU, scan-specific, zero-shot 계열이 대표적
• 실제 임상/특수 시퀀스 환경에서 매우 중요
• 데이터 확보가 어려운 MRI 현실과 잘 맞음

---

6. 핵심정리

다음 정도면 충분하다.

“가장 단순한 baseline으로는 zero-filled reconstruction 위에 U-Net을 사용하는 image-domain approach를 생각할 수 있습니다. 다만 현재 MRI reconstruction의 메인스트림은 VarNet이나 MoDL 같은 unrolled network로, data consistency와 learned regularization을 반복적으로 결합하는 방식입니다. 그리고 실제 MRI 환경에서는 fully-sampled 정답을 얻기 어려운 경우가 많기 때문에, SSDU나 scan-specific reconstruction 같은 self-supervised 방법도 매우 중요하다고 생각합니다.”

 

이 정도면

• 모델 이름을 알고 있고
• 각 방법의 차이를 이해하고 있으며
• 현실적인 데이터 문제까지 인식하고 있다

 

---

7. 마무리

마지막으로 가장 핵심만 다시 남기면 이렇다.

• U-Net은 baseline
• VarNet / MoDL 같은 unrolled network는 메인스트림
• SSDU / scan-specific 같은 self-supervised 방법은 현실 데이터에서 중요

즉,

baseline은 U-Net, 메인스트림은 unrolled(DC 포함), 실제 데이터에선 self-supervised가 유용하다

이 문장만 확실히 말할 수 있어도, MRI reconstruction 방법론의 큰 틀은 제대로 잡고 있는 셈이다.

---

 

참고자료

• fastMRI: A Publicly Available Raw k-Space and DICOM Dataset of Knee Images for Accelerated MR Image Reconstruction Using Machine Learning
• MoDL: Model-Based Deep Learning Architecture for Inverse Problems
• Emerging Trends in Fast MRI: Deep-Learning Reconstruction
• Deep Learning for Accelerated and Robust MRI Reconstruction
• Advancing MRI Reconstruction: A Systematic Review of Deep Learning Methods