AutoRec (Autoencoders Meet Collaborative Filtering) <논문읽기>

한줄 요약: MF 대신 오토인코더로 평점 행렬을 복원하자

추천시스템을 처음 공부할 때 가장 익숙한 출발점은 행렬분해(MF, Matrix Factorization)이다. 유저와 아이템을 잠재벡터로 표현하고 내적(dot product)으로 평점을 예측하는 방식은 간결하고 직관적이다.
그런데 AutoRec 논문은 여기서 한 발 다르게 접근한다. 

“굳이 내적만 고집해야 할까?
평점 벡터 자체를 비선형 함수로 복원(reconstruction)하면 더 잘 채울 수 있지 않을까?”

이 글은 AutoRec 논문을 다시 읽고, 문제 설정 → 모델 구조 → 손실 함수(마스킹) → 학습 방식 → MF/RBM과 비교 → 실험이 말하는 것  순서로 정리해 보았다.

---

1. 문제 설정: 평점 행렬은 ‘대부분 비어 있다’

AutoRec이 다루는 것은 전형적인 평점 기반 협업필터링(rating-based CF)이다.

• 유저 수 m, 아이템 수 n
• 평점 행렬 R∈Rm×n
• 하지만 R의 대부분은 결측(missing)이다.
• 목표는 결측인 R_ui를 예측하여 추천에 사용한다.

이 문제는 MF도, kNN도, 다른 전통 CF도 같은 출발점이다.
차이는 “어떻게 채울 것인가”에 있다.

---

2. AutoRec의 핵심 아이디어: “평점 벡터를 통째로 복원하자”

오토인코더(AutoEncoder)는 입력을 압축했다가 다시 복원하는 신경망이다.

• Encoder: 입력 → 잠재표현(hidden)
• Decoder: 잠재표현 → 원래 차원으로 복원

AutoRec은 이 오토인코더를 추천에 이렇게 매핑한다.

부분적으로 관측된 평점 벡터를 입력으로 넣고
오토인코더가 그 벡터를 최대한 그럴듯하게 복원하도록 학습하면,
비어 있던 평점도 복원 결과로 자연스럽게 채워진다.

즉, AutoRec에서의 예측은 “평점 회귀”라기보다 벡터 복원 문제에 가깝다.

---

3. 모델 구조: User-based / Item-based 두 가지 버전

논문은 AutoRec을 두 가지 방식으로 정의한다.
결국 둘 다 “오토인코더로 복원한다”는 철학은 같고, 입력 벡터의 축만 다르다.

3.1 Item-based AutoRec (I-AutoRec)

아이템 i를 고정하고, 해당 아이템에 대한 유저들의 평점 벡터를 입력으로 사용한다.

• 입력 벡터:

• 출력 벡터:

• 특정 사용자 u의 아이템 i 예측 평점은 출력 벡터의 u번째 성분:
• ​

해석: “이 아이템을 평가한 사람들의 패턴을 보고, 평가하지 않은 사람의 평점을 복원한다.”

---

3.2 User-based AutoRec (U-AutoRec)

유저 u를 고정하고, 해당 유저의 아이템 평점 벡터를 입력으로 사용한다.

• 입력 벡터:

• 복원 결과로 결측 아이템 평점을 예측한다.

---

3.3 논문에서의 실험적 결론: I-AutoRec이 더 강한 경향

논문 결과에서는 대체로 Item-based가 더 잘 나오는 경향을 보인다.
직관적으로는 (데이터셋에 따라 다르지만) 아이템당 평점 수가 상대적으로 더 “안정적”일 때가 많고, user-based는 유저별 관측 수 분산이 커서 학습이 흔들릴 수 있다.

---

4. AutoRec의  핵심: “관측된 항만” 손실에 포함시키는 마스킹

추천 평점 행렬은 결측이 대부분이다.
그런데 오토인코더는 원래 입력 전체를 복원하도록 학습한다. 여기서 문제가 생긴다.

• 결측치를 0으로 채우든, 평균으로 채우든
  모델이 그 값까지 “정답”처럼 맞추려 할 수 있다.
• 그러면 복원이 아니라 “결측값 흉내”가 학습될 위험이 생긴다.

AutoRec은 이 문제를 아주 간단하고 강력한 방식으로 해결한다.

손실 함수에서 관측된 엔트리만 reconstruction error로 계산한다.

아이템 기반으로 쓰면 대략 이런 형태가 된다.

• ∥⋅∥: observed entries(관측된 평점 위치)만 합산
• 뒤 항: L2 정규화(과적합 방지)

이 한 줄이 AutoRec을 “추천 문제에 맞는 오토인코더”로 만드는 결정적인 장치다.

---

5. AutoRec은 MF와 무엇이 다른가?

5.1 MF의 가정: 내적 기반(선형 상호작용)

MF는 보통 다음처럼 예측한다.

유저/아이템 벡터의 내적은 간결하지만, 기본적으로 “선형 결합”이다.

5.2 AutoRec의 주장: 비선형 복원으로 패턴을 더 풍부하게 학습 가능

AutoRec의 오토인코더는 (1-hidden layer 기준)

여기서 비선형 활성화 g(⋅) 때문에, MF보다 복잡한 패턴을 포착할 여지가 생긴다.
즉 AutoRec은 “유저-아이템 점수 함수”를 직접 설계하기보다, 평점 벡터 공간에서의 비선형 매핑으로 결측을 채운다.

---

6. RBM-CF와의 비교: “딥러닝 CF”를 더 단순하고 빠르게

AutoRec은 과거 딥러닝 기반 CF의 대표 주자였던 RBM 기반 CF와도 대비된다.

• RBM은 확률적 생성모델로, 학습이 상대적으로 무겁고(추정/근사 필요),
• AutoRec은 판별적(discriminative) 방식으로 RMSE를 직접 최소화하며,
• backprop으로 학습이 간결하다.

당시 맥락에서는 “신경망 CF를 더 단순하게, 더 잘” 보여주는 설계로 읽히는 부분이다.

---

7. 실험 결과가 말하는 핵심 메시지

논문 실험은 주로 MovieLens/Netflix에서 RMSE(평점 예측 오차)로 비교한다.

여기서 takeaway는 두 가지로 정리된다.

1. 오토인코더 기반 CF가 MF/RBM 계열과 충분히 경쟁력 있다.
2. AutoRec의 성능은 단순한 “AE를 갖다 붙였다”가 아니라,
   • 관측치 마스킹 손실
   • 비선형 hidden activation
     같은 설계에 의해 확보된다.

또한 hidden size를 늘리면 성능이 좋아지지만, 어느 순간 체감(수익 감소)이 있다는 관찰도 제공한다.

---

8. 현대 시점에서 AutoRec의 접근

솔직히 말하면, AutoRec은 “현대 추천의 최전선 SOTA”라기보다는 딥러닝 추천의 기초 문법을 정리한 베이스라인에 가깝다.
다만 가치가 줄어든 것은 아니다. 오히려 “어떻게 활용하느냐”가 중요하다.

8.1 지금도 유효한 활용 1: 평점 예측(Explicit) 베이스라인

• 데이터가 별점/평점 중심이고 RMSE가 중요한 세팅이라면,
• AutoRec은 여전히 강력한 비교 대상이다.

8.2 지금도 유효한 활용 2: 결측치 마스킹 복원의 패턴

“관측된 항만 손실에 넣는 마스킹”은 지금도 다양한 모델에서 반복된다.
AutoRec은 이 패턴을 가장 교과서적으로 보여준다.

8.3 한계: Top-K 랭킹 목표(implicit 추천)와는 목적이 다르다

현대 추천의 대부분은 Recall@K/NDCG@K 같은 Top-K 랭킹이 중요하다.
AutoRec은 기본적으로 RMSE 최적화라, 목적-평가 정렬이 맞지 않을 수 있다.

---

9. 핵심 정리 

• AutoRec의 본질은 “오토인코더로 평점 벡터를 복원하여 결측을 채우는 CF”
• 두 버전:
  • I-AutoRec: 아이템 벡터(유저 차원) 복원
  • U-AutoRec: 유저 벡터(아이템 차원) 복원
• 가장 중요한 설계:
  • observed-only(마스킹) reconstruction loss
  • L2 정규화
  • 비선형 hidden activation
• MF 대비 차이:
  • MF는 내적 기반(선형)
  • AutoRec은 비선형 복원 기반(벡터 복원 관점)
• 현대적 평가:
  • SOTA라기보다 딥러닝 CF 베이스라인/기초 문법으로 가치가 큼