내맘대로 공부 기록장

1. VQ-VAE의 등장: “강한 디코더”와 “표현 학습”의 충돌VAE 계열 생성 모델에서의 자주 언급되는 문제점은 다음과 같다. 디코더를 PixelCNN이나 WaveNet처럼 매우 강력한 autoregressive 모델로 만들수록, 인코더가 열심히 정보를 latent에 담지 않아도 디코더가 알아서 복원을 잘 해버리는 경우가 생긴다는 점이다. 흔히 posterior collapse라고 부르는 현상이다. 요약하면 “latent가 무시되고, 의미 있는 표현을 못 배운다”는 맥락이다. VQ-VAE는 이 문제를 구조적으로 회피하고자 한다. 핵심 아이디어는 간단하다.latent를 연속 가우시안이 아니라 이산(discrete) 심볼로 만든다.그 이산화는 “가장 가까운 코드북 벡터로 치환”하는 Vector Quan..

Sequential Recommendation에서 SASRec, BERT4Rec 같은 Transformer 계열 모델은 사실상 표준 베이스라인으로 자리 잡았다. 그런데 실무적 관점에서 이 계열을 다루다 보면, 모델 구조만큼이나 자주 부딪히는 문제가 있다. 바로 아이템 카탈로그 규모가 커질수록 학습이 어려워진다는 점이다.아이템이 수십만~수백만 단위로 늘어나면, 학습 시점에 모든 아이템에 대한 점수를 계산하는 full softmax 방식은 메모리와 연산량 때문에 사실상 불가능해진다. 결국 대부분의 모델은 negative sampling에 의존한다. 즉, 정답(positive) 1개에 대해 일부 negative만 뽑아서 학습하는 방식이다.이 논문은 여기서 한 걸음 더 들어간다.negative sampling을..

시퀀스 추천(Sequential Recommendation)에서 Transformer 계열의 대표작으로는 SASRec과 BERT4Rec이 빠지지 않는다. 두 모델은 겉보기 구조가 유사하지만, 실제로는 학습 목표와 정보 사용 방식이 완전히 다르다. 이 차이는 수식 수준에서 매우 명확하게 드러난다.1. 공통 문제 설정: 유저 시퀀스로 다음 아이템을 맞히기유저 u의 상호작용 시퀀스를라 하자. 목표는 일반적으로 t까지 관측했을 때 다음 아이템 st+1​ 혹은 “마지막 이후의 아이템”을 추천하는 것이다.두 논문 모두 Transformer encoder 블록(Attention + FFN + Residual/LN)을 쓰지만, SASRec은 next-item(AR(auto regressive)), BERT4Rec은 m..

생성모델을 접하다 보면 많이 나오는 접근이 있다.적분과 사후분포(posterior) 때문에 수식이 막히거나 근사를 이용해서 접근하는 부분이다..Auto-Encoding Variational Bayes (Kingma & Welling)는 이 문제를 정면으로 다루는 논문이고, 우리가 흔히 말하는 VAE(Variational AutoEncoder)의 원형을 제시한다. 이 글에서는 논문의 흐름을 따라가며, 무엇이 어려웠고 → 무엇이 핵심 아이디어였고 → 왜 그게 작동하는지를 정리한다. 가능한 한 “수식은 의미를 설명하기 위한 최소한”만 남기고, 직관을 중심으로 요약을 하려고 한다.1. 이 논문이 풀려는 문제: 잠재변수 생성모델을 “현실적으로” 학습하자논문이 다루는 기본 모델은 아주 전형적인 형태다. 잠재변수..

한줄 요약: MF 대신 오토인코더로 평점 행렬을 복원하자추천시스템을 처음 공부할 때 가장 익숙한 출발점은 행렬분해(MF, Matrix Factorization)이다. 유저와 아이템을 잠재벡터로 표현하고 내적(dot product)으로 평점을 예측하는 방식은 간결하고 직관적이다.그런데 AutoRec 논문은 여기서 한 발 다르게 접근한다. “굳이 내적만 고집해야 할까?평점 벡터 자체를 비선형 함수로 복원(reconstruction)하면 더 잘 채울 수 있지 않을까?”이 글은 AutoRec 논문을 다시 읽고, 문제 설정 → 모델 구조 → 손실 함수(마스킹) → 학습 방식 → MF/RBM과 비교 → 실험이 말하는 것 순서로 정리해 보았다.1. 문제 설정: 평점 행렬은 ‘대부분 비어 있다’AutoRec이 다루는..

https://wikidocs.net/271479 6 수학적 증명 및 심화학습 (마무리)### 6.1 이제까지의 여정: 왜 이런 수식을 봤을까? 우리가 처음에는 *미적분과 확률*의 기초, *KL Divergence*, *변분추론* 아이디어, *VFE & Surpr…wikidocs.net KL divergence, elbo 증명, vae 수식유도 등 잘 정리되어 있다.

추천시스템을 공부하다 보면, 자주 언급되는 중요한 주제가 있다.“사용자–아이템 상호작용 데이터만으로, 어떻게 더 정교한 표현(임베딩)을 만들 수 있을까?”전통적인 MF(Matrix Factorization)는 사용자 임베딩과 아이템 임베딩의 내적으로 점수를 계산한다. 간결하고 강력하지만, 구조적으로 고차 연결성(high-order connectivity)을 직접 반영하기가 어렵다. 예컨대 다음과 같은 신호는 MF에서 자연스럽게 흡수되기 어렵다.사용자가 클릭한 아이템과 비슷한 아이템을 클릭한 다른 사용자의 취향u→i→u′→i′와 같은 2-hop, 3-hop 이상의 연결 패턴이때 사용자–아이템 관계를 이분 그래프(bipartite graph)로 보고, 그래프에서 널리 쓰이는 메시지 패싱(message pas..

Implicit 추천에서 “랭킹”을 제대로 학습하는 방법에 대한 논문이다. 추천시스템 논문을 처음 읽을 때 가장 헷갈리는 지점은, “추천은 결국 점수 예측 아닌가?”라는 직관과 “평가 지표는 Top-K 랭킹인데 왜 점수 회귀를 하지?”라는 현실 사이의 간극이다. BPR(Bayesian Personalized Ranking)은 이 간극을 가장 깔끔하게 메운 고전 논문이다.이 글에서는 BPR 논문의 핵심을 Implicit feedback 환경을 전제로, 배경 → 문제의식 → 목적함수 → 베이지안 해석(prior/posterior) → 학습 방식 → 왜 현대 추천에서 중요한지 → 가져가야 할 포인트 순으로 정리한다.1. 추천 데이터의 현실: Implicit feedback의 함정현업 추천 데이터는 별점 같은 ..