데이터가 전혀 없는데, 이미 학습된 모델의 지식을 다른 모델로 옮길 수 있을까?1. 들어가며보통 knowledge distillation은 큰 모델(teacher)의 지식을 작은 모델(student)로 옮기는 방법이다.일반적으로는 학습 데이터를 teacher에 넣고, teacher가 내는 soft prediction을 student가 따라 배우는 식으로 진행된다. 즉, distillation에도 결국 데이터가 필요하다.그런데 현실에서는 데이터가 아예 없을 수 있다.특히 의료, 산업, 군사처럼 개인정보나 기밀 문제가 있는 영역에서는 학습에 쓰인 원본 데이터에 접근할 수 없는 경우가 많다. 그러면 teacher 모델은 이미 주어져 있지만, 그 모델을 학습시킨 데이터는 전혀 볼 수 없다.이 논문은 바로 그 상..
