내맘대로 공부 기록장

1. 들어가며최근 자연어처리 분야에서는 대규모 언어모델이 여러 downstream task에서 강력한 zero-shot 성능을 보이고 있다. 한 번 대규모 텍스트 corpus로 사전학습해두면, 별도의 task-specific 학습 없이도 번역, 요약, 질의응답 등 다양한 작업에 활용할 수 있다. 이 논문은 여기서 출발한다.그렇다면 시계열 예측에서도 하나의 거대한 사전학습 모델을 만들어,처음 보는 데이터셋에도 zero-shot으로 잘 예측하게 할 수 있을까?이 질문이 TimesFM의 핵심이다. TimesFM은 Google Research에서 제안한 시계열 forecasting용 foundation model로, 다양한 real-world 및 synthetic time-series를 이용해 사전학습한 뒤, ..

여러 종목을 함께 보되, “시간축”이 아니라 “종목축”에서 attention을 주는 방법1. 들어가며주가 방향 예측은 오래된 문제이지만, 여전히 매우 어렵다.가장 큰 이유는 개별 종목의 가격이 본질적으로 noisy하고 불규칙적이기 때문이다. 기온이나 전력수요처럼 비교적 매끄러운 패턴이 있는 시계열과 달리, 주가는 짧은 구간에서는 거의 랜덤하게 움직이는 것처럼 보일 때가 많다. 그래서 한 종목의 과거 가격만 보고 다음 날 상승/하락을 맞히는 것은 구조적으로 한계가 있다.이 논문은 여기서 중요한 관찰을 한다.개별 종목은 noisy하지만, 여러 종목을 함께 보면 상관관계가 있다는 것이다. 예를 들어 같은 섹터에 속한 종목들은 비슷한 흐름을 보이는 경우가 많고, 시장 전체가 강세장인지 약세장인지에 따라서도 종목..

데이터가 전혀 없는데, 이미 학습된 모델의 지식을 다른 모델로 옮길 수 있을까?1. 들어가며보통 knowledge distillation은 큰 모델(teacher)의 지식을 작은 모델(student)로 옮기는 방법이다.일반적으로는 학습 데이터를 teacher에 넣고, teacher가 내는 soft prediction을 student가 따라 배우는 식으로 진행된다. 즉, distillation에도 결국 데이터가 필요하다.그런데 현실에서는 데이터가 아예 없을 수 있다.특히 의료, 산업, 군사처럼 개인정보나 기밀 문제가 있는 영역에서는 학습에 쓰인 원본 데이터에 접근할 수 없는 경우가 많다. 그러면 teacher 모델은 이미 주어져 있지만, 그 모델을 학습시킨 데이터는 전혀 볼 수 없다.이 논문은 바로 그 상..

Social Recommendation에서 사용자 임베딩을 꼭 “사람 수만큼” 학습해야 할까?1. 한 줄 핵심이 논문의 핵심은 아주 명확하다.기존 그래프 기반 추천은 사용자마다 개별 임베딩을 들고 있어서 파라미터가 너무 많다.PULSE는 사용자 임베딩을 직접 학습하지 않고,사회적 정보(social information) 로부터 사용자를 표현해서파라미터를 크게 줄이면서도 추천 성능은 더 높인 방법이다.2. 배경: 왜 이 논문이 나왔는가추천 시스템에서는 보통 사용자-아이템 상호작용 기록으로 추천을 한다.그런데 실제 데이터는 대부분 implicit feedback이다. 예를 들면 클릭, 조회, 구매 여부 같은 것들이다. 이런 데이터만으로는 사용자의 진짜 선호를 정확히 알기 어렵다.그래서 나온 것이 Social..

핵심 12편On the Bottleneck of Graph Neural Networks and its Practical Implications (ICLR 2021)Understanding Over-squashing and Bottlenecks on Graphs via Curvature (ICLR 2022)Revisiting Heterophily for Graph Neural Networks (NeurIPS 2022)Understanding Heterophily for Graph Neural Networks (NeurIPS 2022)Graphormer: Do Transformers Really Perform Badly for Graph Representation? (NeurIPS 2021)Recipe fo..

깊은 Graph Attention은 왜 어려운가, 그리고 AERO-GNN은 무엇을 해결했는가1. 들어가며Graph Neural Network(GNN)는 그래프 구조를 가진 데이터를 다루기 위한 대표적인 딥러닝 모델이다. 추천 시스템, 분자 예측, 교통 예측, 소셜 네트워크 분석 등 다양한 분야에서 이미 널리 쓰이고 있다. GNN의 핵심은 결국 이웃 노드의 정보를 얼마나 잘 모아올 것인가에 있다. 일반적인 message passing 관점에서 보면, 각 layer는 이웃으로부터 정보를 받아 현재 노드의 표현을 갱신한다. 그런데 모든 이웃이 똑같이 중요한 것은 아니다. 어떤 이웃은 더 유용하고, 어떤 이웃은 덜 유용할 수 있다. 그래서 등장한 것이 attention-based GNN이다. 대표적으로 GAT ..

비동질 그래프에서도 잘 작동하는 비지도 노드 표현학습, FUEL1. 들어가며그래프에서 노드 임베딩(node embedding)은 말 그대로 각 노드를 벡터로 표현한 것이다. 이렇게 얻은 임베딩은 이후 노드 분류(node classification), 노드 군집화(clustering), 링크 예측 등 다양한 downstream task의 입력으로 사용된다. 특히 최근에는 라벨이 충분하지 않은 현실적인 상황을 고려해, 비지도(unsupervised) 노드 표현학습이 꾸준히 중요해지고 있다. 라벨 없이도 좋은 임베딩을 만들 수 있다면, 비용도 줄고 라벨 희소 상황에서도 더 강하게 작동할 수 있기 때문이다. 그런데 그래프 representation learning에서 거의 습관처럼 등장하는 것이 있다. 바로 g..