내맘대로 공부 기록장

1. 들어가며최근 자연어처리 분야에서는 대규모 언어모델이 여러 downstream task에서 강력한 zero-shot 성능을 보이고 있다. 한 번 대규모 텍스트 corpus로 사전학습해두면, 별도의 task-specific 학습 없이도 번역, 요약, 질의응답 등 다양한 작업에 활용할 수 있다. 이 논문은 여기서 출발한다.그렇다면 시계열 예측에서도 하나의 거대한 사전학습 모델을 만들어,처음 보는 데이터셋에도 zero-shot으로 잘 예측하게 할 수 있을까?이 질문이 TimesFM의 핵심이다. TimesFM은 Google Research에서 제안한 시계열 forecasting용 foundation model로, 다양한 real-world 및 synthetic time-series를 이용해 사전학습한 뒤, ..

여러 종목을 함께 보되, “시간축”이 아니라 “종목축”에서 attention을 주는 방법1. 들어가며주가 방향 예측은 오래된 문제이지만, 여전히 매우 어렵다.가장 큰 이유는 개별 종목의 가격이 본질적으로 noisy하고 불규칙적이기 때문이다. 기온이나 전력수요처럼 비교적 매끄러운 패턴이 있는 시계열과 달리, 주가는 짧은 구간에서는 거의 랜덤하게 움직이는 것처럼 보일 때가 많다. 그래서 한 종목의 과거 가격만 보고 다음 날 상승/하락을 맞히는 것은 구조적으로 한계가 있다.이 논문은 여기서 중요한 관찰을 한다.개별 종목은 noisy하지만, 여러 종목을 함께 보면 상관관계가 있다는 것이다. 예를 들어 같은 섹터에 속한 종목들은 비슷한 흐름을 보이는 경우가 많고, 시장 전체가 강세장인지 약세장인지에 따라서도 종목..

데이터가 전혀 없는데, 이미 학습된 모델의 지식을 다른 모델로 옮길 수 있을까?1. 들어가며보통 knowledge distillation은 큰 모델(teacher)의 지식을 작은 모델(student)로 옮기는 방법이다.일반적으로는 학습 데이터를 teacher에 넣고, teacher가 내는 soft prediction을 student가 따라 배우는 식으로 진행된다. 즉, distillation에도 결국 데이터가 필요하다.그런데 현실에서는 데이터가 아예 없을 수 있다.특히 의료, 산업, 군사처럼 개인정보나 기밀 문제가 있는 영역에서는 학습에 쓰인 원본 데이터에 접근할 수 없는 경우가 많다. 그러면 teacher 모델은 이미 주어져 있지만, 그 모델을 학습시킨 데이터는 전혀 볼 수 없다.이 논문은 바로 그 상..

Social Recommendation에서 사용자 임베딩을 꼭 “사람 수만큼” 학습해야 할까?1. 한 줄 핵심이 논문의 핵심은 아주 명확하다.기존 그래프 기반 추천은 사용자마다 개별 임베딩을 들고 있어서 파라미터가 너무 많다.PULSE는 사용자 임베딩을 직접 학습하지 않고,사회적 정보(social information) 로부터 사용자를 표현해서파라미터를 크게 줄이면서도 추천 성능은 더 높인 방법이다.2. 배경: 왜 이 논문이 나왔는가추천 시스템에서는 보통 사용자-아이템 상호작용 기록으로 추천을 한다.그런데 실제 데이터는 대부분 implicit feedback이다. 예를 들면 클릭, 조회, 구매 여부 같은 것들이다. 이런 데이터만으로는 사용자의 진짜 선호를 정확히 알기 어렵다.그래서 나온 것이 Social..

핵심 12편On the Bottleneck of Graph Neural Networks and its Practical Implications (ICLR 2021)Understanding Over-squashing and Bottlenecks on Graphs via Curvature (ICLR 2022)Revisiting Heterophily for Graph Neural Networks (NeurIPS 2022)Understanding Heterophily for Graph Neural Networks (NeurIPS 2022)Graphormer: Do Transformers Really Perform Badly for Graph Representation? (NeurIPS 2021)Recipe fo..

깊은 Graph Attention은 왜 어려운가, 그리고 AERO-GNN은 무엇을 해결했는가1. 들어가며Graph Neural Network(GNN)는 그래프 구조를 가진 데이터를 다루기 위한 대표적인 딥러닝 모델이다. 추천 시스템, 분자 예측, 교통 예측, 소셜 네트워크 분석 등 다양한 분야에서 이미 널리 쓰이고 있다. GNN의 핵심은 결국 이웃 노드의 정보를 얼마나 잘 모아올 것인가에 있다. 일반적인 message passing 관점에서 보면, 각 layer는 이웃으로부터 정보를 받아 현재 노드의 표현을 갱신한다. 그런데 모든 이웃이 똑같이 중요한 것은 아니다. 어떤 이웃은 더 유용하고, 어떤 이웃은 덜 유용할 수 있다. 그래서 등장한 것이 attention-based GNN이다. 대표적으로 GAT ..

비동질 그래프에서도 잘 작동하는 비지도 노드 표현학습, FUEL1. 들어가며그래프에서 노드 임베딩(node embedding)은 말 그대로 각 노드를 벡터로 표현한 것이다. 이렇게 얻은 임베딩은 이후 노드 분류(node classification), 노드 군집화(clustering), 링크 예측 등 다양한 downstream task의 입력으로 사용된다. 특히 최근에는 라벨이 충분하지 않은 현실적인 상황을 고려해, 비지도(unsupervised) 노드 표현학습이 꾸준히 중요해지고 있다. 라벨 없이도 좋은 임베딩을 만들 수 있다면, 비용도 줄고 라벨 희소 상황에서도 더 강하게 작동할 수 있기 때문이다. 그런데 그래프 representation learning에서 거의 습관처럼 등장하는 것이 있다. 바로 g..

시계열 패치를 “서로 보게” 해야 할까, 아니면 “각자 독립적으로” 임베딩하게 해야 할까?1. 들어가며최근 시계열(Time Series) 분야에서도 self-supervised learning이 매우 중요한 흐름이 되었다. 이유는 단순하다. 실제 현업에서 시계열 데이터는 많지만, 라벨은 적다. 설비 센서 데이터, 전력 사용량, 기상 데이터, 생체 신호 등은 대량으로 쌓이지만, 이를 일일이 라벨링하는 것은 쉽지 않다. 결국 라벨 없이도 좋은 representation을 미리 학습해두고, 이후 forecasting이나 classification 같은 downstream task에 활용하는 전략이 중요해진다. 시계열 self-supervised learning의 대표적인 축은 크게 두 가지다.Contrasti..

시계열 contrastive learning에서 “모든 negative를 똑같이 멀리 보내는 것”이 정말 맞을까?1. 들어가며시계열 데이터는 금융, 전력, 헬스케어, 제조, 교통 등 거의 모든 산업 분야에서 등장한다. 그런데 시계열 데이터의 가장 큰 문제 중 하나는 라벨링이 비싸고 어렵다는 점이다. 이미지처럼 눈으로 보고 바로 구분할 수 있는 경우도 있지만, 시계열은 종종 도메인 지식이 있어야만 의미를 해석할 수 있다. 예를 들어 설비 진동 데이터나 생체신호 데이터는 전문가가 아니면 어떤 패턴이 정상이고 어떤 패턴이 이상인지 판단하기 어렵다. 이런 이유로 시계열 분야에서도 self-supervised learning이 점점 중요해지고 있다. 최근 self-supervised learning의 대표 주자 ..

1. 들어가며최근 표현학습(Representation Learning) 분야에서는 self-supervised learning(SSL) 이 매우 중요한 축으로 자리 잡았다. 특히 이미지 분야에서는 레이블이 없어도 좋은 표현을 학습할 수 있는 방법들이 꾸준히 발전해 왔고, 그 중심에는 contrastive learning과 non-contrastive learning이 있다. 기존에는 SimCLR, MoCo 같은 contrastive learning이 먼저 큰 성공을 거두었다. 이 계열은 positive pair는 가깝게, negative pair는 멀게 학습시키는 방식이다. 하지만 contrastive learning은 좋은 negative sample이 많이 필요하고, 배치 크기나 메모리 뱅크에 꽤 민..