내맘대로 공부 기록장

깊은 Graph Attention은 왜 어려운가, 그리고 AERO-GNN은 무엇을 해결했는가1. 들어가며Graph Neural Network(GNN)는 그래프 구조를 가진 데이터를 다루기 위한 대표적인 딥러닝 모델이다. 추천 시스템, 분자 예측, 교통 예측, 소셜 네트워크 분석 등 다양한 분야에서 이미 널리 쓰이고 있다. GNN의 핵심은 결국 이웃 노드의 정보를 얼마나 잘 모아올 것인가에 있다. 일반적인 message passing 관점에서 보면, 각 layer는 이웃으로부터 정보를 받아 현재 노드의 표현을 갱신한다. 그런데 모든 이웃이 똑같이 중요한 것은 아니다. 어떤 이웃은 더 유용하고, 어떤 이웃은 덜 유용할 수 있다. 그래서 등장한 것이 attention-based GNN이다. 대표적으로 GAT ..

비동질 그래프에서도 잘 작동하는 비지도 노드 표현학습, FUEL1. 들어가며그래프에서 노드 임베딩(node embedding)은 말 그대로 각 노드를 벡터로 표현한 것이다. 이렇게 얻은 임베딩은 이후 노드 분류(node classification), 노드 군집화(clustering), 링크 예측 등 다양한 downstream task의 입력으로 사용된다. 특히 최근에는 라벨이 충분하지 않은 현실적인 상황을 고려해, 비지도(unsupervised) 노드 표현학습이 꾸준히 중요해지고 있다. 라벨 없이도 좋은 임베딩을 만들 수 있다면, 비용도 줄고 라벨 희소 상황에서도 더 강하게 작동할 수 있기 때문이다. 그런데 그래프 representation learning에서 거의 습관처럼 등장하는 것이 있다. 바로 g..