Graph Attention Network (GAT)

출처: https://arxiv.org/pdf/1710.10903

Paper 직역

ABSTRACT

그래프 컨볼루션 또는 근사치를 기반으로 한 이전 방법들의 단점을 해결하기 위해 Graph Attention Network를 소개한다.

레이어를 쌓음으로써 노드가 그들의 이웃들의 피처를 보고 이웃 노드들에게 서로 다른 가중치를 적용한다.

Introduction

CNN은 image classification, semantic segmentation, machine translation에서 성공적으로 문제를 해결해 왔고, 기본 데이터 표현은 그리드와 같은 구조를 갖고 있다. 이 아키텍처는 효율적으로 그들의 로컬 필터를 재사용한다. 학습가능한 파라미터와 함께, 모든 인풋 position에 적용함으로써.

그러나 많은 작업에서의 데이터는 그리드와 같은 구조로 표현될 수 없고, 대신 불규칙한 domain에 포함된다. 3D meshes, social networks, telecommunication networks, biological networks, brain connectomes 등이 있다.

GAT 아이디어는 그래프에서 각 노드의 hidden representation을 계산하는 것이다. self-attention 전략을 이용하여 이웃 노드에 attention을 함으로써. attention architecture는 다음과 같은 성질이 있다.

1. the operation is efficient, since it is parallelizable across nodeneighbor pairs. (노드 이웃쌍에 병렬화가 가능함으로 작업이 효율적이다.)
2. it can be applied to graph nodes having different degrees by specifying arbitrary weights to the neighbors. (이웃에 임의의 가중치를 적용하여 다른 degree를 갖는 그래프 노드에 적용할 수 있다.)
3. the model is directly applicable to inductive learning problems, including tasks where the model has to generalize to completely unseen graphs. (모델은 inductive learning problems에 직접적으로 적용이 가능하다. 모델은 보이지 않는 그래프에 일반화해야하는 작업을 포함해서.)

2. GAT Architecture

여기서는 임의의 graph attention networks를 구성하는데 사용되는 building block layer를 소개하고, 이전 neural graph processing과 비교하여 실제로 이점와 한계를 설명한다.

2.1 Graph Attentional Layer

3. Evaluation

4. Conclusions

마스크된 self-attentional layers를 활용하여 graph-structured data에서 작동하는 새로운 convolution-style neural networks인 graph attention networks(GATs)를 제시했다.

이러한 네트워크를 통해 활용되는 graph attentional layer는 계산적으로 효율적이다 (비용이 많이 드는 행렬 연산이 필요하지 않고, 그래프의 모든 노드에서 병렬화가 가능하다.). 다른 크기를 가진 주변 노드를 처리하면서, 주변에 있는 다른 노드들에 다른 중요성을 할당함으로써. 그리고 그래프 구조 전체를 알 필요가 없다. 따라서 이전 spectral-based 접근 방식의 많은 이론적 이슈를 해결한다.