notesum.ai

Published at December 10

Temporal-Aware Evaluation and Learning for Temporal Graph Neural Networks

cs.LG

cs.AI

Released Date: December 10, 2024

Authors: Junwei Su¹, Shan Wu²

Aff.: ¹University of Hong Kong; ²Hefei University of Technology

Arxiv: http://arxiv.org/pdf/2412.07273v1

Refer to caption

Dataset	Reddit		Wikipedia		MOOC		LastFM		GDELT
Model/Metric	VCS $\downarrow$	AP(%) $\uparrow$	VCS $\downarrow$	AP(%) $\uparrow$	VCS $\downarrow$	AP(%) $\uparrow$	VCS $\downarrow$	AP(%) $\uparrow$	VCS $\downarrow$	AP(%) $\uparrow$
TGN	0.18±0.02	98.5±0.04	0.21±0.04	96.4±0.03	0.25±0.03	97.6±0.03	0.22±0.04	75.4±0.06	0.24±0.03	95.6±0.05
TGN-VCA	0.08±0.01	98.2±0.03	0.12±0.02	96.3±0.04	0.13±0.03	97.3±0.02	0.09±0.03	73.3±0.05	0.12±0.02	96.8±0.03
Tiger	0.23±0.01	97.5±0.08	0.23±0.03	94.8±0.06	0.30±0.02	95.1±0.04	0.23±0.03	77.7±0.05	0.23±0.03	97.5±0.03
Tiger-VCA	0.10±0.01	98.0±0.06	0.11±0.02	94.0±0.06	0.11±0.01	95.6±0.03	0.12±0.02	78.0±0.04	0.11± 0.01	97.0±0.05
JOIDE	0.19±0.03	96.5±0.05	0.25±0.04	95.3±0.04	0.21±0.03	97.5±0.08	0.20±0.03	72.5±0.06	0.27±0.04	96.8±0.05
JOIDE-VCA	0.09±0.02	96.8±0.03	0.11±0.03	94.8±0.05	0.11±0.02	97.8±0.06	0.10±0.02	72.8±0.07	0.13±0.03	97.0±0.04
DyRep	0.25±0.03	96.7±0.06	0.22±0.04	94.8±0.03	0.23±0.03	96.8±0.06	0.27±0.03	69.5±0.05	0.24± 0.04	97.8±0.03
DyRep-VCA	0.11±0.02	97.0±0.05	0.10±0.03	95.0±0.04	0.12±0.02	97.0±0.05	0.12±0.01	70.0±0.06	0.14±0.03	97.5±0.04
TCL	0.12±0.02	95.5±0.02	0.11±0.02	91.6±0.06	0.14±0.03	93.5±0.07	0.14±0.03	68.5±0.07	0.14±0.03	94.6±0.06
TCL-VCA	0.09±0.02	95.2±0.02	0.06±0.01	92.2±0.06	0.10±0.02	92.8±0.05	0.09±0.01	67.5±0.03	0.10±0.0	95.2±0.06
TGAT	0.13±0.02	95.8±0.03	0.10±0.01	92.3±0.03	0.14±0.03	94.3±0.03	0.13±0.03	70.1±0.05	0.12±0.03	93.3±0.03
TGAT-VCA	0.10±0.02	96.0±0.02	0.08±0.01	93.0±0.04	0.07±0.02	95.0±0.05	0.06±0.01	71.3±0.06	0.09±0.02	93.0±0.04
$\Delta$ VCS	0.09		0.09		0.1		0.1		0.09