notesum.ai

Published at November 16

Exploring Feature-based Knowledge Distillation For Recommender System: A Frequency Perspective

cs.IR

cs.AI

Released Date: November 16, 2024

Authors: Zhangchi Zhu¹, Wei Zhang¹

Aff.: ¹East China Normal University, Shanghai, China

Arxiv: http://arxiv.org/abs/2411.10676v1

Backbone	Method	CiteULike				Gowalla				Yelp
Backbone	Method	R@10	N@10	R@20	N@20	R@10	N@10	R@20	N@20	R@10	N@10	R@20	N@20
BPRMF	Teacher	0.0283	0.0155	0.0442	0.0198	0.1088	0.0907	0.1544	0.1053	0.0394	0.0253	0.0660	0.0339
	Student	0.0177	0.0098	0.0284	0.0128	0.0946	0.0820	0.1329	0.0939	0.0348	0.0222	0.0586	0.0299
	CD	0.0239	0.0131	0.0347	0.0158	0.0979	0.0855	0.1389	0.0977	0.0370	0.0236	0.0608	0.0310
	RRD	0.0251	0.0135	0.0362	0.0169	0.0977	0.0861	0.1395	0.0987	0.0362	0.0230	0.0626	0.0319
	UnKD	0.0242	0.0129	0.0348	0.0160	0.0981	0.0860	0.1401	0.0979	0.0366	0.0228	0.0601	0.0312
	HTD	0.0235	0.0127	0.0337	0.0152	0.0975	0.0857	0.1379	0.0970	0.0360	0.0231	0.0600	0.0309
	DE	0.0212	0.0119	0.0331	0.0147	0.0969	0.0847	0.1372	0.0971	0.0355	0.0227	0.0598	0.0305
	FitNet	0.0199	0.0108	0.0326	0.0140	0.0963	0.0841	0.1352	0.0967	0.0355	0.0226	0.0599	0.0301
	FreqD	0.0282	0.0154	0.0428	0.0194	0.1056	0.0902	0.1494	0.1039	0.0398	0.0257	0.0669	0.0344
	Improv.b	12.35%	14.07%	18.23%	14.79%	7.64%	4.76%	6.64%	5.26%	7.57%	8.90%	6.87%	7.84%
	p-value	7.24e-5	4.18e-4	3.92e-5	1.71e-4	3.88e-4	9.91e-3	4.07e-3	8.62e-3	3.72e-4	8.28e-5	3.88e-4	7.62e-4
LightGCN	Teacher	0.0296	0.0160	0.0461	0.0205	0.1236	0.1035	0.1730	0.1190	0.0432	0.0276	0.0716	0.0367
	Student	0.0215	0.0113	0.0344	0.0148	0.1098	0.0928	0.1550	0.1069	0.0363	0.0235	0.0621	0.0308
	CD	0.0234	0.0125	0.0354	0.0161	0.1132	0.0951	0.1592	0.1100	0.0385	0.0247	0.0669	0.0342
	RRD	0.0247	0.0125	0.0359	0.0158	0.1142	0.0969	0.1627	0.1109	0.0391	0.0245	0.0671	0.0338
	UnKD	0.0233	0.0122	0.0353	0.0157	0.1138	0.0967	0.1622	0.1112	0.0390	0.0242	0.0658	0.0329
	HTD	0.0231	0.0120	0.0352	0.0154	0.1139	0.0951	0.1589	0.1102	0.0375	0.0245	0.0653	0.0330
	DE	0.0229	0.0119	0.0349	0.0155	0.1111	0.0949	0.1578	0.1097	0.0369	0.0242	0.0641	0.0319
	FitNet	0.0220	0.0118	0.0350	0.0151	0.1103	0.0939	0.1571	0.1088	0.0368	0.0238	0.0633	0.0321
	FreqD	0.0263	0.0134	0.0384	0.0171	0.1198	0.1020	0.1712	0.1175	0.0411	0.0257	0.0702	0.0359
	Improv.b	6.48%	7.20%	6.96%	6.21%	4.90%	5.26	5.22%	5.67%	5.12%	4.05%	4.62%	4.97%
	p-value	2.24e-3	8.72e-4	1.26e-3	3.88e-3	1.27e-3	5.82e-4	2.97e-3	3.18e-3	1.02e-5	7.17e-3	3.82e-4	6.97e-4
SimpleX	Teacher	0.0343	0.0191	0.0508	0.0236	0.1184	0.0943	0.1750	0.1122	0.0469	0.0303	0.0778	0.0402
	Student	0.0290	0.0162	0.0426	0.0199	0.1046	0.0855	0.1524	0.1006	0.0382	0.0241	0.0658	0.0330
	CD	0.0319	0.0170	0.0462	0.0213	0.1092	0.0902	0.1621	0.1071	0.0425	0.0271	0.0702	0.0361
	RRD	0.0328	0.0175	0.0478	0.0219	0.1101	0.0893	0.1615	0.1059	0.0435	0.0279	0.0717	0.0371
	UnKD	0.0326	0.0175	0.0459	0.0223	0.1081	0.0887	0.1607	0.1061	0.0431	0.0287	0.0713	0.0369
	HTD	0.0321	0.0172	0.0462	0.0215	0.1089	0.0883	0.1599	0.1057	0.0427	0.0278	0.0690	0.0358
	DE	0.0313	0.0165	0.0449	0.0203	0.1073	0.0869	0.1567	0.1042	0.0409	0.0269	0.0671	0.0349
	FitNet	0.0305	0.0167	0.0434	0.0205	0.1064	0.0862	0.1558	0.1031	0.0398	0.0268	0.0667	0.0341
	FreqD	0.0341	0.0187	0.0507	0.0236	0.1171	0.0939	0.1739	0.1110	0.0461	0.0299	0.0758	0.0392
	Improv.b	3.96%	6.86%	6.07%	5.83%	6.36%	4.10%	7.28%	3.64%	5.98%	4.18%	5.72%	5.66%
	p-value	1.2e-2	7.92e-5	2.77e-4	3.28e-3	4.28e-5	2.77e-3	9.62e-5	1.83e-2	3.82e-3	7.28e-3	9.52e-4	2.44e-5