notesum.ai

Published at December 10

Benchmark for Evaluation and Analysis of Citation Recommendation Models

cs.IR

cs.AI

cs.DL

Released Date: December 10, 2024

Authors: Puja Maharjan¹

Aff.: ¹University of Konstanz

Arxiv: http://arxiv.org/pdf/2412.07713v1

Refer to caption

Dataset	Classes	NCN		LCR		Galactica 125m		Galactica 1.3b		Galactica 6.7b		BM25
		R@10	M@10	R@10	M@10	R@10	M@10	R@10	M@10	R@10	M@10	R@10	M@10
Fields	Biology	0.0126	0.0040	0.0013	0.0006	0.0	0.0	0.0226	0.0105	0.0327	0.0136	0.195	0.1072
	Chemistry	0.0115	0.0035	0.0	0.0	0.0	0.0	0.0033	0.0008	0.0115	0.0031	0.2158	0.1183
	Computer Science	0.0221	0.0061	0.0063	0.0	0.0063	0.0015	0.0505	0.0236	0.0410	0.0209	0.194	0.0949
	Medicine	0.0081	0.0019	0.0049	0.0	0.0016	0.0016	0.0309	0.0148	0.0276	0.0097	0.187	0.0963
	Materials Science	0.0109	0.0026	0.0109	0.0	0.0	0.0	0.0	0.0	0.0088	0.0015	0.1969	0.0986
	Physics	0.0222	0.0077	0.0154	0.0	0.0	0.0	0.0171	0.0075	0.0188	0.0081	0.1094	0.0488
	Mathematics	0.0299	0.0103	0.0456	0.0001	0.0	0.0	0.0173	0.0074	0.0220	0.0087	0.1714	0.082
Years	1996-2000	0.0211	0.0050	0.0179	0.0006	0.0	0.0	0.0042	0.0016	0.0105	0.0042	0.1568	0.0757
	2001-2005	0.0202	0.0061	0.0192	0.0	0.0	0.0	0.0125	0.0058	0.0202	0.0078	0.19	0.0942
	2006-2010	0.0219	0.0075	0.0079	0.0	0.0009	0.0002	0.0219	0.0119	0.0219	0.0100	0.2112	0.1115
	2011-2015	0.0121	0.0044	0.0095	0.0	0.0017	0.0010	0.0242	0.0109	0.0260	0.0089	0.2016	0.1015
	2016-2020	0.0143	0.0045	0.0009	0.0	0.0018	0.0004	0.0250	0.0097	0.0330	0.0128	0.195	0.1071
Citation Count	0	0.0079	0.0066	0.0421	0.0221	0.0026	0.0007	0.0053	0.0035	0.0026	0.0013	0.3816	0.1941
	1	0.0102	0.0031	0.0305	0.0215	0.0	0.0	0.0041	0.0007	0.0102	0.0019	0.2724	0.1384
	2	0.0130	0.0037	0.0148	0.0092	0.0	0.0	0.0037	0.0011	0.0185	0.0064	0.2074	0.1169
	3	0.0111	0.0037	0.0111	0.0043	0.0	0.0	0.0111	0.0040	0.0166	0.0031	0.1937	0.1058
	4	0.0121	0.0033	0.0069	0.0017	0.0	0.0	0.0121	0.0062	0.0155	0.0054	0.1672	0.0875
	5	0.0203	0.0056	0.0034	0.0006	0.0	0.0	0.0135	0.0042	0.0203	0.0076	0.1872	0.1005
	6	0.0138	0.0030	0.0086	0.0027	0.0	0.0	0.0241	0.0078	0.0241	0.0069	0.1621	0.0813
	7	0.0207	0.0050	0.0	0.0	0.0	0.0	0.0207	0.0110	0.0155	0.0062	0.1448	0.0743
	8	0.0294	0.0110	0.0017	0.0003	0.0	0.0	0.0242	0.0131	0.0363	00170	0.1537	0.0657
	9	0.0348	0.0100	0.0018	0.0006	0.0073	0.0031	0.0568	0.0286	0.0604	0.0299	0.1264	0.0621
Length	Short	0.0186	0.0041	0.2538	0.0042	0.0	0.0	0.0433	0.0204	0.0528	0.0219	0.1486	0.0764
	Medium	0.0095	0.0041	0.2511	0.0099	0.0031	0.0008	0.0285	0.0171	0.0411	0.0166	0.1709	0.0996
	Long	0.0127	0.0020	0.2518	0.0127	0.0031	0.0008	0.0411	0.0188	0.0443	0.0187	0.1677	0.0952
Location	Start	0.0154	0.0070	0.2518	0.0151	0.0	0.0	0.0	0.0	0.0	0.0	0.2646	0.1594
	Middle	0.0304	0.0101	0.2507	0.0011	0.0	0.0	0.0	0.0	0.0	0.0	0.2219	0.1042
	End	0.0121	0.0019	0.2537	0.0085	0.0060	0.0037	0.0332	0.0147	0.0333	0.0108	0.1873	0.1032
Intent	Background	0.0093	0.0026	0.284	0.0052	0.0	0.0	0.0469	0.0214	0.0467	0.0225	0.1838	0.0996
	Methodology	0.0129	0.0047	0.2762	0.0	0.0032	0.0006	0.0675	0.0293	0.0804	0.0340	0.1833	0.0935
	Result	0.0164	0.0077	0.1834	0.0	0.0	0.0	0.0273	0.0099	0.0437	0.0151	0.1421	0.0714
Low Resource	Psychology	0.0	0.0	0.1166	0.0	0.0	0.0	0.0070	0.0008	0.0280	0.0079	0.2587	0.1277
	Environmental Science	0.0082	0.0012	0.1012	0.0	0.0	0.0	0.0082	0.0027	0.0246	0.0053	0.1967	0.122
	Engineering	0.0273	0.0058	0.0933	0.0121	0.0	0.0	0.0182	0.0109	0.0273	0.0080	0.2273	0.1068
	Business	0.0317	0.0145	0.1044	0.0013	0.0	0.0	0.0079	0.0040	0.0079	0.0040	0.1746	0.0891
	Geography	0.0144	0.0082	0.1137	0.0	0.0	0.0	0.0072	0.0036	0.0216	0.0022	0.3094	0.1728
	Political Science	0.0	0.0	0.0783	0.0	0.0	0.0	0.0	0.0	0.0	0.0	0.1848	0.123
	Sociology	0.0364	0.0161	0.0922	0.0	0.0	0.0	0.0	0.0	0.0091	0.0045	0.1909	0.101
	Geology	0.0215	0.0027	0.0796	0.0066	0.0	0.0	0.0	0.0	0.0108	0.0013	0.2473	0.1045
	History	0.0405	0.0098	0.064	0.0	0.0	0.0	0.0	0.0	0.0135	0.0135	0.2838	0.1459
	Art	0.0488	0.0116	0.0365	0.0	0.0	0.0	0.0	0.0	0.0238	0.0048	0.3171	0.1583
	Philosophy	0.0606	0.0074	0.0297	0.0061	0.0	0.0	0.0	0.0	0.0	0.0	0.2121	0.0965
POS	Before Verb	0.0515	0.0126	0.058	0.0	0.0	0.0	0.0	0.0	0.0	0.0	0.1649	0.0726
	Before Noun	0.0198	0.0068	0.3925	0.0029	0.0	0.0	0.0001	0.0005	0.0	0.0	0.1779	0.0784
	Before Adjective	0.0192	0.0036	0.0914	0.0141	0.0	0.0	0.0	0.0	0.0	0.0	0.1923	0.1004
	Before Adverb	0.0303	0.0043	0.0205	0.0	0.0	0.0	0.0	0.0	0.0	0.0	0.0606	0.0253
	Before Pronoun	0.0	0.0	0.0019	0.0	0.0	0.0	0.0	0.0	0.0	0.0	0.3333	0.0833
	Before Preposition	0.0049	0.0010	0.1169	0.0148	0.0	0.0	0.0146	0.0044	0.0098	0.0020	0.1512	0.0762
	Before Others	0.0147	0.0049	0.042	0.0147	0.0	0.0	0.0	0.0	0.0	0.0	0.1324	0.0419
	After Verb	0.0259	0.0064	0.1818	0.004	0.0	0.0	0.0029	0.0014	0.0	0.0	0.227	0.1238
	After Noun	0.0206	0.0085	0.11	0.0023	0.0	0.0	0.0	0.0	0.0	0.0	0.1649	0.0703
	After Adjective	0.0270	0.0090	0.023	0.0	0.0	0.0	0.0	0.0	0.0	0.0	0.0811	0.0444
	After Pronoun	0.0098	0.0016	0.049	0.0125	0.0	0.0	0.0	0.0	0.0	0.0	0.1373	0.0545
	After Adverb	0.0	0.0	0.0616	0.0123	0.0	0.0	0.0	0.0	0.0	0.0	0.125	0.0542
	After Preposition	0.0258	0.0058	0.1832	0.0093	0.0	0.0	0.0057	0.0021	0.0029	0.0007	0.1777	0.0744
	After Others	0.0151	0.0064	0.2286	0.004	0.0	0.0	0.0022	0.0003	0.0022	0.0004	0.1487	0.0591