notesum.ai

Published at November 26

A Combined Feature Embedding Tools for Multi-Class Software Defect and Identification

cs.SE

Released Date: November 26, 2024

Authors: Md. Fahim Sultan¹, Tasmin Karim¹, Md. Shazzad Hossain Shaon¹, Mohammad Wardat¹, Mst. Shapna Akter¹

Aff.: ¹Department of Computer Science and Engineering, Oakland University, Rochester, MI 48309, USA

Arxiv: http://arxiv.org/abs/2411.17621v1

Extractors	Models	AUC	Acc.	Pre.	Rec.	F1 score	MCC	Kappa	MSE	MAE
	GRU	0.79	0.48	0.50	0.48	0.49	0.35	0.35	3.29	1.18
	NN	0.69	0.35	0.46	0.35	0.27	0.23	0.18	4.62	1.56
	RF	0.80	0.52	0.53	0.52	0.52	0.40	0.40	3.79	2.54
	SGD	0.74	0.40	0.52	0.40	0.34	0.26	0.25	4.79	1.79
LSA	DT	0.68	0.39	0.49	0.39	0.34	0.27	0.24	3.55	1.81
	DeepTree	0.64	0.41	0.40	0.41	0.40	0.26	0.26	3.45	1.77
	SVM	0.77	0.47	0.51	0.47	0.48	0.34	0.33	3.48	1.43
	LSTM	0.79	0.48	0.51	0.48	0.49	0.36	0.36	3.29	1.18
	XGB	0.79	0.50	0.50	0.50	0.50	0.37	0.37	3.78	2.14
	BERT	0.72	0.41	0.48	0.41	0.40	0.29	0.27	3.17	1.24
	GRU	0.81	0.51	0.53	0.51	0.52	0.39	0.39	3.29	1.18
	NN	0.67	0.45	0.49	0.48	0.47	0.35	0.35	2.62	2.56
	RF	0.81	0.53	0.53	0.52	0.52	0.40	0.40	1.79	0.84
	SGD	0.77	0.47	0.47	0.47	0.47	0.34	0.34	3.17	1.17
Glove	DT	0.63	0.41	0.40	0.41	0.34	0.27	0.24	1.55	1.01
	DeepTree	0.58	0.51	0.44	0.41	0.40	0.26	0.26	3.45	1.77
	SVM	0.77	0.48	0.49	0.48	0.48	0.35	0.35	2.18	1.23
	LSTM	0.74	0.58	0.53	0.48	0.49	0.36	0.36	3.29	1.18
	XGB	0.81	0.53	0.54	0.53	0.53	0.41	0.41	1.78	0.94
	BERT	0.65	0.41	0.40	0.41	0.40	0.35	0.34	2.47	1.54
	GRU	0.77	0.51	0.50	0.51	0.50	0.38	0.38	3.20	1.13
	NN	0.70	0.38	0.38	0.38	0.38	0.25	0.25	2.80	1.19
	RF	0.82	0.45	0.45	0.44	0.44	0.31	0.32	2.09	1.34
	SGD	0.73	0.45	0.47	0.43	0.43	0.31	0.31	3.24	1.20
FastText	DT	0.56	0.33	0.31	0.33	0.30	0.30	0.30	4.55	2.81
	DeepTree	0.59	0.34	0.30	0.30	0.40	0.26	0.26	3.85	1.47
	SVM	0.77	0.48	0.51	0.51	0.51	0.39	0.39	2.18	0.93
	LSTM	0.78	0.48	0.50	0.48	0.49	0.34	0.34	3.45	1.22
	XGB	0.81	0.53	0.54	0.53	0.53	0.41	0.41	3.51	1.24
	BERT	0.72	0.45	0.45	0.46	0.40	0.29	0.27	2.57	1.34
	GRU	0.84	0.56	0.57	0.56	0.57	0.46	0.46	3.19	1.18
	NN	0.61	0.45	0.49	0.35	0.27	0.23	0.18	4.62	1.56
	RF	0.74	0.62	0.55	0.52	0.52	0.40	0.40	3.79	2.54
	SGD	0.72	0.45	0.57	0.40	0.34	0.26	0.25	4.79	1.79
CodeBERT	DT	0.58	0.49	0.42	0.39	0.34	0.27	0.24	3.55	1.81
	DeepTree	0.58	0.51	0.44	0.41	0.40	0.26	0.26	3.45	1.77
	SVM	0.73	0.57	0.54	0.47	0.48	0.34	0.33	3.48	1.43
	LSTM	0.74	0.58	0.53	0.48	0.49	0.36	0.36	3.29	1.18
	XGB	0.71	0.57	0.55	0.50	0.50	0.37	0.37	3.78	2.14
	BERT	0.69	0.34	0.30	0.34	0.30	0.30	0.29	2.87	1.26
	GRU	0.85	0.60	0.61	0.60	0.61	0.50	0.50	2.19	1.08
	NN	0.61	0.52	0.59	0.52	0.53	0.41	0.41	2.96	1.07
	RF	0.83	0.56	0.55	0.52	0.52	0.40	0.40	3.79	2.54
	SGD	0.72	0.55	0.57	0.56	0.34	0.26	0.25	4.79	1.79
GraphCodeBERT	DT	0.58	0.49	0.42	0.39	0.34	0.27	0.24	3.55	1.81
	DeepTree	0.58	0.51	0.44	0.41	0.40	0.26	0.26	3.45	1.77
	SVM	0.85	0.59	0.59	0.59	0.49	0.48	0.48	2.67	0.94
	LSTM	0.81	0.51	0.56	0.51	0.52	0.39	0.39	3.29	1.18
	XGB	0.85	0.59	0.60	0.59	0.60	0.49	0.49	1.78	1.14
	BERT	0.74	0.51	0.54	0.54	0.53	0.49	0.43	2.95	0.39
	GRU	0.96	0.95	0.95	0.94	0.94	0.95	0.95	0.78	0.25
	NN	0.94	0.95	0.89	0.95	0.94	0.23	0.18	4.62	1.57
	RF	0.86	0.89	0.89	0.90	0.89	0.88	0.90	3.79	2.54
	SGD	0.92	0.88	0.85	0.88	0.87	0.77	0.83	0.12	0.19
CodeGraphNet	DT	0.83	0.89	0.87	0.83	0.89	0.87	0.79	2.55	1.81
[Ours]	DeepTree	0.97	0.98	0.95	0.96	0.96	0.97	0.95	1.25	0.77
	SVM	0.85	0.90	0.84	0.89	0.90	0.88	0.87	0.48	0.48
	LSTM	0.91	0.94	0.93	0.94	0.92	0.92	0.83	1.29	0.78
	XGB	0.78	0.81	0.80	0.80	0.77	0.77	0.79	2.78	1.14
	BERT	0.99	0.99	0.99	0.98	0.97	0.99	0.98	0.06	1.06