notesum.ai

Published at November 15

MCL: Multi-view Enhanced Contrastive Learning for Chest X-ray Report Generation

cs.CV

cs.AI

Released Date: November 15, 2024

Authors: Kang Liu¹, Zhuoqi Ma¹, Kun Xie¹, Zhicheng Jiao², Qiguang Miao¹

Aff.: ¹Xidian University; ²Brown University

Arxiv: http://arxiv.org/abs/2411.10224v1

Dataset	Method	Year	Input Size	NLG Metrics $\uparrow$						CE Metrics $\uparrow$
Dataset	Method	Year	Input Size	B-1	B-2	B-3	B-4	MTR	R-L	RG	CX5	CX14
Comparison with single-view methods
MIMIC-CXR	R2Gen^♭	2020	224	0.353	0.218	0.145	0.103	0.142	0.277	0.207	0.340	0.340
	CMN^♭	2021	224	0.353	0.218	0.148	0.106	0.142	0.278	0.220	0.461	0.391
	CGPT2^♭	2023	384	0.393	0.248	0.171	0.127	0.155	0.286	-	-	0.442
	MET^♭	2023	-	0.386	0.250	0.169	0.124	0.152	0.291	-	-	0.311
	KiUT^♭	2023	224	0.393	0.243	0.159	0.113	0.160	0.285	-	-	0.321
	SA^♭	2023	256	-	0.184	-	-	-	-	0.228	-	0.394
	FMVP^♭	2023	224	0.389	0.236	0.156	0.108	0.150	0.284	-	-	0.336
	MAN^♭	2024	224	0.396	0.244	0.162	0.115	0.151	0.274	-	-	0.389
	PMRG^♭	2024	224	0.398	-	-	0.112	0.157	0.268	-	-	0.476
	Med-LLM^♭	2024	224	-	-	-	0.128	0.161	0.289	-	-	0.395
	HERGen^♭	2024	384	0.395	0.248	0.169	0.122	0.156	0.285	-	-	-
	MCL(Ours)	-	224	0.395	0.262	0.190	0.147	0.167	0.311	0.276	0.557	0.499
	MCL(Ours)	-	384	0.408	0.271	0.197	0.151	0.171	0.313	0.278	0.578	0.517
	$\Delta\uparrow$	-	-	+1.0%	+2.1%	+2.6%	+2.3%	+1.0%	+2.2%	+5.0%	+11.7%	+4.1%
MIMIC-ABN	R2Gen^♯	2020	224	0.253	0.144	0.092	0.063	0.106	0.229	0.179	0.501	0.442
	CMN^♯	2021	224	0.256	0.147	0.095	0.066	0.110	0.230	0.183	0.528	0.460
	MCL(Ours)	-	224	0.310	0.185	0.125	0.090	0.127	0.246	0.214	0.535	0.482
	MCL(Ours)	-	384	0.329	0.196	0.131	0.093	0.134	0.255	0.220	0.545	0.503
	$\Delta\uparrow$	-	-	+7.3%	+4.9%	+3.6%	+2.7%	+2.4%	+2.5%	+3.7%	+1.7%	+4.3%
Multi-view CXR	R2Gen^♯	2020	224	0.359	0.225	0.155	0.114	0.143	0.297	0.255	0.431	0.384
	CMN^♯	2021	224	0.404	0.252	0.170	0.122	0.160	0.311	0.279	0.475	0.416
	MCL(Ours)	-	224	0.413	0.274	0.199	0.152	0.174	0.335	0.328	0.515	0.487
	MCL(Ours)	-	384	0.415	0.276	0.200	0.153	0.177	0.336	0.329	0.557	0.508
	$\Delta\uparrow$	-	-	+1.1%	+2.4%	+3.0%	+3.1%	+1.7%	+2.5%	+5.0%	+8.2%	+9.2%
Comparison with two-view methods
Two-view CXR	R2Gen^♯	2020	224	0.346	0.219	0.153	0.113	0.141	0.302	0.267	0.413	0.400
	CMN^♯	2021	224	0.387	0.241	0.166	0.122	0.151	0.310	0.268	0.437	0.425
	MCL(Ours)	-	224	0.393	0.256	0.184	0.140	0.165	0.322	0.304	0.531	0.501
	MCL(Ours)	-	384	0.411	0.270	0.195	0.150	0.172	0.326	0.302	0.547	0.507
	$\Delta\uparrow$	-	-	+2.4%	+2.9%	+2.9%	+2.8%	+2.1%	+1.6%	+3.6%	+11.0%	+8.2%