notesum.ai

Published at December 6

Rethinking Time Series Forecasting with LLMs via Nearest Neighbor Contrastive Learning

cs.LG

cs.AI

cs.CL

Released Date: December 6, 2024

Authors: Jayanie Bogahawatte¹, Sachith Seneviratne¹, Maneesha Perera¹, Saman Halgamuge¹

Aff.: ¹University of Melbourne

Arxiv: http://arxiv.org/pdf/2412.04806v1

Method		NNCL-TLLM	$S^{2}$ IP-LLM	Time-LLM	OFA	PatchTST	iTransformer	DLinear
Metric		MSE MAE	MSE MAE	MSE MAE	MSE MAE	MSE MAE	MSE MAE	MSE MAE
ETTh₁	96	0.364 0.394	0.366 0.396	0.383 0.410	0.379 0.402	0.379 0.407	0.395 0.420	0.367 0.396
	192	0.395 0.415	0.401 0.420	0.419 0.435	0.415 0.424	0.428 0.442	0.427 0.441	0.401 0.419
	336	0.419 0.430	0.412 0.431	0.426 0.440	0.435 0.440	0.465 0.465	0.445 0.457	0.434 0.449
	720	0.429 0.453	0.440 0.458	0.428 0.456	0.441 0.459	0.504 0.500	0.537 0.530	0.472 0.493
	Avg	0.402 0.423	0.406 0.427	0.414 0.435	0.418 0.431	0.444 0.453	0.451 0.462	0.418 0.439
ETTh₂	96	0.273 0.338	0.278 0.340	0.297 0.357	0.289 0.347	0.296 0.353	0.304 0.360	0.301 0.367
	192	0.333 0.377	0.346 0.385	0.349 0.390	0.358 0.392	0.382 0.404	0.377 0.403	0.394 0.427
	336	0.360 0.401	0.367 0.406	0.373 0.408	0.383 0.414	0.402 0.425	0.405 0.429	0.506 0.495
	720	0.397 0.434	0.400 0.436	0.400 0.436	0.438 0.456	0.444 0.465	0.443 0.464	0.805 0.635
	Avg	0.341 0.388	0.347 0.391	0.355 0.398	0.367 0.402	0.381 0.411	0.382 0.414	0.502 0.481
ETTm₁	96	0.285 0.343	0.288 0.346	0.291 0.346	0.296 0.353	0.303 0.351	0.312 0.366	0.304 0.348
	192	0.324 0.365	0.323 0.365	0.336 0.373	0.335 0.373	0.341 0.376	0.347 0.385	0.336 0.367
	336	0.360 0.386	0.359 0.390	0.362 0.390	0.369 0.394	0.377 0.401	0.379 0.404	0.368 0.387
	720	0.411 0.416	0.403 0.418	0.410 0.421	0.418 0.424	0.431 0.436	0.441 0.442	0.421 0.418
	Avg	0.345 0.378	0.343 0.379	0.349 0.382	0.355 0.386	0.363 0.391	0.370 0.399	0.357 0.389
ETTm₂	96	0.169 0.260	0.165 0.257	0.184 0.275	0.170 0.264	0.173 0.262	0.179 0.271	0.168 0.263
	192	0.227 0.298	0.222 0.299	0.238 0.310	0.231 0.306	0.231 0.300	0.242 0.313	0.229 0.310
	336	0.274 0.330	0.277 0.330	0.286 0.340	0.280 0.339	0.292 0.345	0.288 0.344	0.289 0.352
	720	0.353 0.381	0.363 0.390	0.379 0.403	0.373 0.402	0.371 0.394	0.378 0.397	0.416 0.437
	Avg	0.256 0.317	0.257 0.319	0.271 0.332	0.265 0.328	0.267 0.325	0.272 0.331	0.275 0.340
Weather	96	0.146 0.198	0.145 0.195	0.158 0.210	0.162 0.212	0.149 0.198	0.253 0.304	0.176 0.237
	192	0.190 0.241	0.190 0.235	0.197 0.245	0.204 0.248	0.194 0.241	0.280 0.319	0.220 0.282
	336	0.243 0.281	0.243 0.280	0.248 0.285	0.254 0.286	0.245 0.282	0.321 0.344	0.265 0.319
	720	0.323 0.338	0.312 0.326	0.319 0.334	0.326 0.337	0.314 0.334	0.364 0.374	0.333 0.362
	Avg	0.226 0.265	0.222 0.259	0.230 0.268	0.237 0.270	0.225 0.264	0.304 0.335	0.248 0.300
Traffic	96	0.371 0.274	0.379 0.274	0.380 0.277	0.388 0.282	0.360 0.249	0.367 0.288	0.410 0.282
	192	0.390 0.287	0.397 0.282	0.399 0.288	0.407 0.290	0.379 0.256	0.378 0.293	0.423 0.287
	336	0.403 0.296	0.407 0.289	0.408 0.290	0.412 0.294	0.392 0.264	0.389 0.294	0.436 0.296
	720	0.441 0.315	0.440 0.301	0.445 0.308	0.450 0.312	0.432 0.286	0.401 0.304	0.466 0.315
	Avg	0.401 0.293	0.405 0.286	0.408 0.290	0.414 0.294	0.390 0.263	0.389 0.295	0.433 0.295
ECL	96	0.142 0.253	0.135 0.230	0.137 0.237	0.139 0.238	0.129 0.222	0.147 0.248	0.140 0.237
	192	0.155 0.257	0.149 0.247	0.150 0.249	0.153 0.251	0.157 0.240	0.165 0.267	0.153 0.249
	336	0.173 0.288	0.167 0.266	0.168 0.266	0.169 0.266	0.163 0.259	0.178 0.279	0.169 0.267
	720	0.216 0.316	0.200 0.287	0.203 0.293	0.206 0.297	0.197 0.290	0.322 0.398	0.203 0.301
	Avg	0.172 0.279	0.161 0.257	0.164 0.261	0.167 0.263	0.161 0.252	0.203 0.298	0.166 0.263