Accelerated Alternating Direction Method of Multipliers Gradient Tracking for Distributed Optimization
Resumen: This letter presents a novel accelerated distributed algorithm for unconstrained consensus optimization over static undirected networks. The proposed algorithm combines the benefits of acceleration from momentum, the robustness of the alternating direction method of multipliers, and the computational efficiency of gradient tracking to surpass existing state-of-the-art methods in convergence speed, while preserving their computational and communication cost. First, we prove that, by applying momentum on the average dynamic consensus protocol over the estimates and gradient, we can study the algorithm as an interconnection of two singularly perturbed systems: the outer system connects the consensus variables and the optimization variables, and the inner system connects the estimates of the optimum and the auxiliary optimization variables. Next, we prove that, by adding momentum to the auxiliary dynamics, our algorithm always achieves faster convergence than the achievable linear convergence rate for the non-accelerated alternating direction method of multipliers gradient tracking algorithm case. Through simulations, we numerically show that our accelerated algorithm surpasses the existing accelerated and non-accelerated distributed consensus first-order optimization protocols in convergence speed.
Idioma: Inglés
DOI: 10.1109/LCSYS.2024.3400699
Año: 2024
Publicado en: IEEE Control Systems Letters 8 (2024), 640-645
ISSN: 2475-1456

Financiación: info:eu-repo/grantAgreement/EUR/AEI/TED2021-130224B-I00
Financiación: info:eu-repo/grantAgreement/ES/DGA/T45-23R
Financiación: info:eu-repo/grantAgreement/ES/MCIU/FPU19-05700
Financiación: info:eu-repo/grantAgreement/ES/MICINN-AEI-FEDER/PID2021-124137OB-I00
Financiación: info:eu-repo/grantAgreement/ES/MCIN/AEI/10.13039/501100011033
Financiación: info:eu-repo/grantAgreement/ES/MICINN/PID2021-125514NB-I00
Tipo y forma: Artículo (Versión definitiva)
Área (Departamento): Área Ingen.Sistemas y Automát. (Dpto. Informát.Ingenie.Sistms.)

Creative Commons Debe reconocer adecuadamente la autoría, proporcionar un enlace a la licencia e indicar si se han realizado cambios. Puede hacerlo de cualquier manera razonable, pero no de una manera que sugiera que tiene el apoyo del licenciador o lo recibe por el uso que hace.


Exportado de SIDERAL (2024-06-27-13:20:47)


Visitas y descargas

Este artículo se encuentra en las siguientes colecciones:
Artículos



 Registro creado el 2024-06-27, última modificación el 2024-06-27


Versión publicada:
 PDF
Valore este documento:

Rate this document:
1
2
3
 
(Sin ninguna reseña)