19th Ave New York, NY 95822, USA

# 计算机代写|机器学习代写Machine Learning代考|COMP5328 Lagrangian Viewpoint of ADMM

my-assignmentexpert™提供最专业的一站式服务：Essay代写，Dissertation代写，Assignment代写，Paper代写，Proposal代写，Proposal代写，Literature Review代写，Online Course，Exam代考等等。my-assignmentexpert™专注为留学生提供Essay代写服务，拥有各个专业的博硕教师团队帮您代写，免费修改及辅导，保证成果完成的效率和质量。同时有多家检测平台帐号，包括Turnitin高级账户，检测论文不会留痕，写好后检测修改，放心可靠，经得起任何考验！

## 计算机代写|机器学习代写Machine Learning代考|Dual Ascent

Consider the following linearly constrained convex problem:
$$\min _{\mathbf{x}} f(\mathbf{x}), \quad \text { s.t. } \quad \mathbf{A x}=\mathbf{b},$$
where $f(\mathbf{x})$ is proper (Definition A.25), closed (Definition A.12) and convex (Definition A.4). ${ }^1$ We can solve it by dual ascent. Introduce the Lagrangian function (Definition A.17)
$$L(\mathbf{x}, \boldsymbol{\lambda})=f(\mathbf{x})+\langle\boldsymbol{\lambda}, \mathbf{A} \mathbf{x}-\mathbf{b}\rangle,$$

where $\lambda$ is the Lagrange multiplier. The dual function (Definition A.18) is
\begin{aligned} d(\lambda) & =\min {\mathbf{x}} L(\mathbf{x}, \boldsymbol{\lambda}) \ & =\min {\mathbf{x}}(f(\mathbf{x})+\langle\lambda, \mathbf{A} \mathbf{x}-\mathbf{b}\rangle) \ & =-\max {\mathbf{x}}\left(-f(\mathbf{x})-\left\langle\mathbf{A}^T \lambda, \mathbf{x}\right\rangle\right)-\langle\lambda, \mathbf{b}\rangle \ & =-f^\left(-\mathbf{A}^T \lambda\right)-\langle\lambda, \mathbf{b}\rangle, \end{aligned} where $f^$ is the conjugate function (Definition A.16) of $f . d(\lambda)$ is concave (Definition A.5) and the domain of $d(\lambda)$ is $\mathcal{D}={\lambda \mid d(\lambda)>-\infty}$. The dual problem (Definition A.19) is
$$\max {\lambda \in \mathcal{D}} d(\boldsymbol{\lambda}) .$$

## 计算机代写|机器学习代写Machine Learning代考|Augmented Lagrangian Method

The disadvantage of the dual ascent method is that to make the dual function differentiable, we require $f$ to be strictly convex. Otherwise, $(2.5)$ is a subgradient ascent of the dual function, and the resulted dual subgradient ascent converges much slower. Even worse, the subproblem (2.4) may not have a solution, e.g., when $f$ is an affine function of $\mathbf{x}$. To address these issues, we can use the augmented Lagrangian method [6]. Introduce the augmented Lagrangian function
$$L_\beta(\mathbf{x}, \lambda)=f(\mathbf{x})+\langle\lambda, \mathbf{A} \mathbf{x}-\mathbf{b}\rangle+\frac{\beta}{2}|\mathbf{A} \mathbf{x}-\mathbf{b}|^2,$$
where $\beta>0$ is called the penalty parameter. The associated dual function is
$$d_\beta(\lambda)=\min {\mathbf{x}} L\beta(\mathbf{x}, \lambda) .$$
For any $\lambda$, we have $d(\lambda) \leq d_\beta(\boldsymbol{\lambda})$. Moreover, for any $\lambda$, we have $d_\beta(\lambda) \leq f\left(\mathbf{x}^\right)$. Since $d\left(\lambda^\right)=f\left(\mathbf{x}^\right)$, we know $d\left(\lambda^\right)=d_\beta\left(\lambda^\right)=f\left(\mathbf{x}^\right)$. Thus introducing the augmented term $\frac{\beta}{2}|\mathbf{A x}-\mathbf{b}|^2$ does not change the solution. Another way to draw this conclusion immediately is to regard $L_\beta(\mathbf{x}, \lambda)$ as the Lagrangian function associated with the following problem:
$$\min _{\mathbf{x}}\left(f(\mathbf{x})+\frac{\beta}{2}|\mathbf{A} \mathbf{x}-\mathbf{b}|^2\right), \quad \text { s.t. } \quad \mathbf{A} \mathbf{x}=\mathbf{b}$$

## 计算机代写|机器学习代写|双机代考ASCENT

$$\min _{\mathbf{x}} f(\mathbf{x}), \quad \text { s.t. }. \夸张的是，如果你是一个人，你就会发现，你是一个人，你是一个人，你是一个人，你是一个人。\mathbf{x}=\mathbf{b},$$

$$L(\mathbf{x}, \boldsymbol{\lambda})=f(\mathbf{x})+langle\boldsymbol{\lambda}, \mathbf{A}.$$

$$d(\lambda)=min\mathbf{x} L(\mathbf{x}, \boldsymbol{lambda}) \quad=min\mathbf{x}(f(\mathbf{x})+langle\lambda, \mathbf{A) mathbf{x}-mathbf{b}\rangle)=-max mathbf{x}left(-f(mathbf{x})-left\langle\mathbf{A}^T lambda,$$

$$\max \lambda \in \mathcal{D} d(\boldsymbol{lambda}) 。$$

## 计算机代写|机器学习代写|二元代写ASCENT

$$\min _{\mathbf{x}} f(\mathbf{x}), \quad \text { s.t. }. \夸张的是，如果你是一个人，你就会发现，你是一个人，你是一个人，你是一个人，你是一个人。\mathbf{x}=\mathbf{b},$$

$$L(\mathbf{x}, \boldsymbol{\lambda})=f(\mathbf{x})+langle\boldsymbol{\lambda}, \mathbf{A}.$$

$$d(\lambda)=min\mathbf{x} L(\mathbf{x}, \boldsymbol{lambda}) \quad=min\mathbf{x}(f(\mathbf{x})+langle\lambda, \mathbf{A) mathbf{x}-mathbf{b}\rangle)=-max mathbf{x}left(-f(mathbf{x})-left\langle\mathbf{A}^T lambda,$$

$$\max \lambda \in \mathcal{D} d(\boldsymbol{lambda}) 。$$

## Matlab代写

MATLAB 是一种用于技术计算的高性能语言。它将计算、可视化和编程集成在一个易于使用的环境中，其中问题和解决方案以熟悉的数学符号表示。典型用途包括：数学和计算算法开发建模、仿真和原型制作数据分析、探索和可视化科学和工程图形应用程序开发，包括图形用户界面构建MATLAB 是一个交互式系统，其基本数据元素是一个不需要维度的数组。这使您可以解决许多技术计算问题，尤其是那些具有矩阵和向量公式的问题，而只需用 C 或 Fortran 等标量非交互式语言编写程序所需的时间的一小部分。MATLAB 名称代表矩阵实验室。MATLAB 最初的编写目的是提供对由 LINPACK 和 EISPACK 项目开发的矩阵软件的轻松访问，这两个项目共同代表了矩阵计算软件的最新技术。MATLAB 经过多年的发展，得到了许多用户的投入。在大学环境中，它是数学、工程和科学入门和高级课程的标准教学工具。在工业领域，MATLAB 是高效研究、开发和分析的首选工具。MATLAB 具有一系列称为工具箱的特定于应用程序的解决方案。对于大多数 MATLAB 用户来说非常重要，工具箱允许您学习应用专业技术。工具箱是 MATLAB 函数（M 文件）的综合集合，可扩展 MATLAB 环境以解决特定类别的问题。可用工具箱的领域包括信号处理、控制系统、神经网络、模糊逻辑、小波、仿真等。