003_多元凸函数及其性质

内容分享13小时前发布
0 0 0

一、核心前提:多元函数的定义域(凸集)

与一元函数不同,多元函数的自变量是 n 维向量 003_多元凸函数及其性质,其凸函数定义需先明确凸集的概念(高维场景下的 “区间” 推广)。

设集合 003_多元凸函数及其性质,若对任意两个向量 003_多元凸函数及其性质,都有:003_多元凸函数及其性质

则称 D 为 003_多元凸函数及其性质 上的凸集

几何意义:凸聚焦任意两点的 “连线”(所有凸组合)仍在集合内,例如 003_多元凸函数及其性质 中的圆盘、三角形是凸集,圆环、五角星不是凸集。

二、多元凸函数与严格凸函数的定义

所有定义均基于 “定义域为凸集” 这一前提,核心是向量凸组合的函数值不等式

1. 多元凸函数(Convex Function)

设函数 003_多元凸函数及其性质,其中 003_多元凸函数及其性质 是凸集。若对任意 003_多元凸函数及其性质 和任意 ,满足:003_多元凸函数及其性质

则称 f 为 D 上的凸函数

2. 多元严格凸函数(Strictly Convex Function)

设函数 003_多元凸函数及其性质,其中 003_多元凸函数及其性质 是凸集。若对任意 003_多元凸函数及其性质003_多元凸函数及其性质,向量分量不完全相等)和任意 003_多元凸函数及其性质,满足:<span data-content="{"url":"https://image-tt-private.toutiao.com/tos-cn-i-6w9my0ksvp/2fbe00a2f4a844d4ab20d8b97fba9414~tplv-obj.image?_iz=115383&c=811c9dc5&from=image_upload&lk3s=72284de7&policy=eyJ2bSI6MywidWlkIjoiMTkyNjc2NDQ3MTAwNzMxNSJ9&x-orig-authkey=5a21e4afda5945d9a206a695e4c78a63&x-orig-expires=2392522012&x-orig-sign=u9UDYyvNk0GqBjhxldpSFrAdS1k%3D","uri":"tos-cn-i-6w9my0ksvp/2fbe00a2f4a844d4ab20d8b97fba9414","width":370,"height":29,"darkImgUrl":"https://image-tt-private.toutiao.com/tos-cn-i-6w9my0ksvp/47b8ebd707e745cd8ed82b34522ec471~tplv-obj.image?_iz=115383&c=811c9dc5&from=image_upload&lk3s=72284de7&policy=eyJ2bSI6MywidWlkIjoiMTkyNjc2NDQ3MTAwNzMxNSJ9&x-orig-authkey=5a21e4afda5945d9a206a695e4c78a63&x-orig-expires=2392522029&x-orig-sign=2wmzTasEpvU1QY7eQlQMpBfVgfM%3D","darkImgUri":"tos-cn-i-6w9my0ksvp/47b8ebd707e745cd8ed82b34522ec471","formulaImgStatus":"succeed"}" data-formula="fleft( lambda oldsymbol{x} + (1-lambda)oldsymbol{y}
ight) 003_多元凸函数及其性质

则称 f 为 D 上的严格凸函数

三、多元凸函数的核心性质(含严格凸对比)

多元凸函数的性质依赖梯度(一阶导数推广)Hessian 矩阵(二阶导数推广),需先明确这两个工具的定义:

  • 梯度003_多元凸函数及其性质,是 n 维列向量。
  • Hessian 矩阵003_多元凸函数及其性质,是 n x n 对称矩阵(若二阶偏导连续)。

性质类别

多元凸函数(f 凸)

多元严格凸函数(f 严格凸)

1. 几何意义

函数图像上任意两点的割平面在图像及其上方

函数图像上任意两点的割平面严格在图像上方

2. 一阶条件

若 f 在开凸集 D 上可微,则

f 凸 003_多元凸函数及其性质 对任意003_多元凸函数及其性质

有:

003_多元凸函数及其性质

若 f 在开凸集 D 上可微,则

f 严格凸 003_多元凸函数及其性质 对任意

003_多元凸函数及其性质,有:

f(oldsymbol{x}) +
abla f(oldsymbol{x})^T (oldsymbol{y} – oldsymbol{x})”>003_多元凸函数及其性质

(切线平面严格在函数下方)

3. 二阶条件

若 f 在开凸集 D 上二阶可微,则 f 凸 003_多元凸函数及其性质 对任意003_多元凸函数及其性质003_多元凸函数及其性质半正定矩阵(即对任意 003_多元凸函数及其性质003_多元凸函数及其性质

若 f 在开凸集 D 上二阶可微,则 003_多元凸函数及其性质正定矩阵(对任意 003_多元凸函数及其性质, 003_多元凸函数及其性质 0″>003_多元凸函数及其性质)是 f 严格凸的充分条件(非必要)

4. 极值性质

若 f 凸且 003_多元凸函数及其性质(驻点),则 003_多元凸函数及其性质是 f 的全局极小值点(可能不唯一)

若 f 严格凸且 003_多元凸函数及其性质,则 003_多元凸函数及其性质 是 f 的唯一全局极小值点

5. Jensen 不等式

对任意 003_多元凸函数及其性质

003_多元凸函数及其性质

003_多元凸函数及其性质),有:

003_多元凸函数及其性质

同上,但等号成立 当且仅当 003_多元凸函数及其性质

四、关键性质的证明(以二阶条件为例)

选取最核心的 “二阶条件(Hessian 半正定是凸函数的充要条件)” 证明,其他性质可基于此推导。

命题

003_多元凸函数及其性质是开凸集,且 f 二阶可微,

则:f 是凸函数 003_多元凸函数及其性质 是半正定矩阵。

证明过程

1. 必要性(003_多元凸函数及其性质:凸函数003_多元凸函数及其性质Hessian 半正定)

思路:将多元问题 “一元化”—— 固定任意方向 003_多元凸函数及其性质,利用一元凸函数的二阶导数非负推导。

  • 任取 003_多元凸函数及其性质和任意非零向量 003_多元凸函数及其性质(若 d=0,半正定显然成立)。
  • 因 D 是开集, 0,使得当 t in (-delta, delta) 时,oldsymbol{x} + toldsymbol{d} in D”>003_多元凸函数及其性质
  • 构造一元函数 003_多元凸函数及其性质,则 g(t) 是 003_多元凸函数及其性质 上的凸函数(因 f 是凸函数,凸组合的函数值不等式对 g(t) 仍成立)。
  • 对 g(t) 求二阶导数:
  • 一阶导数:003_多元凸函数及其性质(链式法则,梯度与方向向量的内积);
  • 二阶导数:003_多元凸函数及其性质(再次求导,Hessian 矩阵的二次型)。
  • 由一元凸函数的充要条件,003_多元凸函数及其性质立。令 t = 0,得:003_多元凸函数及其性质
  • 003_多元凸函数及其性质是任意向量,故003_多元凸函数及其性质是半正定矩阵。

2. 充分性(003_多元凸函数及其性质:Hessian 半正定003_多元凸函数及其性质凸函数)

思路:利用多元函数的二阶泰勒展开,结合半正定矩阵的二次型非负,推导凸组合的不等式。

  • 任取 003_多元凸函数及其性质,因 D 是凸集,对任意 003_多元凸函数及其性质
  • 003_多元凸函数及其性质003_多元凸函数及其性质003_多元凸函数及其性质 处做二阶泰勒展开(余项为拉格朗日型):
  • 存在 003_多元凸函数及其性质(在 003_多元凸函数及其性质 之间),

使得:003_多元凸函数及其性质003_多元凸函数及其性质

  • 同理,存在 003_多元凸函数及其性质(在 003_多元凸函数及其性质之间),
  • 使得:003_多元凸函数及其性质003_多元凸函数及其性质
  • 003_多元凸函数及其性质003_多元凸函数及其性质 均为半正定矩阵,故泰勒展开中的二次项非负:

003_多元凸函数及其性质,003_多元凸函数及其性质

  • 因此:003_多元凸函数及其性质,003_多元凸函数及其性质
  • 将两式分别乘以 003_多元凸函数及其性质 后相加:

003_多元凸函数及其性质003_多元凸函数及其性质

  • 注意到 003_多元凸函数及其性质(因 003_多元凸函数及其性质),故右边简化为 003_多元凸函数及其性质
  • 最终得:003_多元凸函数及其性质
  • 即 f 是凸函数。
© 版权声明

相关文章

暂无评论

none
暂无评论...