2025年sigmoid函数和logistic（sigmoid函数和logistic函数）

激活函数是神经网络模型重要的组成部分，本文作者Sukanya Bag从激活函数的数学原理出发，详解了十种激活函数的优缺点。

激活函数（Activation Function）是一种添加到人工神经网络中的函数，旨在帮助网络学习数据中的复杂模式。类似于人类大脑中基于神经元的模型，激活函数最终决定了要发射给下一个神经元的内容。

在人工神经网络中，一个节点的激活函数定义了该节点在给定的输入或输入集合下的输出。标准的计算机芯片电路可以看作是根据输入得到开（1）或关（0）输出的数字电路激活函数。因此，激活函数是确定神经网络输出的数学方程式，本文概述了深度学习中常见的十种激活函数及其优缺点。

首先我们来了解一下人工神经元的工作原理，大致如下：

上述过程的数学可视化过程如下图所示：

Sigmoid 函数的图像看起来像一个 S 形曲线。

函数表达式如下：

在什么情况下适合使用 Sigmoid 激活函数呢？

Sigmoid 函数的输出范围是 0 到 1。由于输出值限定在 0 到 1，因此它对每个神经元的输出进行了归一化；
用于将预测概率作为输出的模型。由于概率的取值范围是 0 到 1，因此 Sigmoid 函数非常合适；
梯度平滑，避免「跳跃」的输出值；
函数是可微的。这意味着可以找到任意两个点的 sigmoid 曲线的斜率；
明确的预测，即非常接近 1 或 0。

Sigmoid 激活函数有哪些缺点？

倾向于梯度消失；
函数输出不是以 0 为中心的，这会降低权重更新的效率；
Sigmoid 函数执行指数运算，计算机运行得较慢。

tanh 激活函数的图像也是 S 形，表达式如下：

tanh 是一个双曲正切函数。tanh 函数和 sigmoid 函数的曲线相对相似。但是它比 sigmoid 函数更有一些优势。

首先，当输入较大或较小时，输出几乎是平滑的并且梯度较小，这不利于权重更新。二者的区别在于输出间隔，tanh 的输出间隔为 1，并且整个函数以 0 为中心，比 sigmoid 函数更好；
在 tanh 图中，负输入将被强映射为负，而零输入被映射为接近零。

注意：在一般的二元分类问题中，tanh 函数用于隐藏层，而 sigmoid 函数用于输出层，但这并不是固定的，需要根据特定问题进行调整。

ReLU 激活函数图像如上图所示，函数表达式如下：

ReLU 函数是深度学习中较为流行的一种激活函数，相比于 sigmoid 函数和 tanh 函数，它具有如下优点：

当输入为正时，不存在梯度饱和问题。
计算速度快得多。ReLU 函数中只存在线性关系，因此它的计算速度比 sigmoid 和 tanh 更快。

当然，它也有缺点：

Dead ReLU 问题。当输入为负时，ReLU 完全失效，在正向传播过程中，这不是问题。有些区域很敏感，有些则不敏感。但是在反向传播过程中，如果输入负数，则梯度将完全为零，sigmoid 函数和 tanh 函数也具有相同的问题；
我们发现 ReLU 函数的输出为 0 或正数，这意味着 ReLU 函数不是以 0 为中心的函数。

它是一种专门设计用于解决 Dead ReLU 问题的激活函数：

为什么 Leaky ReLU 比 ReLU 更好？

/span>

ol data-tool="mdnice编辑器" style="padding-left: 25px;font-size: 13px;margin-top: 4px;margin-bottom: 4px;font-family: 微软雅黑;color: rgb(128, 128, 128);" class="list-paddingleft-2">

Leaky ReLU 通过把 x 的非常小的线性分量给予负输入（0.01x）来调整负值的零梯度（zero gradients）问题；

leak 有助于扩大 ReLU 函数的范围，通常 a 的值为 0.01 左右；

Leaky ReLU 的函数范围是（负无穷到正无穷）。

/ol>

p data-tool="mdnice编辑器" style="padding-top: 8px;padding-bottom: 8px;font-size: 15px;margin-top: 15px;line-height: 28px;">**注意：**从理论上讲，Leaky ReLU 具有 ReLU 的所有优点，而且 Dead ReLU 不会有任何问题，但在实际操作中，尚未完全证明 Leaky ReLU 总是比 ReLU 更好。

/p>

figure data-tool="mdnice编辑器" style="margin-top: 10px;margin-bottom: 10px;display: flex;flex-direction: column;justify-content: center;align-items: center;">

ELU vs Leaky ReLU vs ReLU

/figure>

p data-tool="mdnice编辑器" style="padding-top: 8px;padding-bottom: 8px;font-size: 15px;margin-top: 15px;line-height: 28px;">ELU 的提出也解决了 ReLU 的问题。与 ReLU 相比，ELU 有负值，这会使激活的平均值接近零。均值激活接近于零可以使学习更快，因为它们使梯度更接近自然梯度。

/p>

span style="cursor:pointer;" data-tool="mdnice编辑器">

/embed>

section style="margin-top: 5px;margin-bottom: 5px;line-height: 26px;text-align: left;color: rgb(105, 105, 105);">没有 Dead ReLU 问题，输出的平均值接近 0，以 0 为中心；

/section>

section style="margin-top: 5px;margin-bottom: 5px;line-height: 26px;text-align: left;color: rgb(105, 105, 105);">ELU 通过减少偏置偏移的影响，使正常梯度更接近于单位自然梯度，从而使均值向零加速学习；

/section>

section style="margin-top: 5px;margin-bottom: 5px;line-height: 26px;text-align: left;color: rgb(105, 105, 105);">ELU 在较小的输入下会饱和至负值，从而减少前向传播的变异和信息。

/section>

img src="https://mmbiz.qpic.cn/mmbiz_png/hN1l83J6Ph9hcXva9ZkALia606sEFIaCfQpXbzicv5TVfaiaVW0epa9MHZoLYFNaFjdG4ZYvWABDITkFu2L1zZmXw/640?wx_fmt=png" class="rich_pages wxw-img" data-ratio="0.7872023809523809" data-src="https://mmbiz.qpic.cn/mmbiz_png/hN1l83J6Ph9hcXva9ZkALia606sEFIaCfQpXbzicv5TVfaiaVW0epa9MHZoLYFNaFjdG4ZYvWABDITkFu2L1zZmXw/640?wx_fmt=png" data-type="png" data-w="672" height="316" style="display: block;margin-right: auto;margin-left: auto;" width="672" />

g data-mml-node="msub">

/g>

g data-mml-node="mo" transform="translate(979.6, 0)">

/g>

g data-mml-node="mi" transform="translate(1368.6, 0)">

/g>

g data-mml-node="mo" transform="translate(1940.6, 0)">

/g>

g data-mml-node="msub">

/g>

g data-mml-node="mo" transform="translate(979.6, 0)">

/g>

g data-mml-node="mi" transform="translate(1368.6, 0)">

/g>

g data-mml-node="mo" transform="translate(1940.6, 0)">

/g>

g data-mml-node="mi">

/g>

g data-mml-node="mo" transform="translate(477, 0)">

/g>

g data-mml-node="mi" transform="translate(866, 0)">

/g>

g data-mml-node="mo" transform="translate(1438, 0)">

/g>

path data-c="67" d="M311 43Q296 30 267 15T206 0Q143 0 105 45T66 160Q66 265 143 353T314 442Q361 442 401 394L404 398Q406 401 409 404T418 412T431 419T447 422Q461 422 470 413T480 394Q480 379 423 152T363 -80Q345 -134 286 -169T151 -205Q10 -205 10 -137Q10 -111 28 -91T74 -71Q89 -71 102 -80T116 -111Q116 -121 114 -130T107 -144T99 -154T92 -162L90 -164H91Q101 -167 151 -167Q189 -167 211 -155Q234 -144 254 -122T282 -75Q288 -56 298 -13Q311 35 311 43ZM384 328L380 339Q377 350 375 354T369 368T359 382T346 393T328 402T306 405Q262 405 221 352Q191 313 171 233T151 117Q151 38 213 38Q269 38 323 108L331 118L384 328Z">

/path>

path data-c="28" d="M94 250Q94 319 104 381T127 488T164 576T202 643T244 695T277 729T302 750H315H319Q333 750 333 741Q333 738 316 720T275 667T226 581T184 443T167 250T184 58T225 -81T274 -167T316 -220T333 -241Q333 -250 318 -250H315H302L274 -226Q180 -141 137 -14T94 250Z">

/path>

path data-c="78" d="M52 289Q59 331 106 386T222 442Q257 442 286 424T329 379Q371 442 430 442Q467 442 494 420T522 361Q522 332 508 314T481 292T458 288Q439 288 427 299T415 328Q415 374 465 391Q454 404 425 404Q412 404 406 402Q368 386 350 336Q290 115 290 78Q290 50 306 38T341 26Q378 26 414 59T463 140Q466 150 469 151T485 153H489Q504 153 504 145Q504 144 502 134Q486 77 440 33T333 -11Q263 -11 227 52Q186 -10 133 -10H127Q78 -10 57 16T35 71Q35 103 54 123T99 143Q142 143 142 101Q142 81 130 66T107 46T94 41L91 40Q91 39 97 36T113 29T132 26Q168 26 194 71Q203 87 217 139T245 247T261 313Q266 340 266 352Q266 380 251 392T217 404Q177 404 142 372T93 290Q91 281 88 280T72 278H58Q52 284 52 289Z">

/path>

path data-c="29" d="M60 749L64 750Q69 750 74 750H86L114 726Q208 641 251 514T294 250Q294 182 284 119T261 12T224 -76T186 -143T145 -194T113 -227T90 -246Q87 -249 86 -250H74Q66 -250 63 -250T58 -247T55 -238Q56 -237 66 -225Q221 -64 221 250T66 725Q56 737 55 738Q55 746 60 749Z">

/path>

path data-c="3D" d="M56 347Q56 360 70 367H707Q722 359 722 347Q722 336 708 328L390 327H72Q56 332 56 347ZM56 153Q56 168 72 173H708Q722 163 722 153Q722 140 707 133H70Q56 140 56 153Z">

/path>

g data-mml-node="mi">

/g>

g data-mml-node="mn" transform="translate(576, -150) scale(0.707)">

/g>

/path>

path data-c="2212" d="M84 237T84 250T98 270H679Q694 262 694 250T679 230H98Q84 237 84 250Z">

/path>

g data-mml-node="mi">

/g>

g data-mml-node="mn" transform="translate(576, -150) scale(0.707)">

/g>

/path>

path data-c="66" d="M118 -162Q120 -162 124 -164T135 -167T147 -168Q160 -168 171 -155T187 -126Q197 -99 221 27T267 267T289 382V385H242Q195 385 192 387Q188 390 188 397L195 425Q197 430 203 430T250 431Q298 431 298 432Q298 434 307 482T319 540Q356 705 465 705Q502 703 526 683T550 630Q550 594 529 578T487 561Q443 561 443 603Q443 622 454 636T478 657L487 662Q471 668 457 668Q445 668 434 658T419 630Q412 601 403 552T387 469T380 433Q380 431 435 431Q480 431 487 430T498 424Q499 420 496 407T491 391Q489 386 482 386T428 385H372L349 263Q301 15 282 -47Q255 -132 212 -173Q175 -205 139 -205Q107 -205 81 -186T55 -132Q55 -95 76 -78T118 -61Q162 -61 162 -103Q162 -122 151 -136T127 -157L118 -162Z">

/path>

path data-c="3D" d="M56 347Q56 360 70 367H707Q722 359 722 347Q722 336 708 328L390 327H72Q56 332 56 347ZM56 153Q56 168 72 173H708Q722 163 722 153Q722 140 707 133H70Q56 140 56 153Z">

/path>

path data-c="6C" d="M42 46H56Q95 46 103 60V68Q103 77 103 91T103 124T104 167T104 217T104 272T104 329Q104 366 104 407T104 482T104 542T103 586T103 603Q100 622 89 628T44 637H26V660Q26 683 28 683L38 684Q48 685 67 686T104 688Q121 689 141 690T171 693T182 694H185V379Q185 62 186 60Q190 52 198 49Q219 46 247 46H263V0H255L232 1Q209 2 183 2T145 3T107 3T57 1L34 0H26V46H42Z">

/path>

path data-c="6E" d="M41 46H55Q94 46 102 60V68Q102 77 102 91T102 122T103 161T103 203Q103 234 103 269T102 328V351Q99 370 88 376T43 385H25V408Q25 431 27 431L37 432Q47 433 65 434T102 436Q119 437 138 438T167 441T178 442H181V402Q181 364 182 364T187 369T199 384T218 402T247 421T285 437Q305 442 336 442Q450 438 463 329Q464 322 464 190V104Q464 66 466 59T477 49Q498 46 526 46H542V0H534L510 1Q487 2 460 2T422 3Q319 3 310 0H302V46H318Q379 46 379 62Q380 64 380 200Q379 335 378 343Q372 371 358 385T334 402T308 404Q263 404 229 370Q202 343 195 315T187 232V168V108Q187 78 188 68T191 55T200 49Q221 46 249 46H265V0H257L234 1Q210 2 183 2T145 3Q42 3 33 0H25V46H41Z" transform="translate(278, 0)">

/path>

path data-c="31" d="M213 578L200 573Q186 568 160 563T102 556H83V602H102Q149 604 189 617T245 641T273 663Q275 666 285 666Q294 666 302 660V361L303 61Q310 54 315 52T339 48T401 46H427V0H416Q395 3 257 3Q121 3 100 0H88V46H114Q136 46 152 46T177 47T193 50T201 52T207 57T213 61V578Z">

/path>

path data-c="2B" d="M56 237T56 250T70 270H369V420L370 570Q380 583 389 583Q402 583 409 568V270H707Q722 262 722 250T707 230H409V-68Q401 -82 391 -82H389H387Q375 -82 369 -68V230H70Q56 237 56 250Z">

/path>

g data-mml-node="mi">

/g>

g data-mml-node="mi" transform="translate(466, 413) scale(0.707)">

/g>

/path>

g data-mml-node="mi">

/g>

g data-mml-node="mo" transform="translate(612, 413) scale(0.707)">

/g>

/path>

path data-c="3D" d="M56 347Q56 360 70 367H707Q722 359 722 347Q722 336 708 328L390 327H72Q56 332 56 347ZM56 153Q56 168 72 173H708Q722 163 722 153Q722 140 707 133H70Q56 140 56 153Z">

/path>

g data-mml-node="msup" transform="translate(1081.2, 676)">

/g>

g data-mml-node="mrow" transform="translate(220, -686)">

/g>

rect width="2842.9" height="60" x="120" y="220">

/rect>

path data-c="3D" d="M56 347Q56 360 70 367H707Q722 359 722 347Q722 336 708 328L390 327H72Q56 332 56 347ZM56 153Q56 168 72 173H708Q722 163 722 153Q722 140 707 133H70Q56 140 56 153Z">

/path>

g data-mml-node="mn" transform="translate(1566.5, 676)">

/g>

g data-mml-node="mrow" transform="translate(220, -735.2)">

/g>

rect width="3393" height="60" x="120" y="220">

/rect>

g data-mml-node="mo">

/g>

g data-mml-node="mn" transform="translate(389, 0)">

/g>

g data-mml-node="mo" transform="translate(889, 0)">

/g>

g data-mml-node="mo" transform="translate(1333.7, 0)">

/g>

g data-mml-node="mi" transform="translate(2111.7, 0)">

/g>

g data-mml-node="mo" transform="translate(3111.7, 0)">

/g>

。

原文链接：
https://sukanyabag.medium.com/activation-functions-all-you-need-to-know-355a850d025e

2025年sigmoid函数和logistic（sigmoid函数和logistic函数）

相关推荐