Sigmoid函数(也叫逻辑斯谛函数)由下列公式定义:
其对x的导数可以用自身表示:
相关代码:
def nonlin(x, deriv=False): if(deriv): return x*(1-x) return 1/(1+np.exp(-x))
Sigmoid函数的图形如S曲线:
1.在神经网络中sigmoid通常被用作激活函数,它可以用来处理二分类问题。那么什么是激活函数呢?
我们知道在多层的神经网络中,上一层的信号(也就是wx+b算出的结果y)要作为下一层的输入,但是这个上一层的信号在输入到下一层之前需要一次激活f = sigmoid(y),因为
并不是所有的上一层信号都可以激活下一层,如果所有的上一层信号都可以激活下一层,那么这一层相当于什么都没有做。因此我需要选择一些信号激活下一层的神经元。如何表
示激活呢?就是当activation function的输出结果是0就代表抑制,是1就代表激活。因为按照下一层的神经元的计算wf+b来看,如果f接近于0,那么就会阻止x对应的权重起
作用,如果接近1,这个权重的作用会最大,在这个就是激活的含义。
2.可以很容易的抑制误差,尤其是相差比较大的误差。
在x=5的点和x=10的点原本相差很远(10-5=5)的点,在激活之后,也就是x=5和x=10对应的y坐标的值,相差的不大。比如说有一个噪声误差,在x=1000处,其他的点都分布
在x=5到x=10之间,那么sigmoid的函数就可以很好的去掉这种误差带来的影响。
今天的文章sigmoid函数分享到此就结束了,感谢您的阅读,如果确实帮到您,您可以动动手指转发给其他人。
版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。
如需转载请保留出处:http://bianchenghao.cn/55796.html