梯度下降算法

只是个人学习后的一点理解,有错误还请见谅 梯度下降算法是用来求某一个函数的局部最小值,使用的方法类似于滚动一个小球,现实生活中,我们知道,人往高处走,水往低处流,对于一个函数的图像(高低不平的),我们假设物理效果存在,我们在函数图像上放置一个小球,小球肯定会滚向更低的地方: 由图可知,小球会滚动到谷 … 继续阅读梯度下降算法

关于神经网络和激活函数的一些想法

一直对这个部分比较懵逼,主要是神经网络的设计和激活函数的使用 今天对二次函数的拟合做了一点点小小的实验: 以前是这么想到:神经网络层数越多,能提取的特征越高级,越详细,而在tensorflow的游乐场里游玩了一段时间,看到的实际效果也是如此,但是今天写了1(隐藏)层和2层的网络,感觉差别不算大(可能 … 继续阅读关于神经网络和激活函数的一些想法

解决异或问题

异或问题感觉应该不用多说: 两个输入:X和Y,若X与Y同号,则输出1,否则输出0 演示图中我们用蓝色表示1,橙黄表示0 神经网络训练出来后是这个样子的: 可以看出,算法比较成功。 神经网络只有1个隐藏层,激活函数为RELU函数,连接为全连接。输入输出层都是2个节点。 [crayon-59513ffe … 继续阅读解决异或问题

TF修炼手册(一)变量的初始化

也不知道标题应该叫啥……瞎叫一个了

这是一个有2层神经网络的一个小例子(额……) x是输入层,a是隐藏层,y是输出层 w1, w2是第一、二层的权值 可以看出,sess进行运算之前,需要先把要用到的变量进行初始化,即调用 [crayo … 继续阅读TF修炼手册(一)变量的初始化

集合与函数概念

文化课掉线时间太长,重连希望渺茫。。所以想从零开始,认真理解一遍 集合和啥?这个不好说,不过大概可以理解成一堆同种性质的东西放在一起,比如一堆整数?至于数学里的集合,一堆一堆的自然都是数字了。。 1.求集合中的元素个数 对于这种直接枚举出集合中的所有元素,在计次即可,最重要的一步就是要正确写出集合中 … 继续阅读集合与函数概念

Tensorflow 的安装(windows 64bit CPU)

本人的机子,win10,64位,无法使用GPU版本,只能安装CPU的…… 折腾了半天算是搞好了 首先,先安装Python,这里我直接安装Anaconda(网上下载需要翻墙,下载速度勉强,本人已打包,下载链接放在下面) http://nsd-1252013086.cosgz.myqcloud.com/ … 继续阅读Tensorflow 的安装(windows 64bit CPU)