知乎原文
深度学习中不同层的权重是否以不同的速度收敛?我好像得到的两个截然相反的结论。首先定义浅和深——浅代…
武辰 · 首发于知乎
深度学习中不同层的权重是否以不同的速度收敛?我好像得到的两个截然相反的结论。首先定义浅和深——浅代表靠近输入层,深代表靠近输出层。
一方面,以CNN举例,浅层神经网络主要学习一般化的特征——纹理、条纹等。这些特征是更容易学习的,而且对输入数据的小变化不敏感,因此应该是更快学习到,并且后期的改动是不大的(更快收敛)。而高级特征需要久一点才能学习到,并且对输入数据的变化更敏感
但是另一方面,浅层的神经网络,梯度回传过来已经经过了前面很多层的连乘,更容易发生梯度消失/爆炸问题,更不容易收敛。
哪种说法更有道理?
知乎原文
我很想吐槽打车软件一直都没有优化的一个点:明明我可以花不到一分钟的时间过马路去等车,但是软件不给我…
武辰 · 首发于知乎
我很想吐槽打车软件一直都没有优化的一个点:明明我可以花不到一分钟的时间过马路去等车,但是软件不给我这个选项,而是让司机多花了好几分钟掉头。我觉得打车时可以增加一个选项——“我愿意接受50米内的步行,来换取总时长的减少”
知乎原文
根据我在知乎冲浪五年的经验,有一招可以很好地过滤掉垃圾文章/回答:如果“权力”“权利”不分,那么不…
武辰 · 首发于知乎
根据我在知乎冲浪五年的经验,有一招可以很好地过滤掉垃圾文章/回答:如果“权力”“权利”不分,那么不用往下看;如果“再”“在”不分,那么可看可不看;如果超过两个感叹号,那么作者的对立面可能是真相。
知乎原文
很荣幸成为评审团的一员。希望知乎科技榜越办越好,成为科技影响力的标杆。
武辰 · 首发于知乎
很荣幸成为评审团的一员。希望知乎科技榜越办越好,成为科技影响力的标杆。
知乎原文
讲逻辑讲道理的人一般不会在网络争论中占得上风,相反有可能秀才遇到兵有理说不清。这会导致很多正常人在…
武辰 · 首发于知乎
讲逻辑讲道理的人一般不会在网络争论中占得上风,相反有可能秀才遇到兵有理说不清。这会导致很多正常人在网络上表达意见的意愿降低。从某种意义上来说,这也是劣币驱逐良币。
知乎原文
有一天,你可能会突然觉醒,发现自己从出生开始,其实一直在演电影,只是你没有意识到。我们的生活就像是…
武辰 · 首发于知乎
有一天,你可能会突然觉醒,发现自己从出生开始,其实一直在演电影,只是你没有意识到。
我们的生活就像是在看电影。大多数并不知道自己在看电影,相反他们沉浸在电影中,以为自己是电影中的人物,可以主宰剧情的走向。其实电影的结局早已注定好了,只是我们不知道结局而已。
知乎原文
在知乎,“权力”(power)和“权利”(right)不分的回答,围起来可以绕地球三圈。
武辰 · 首发于知乎
在知乎,“权力”(power)和“权利”(right)不分的回答,围起来可以绕地球三圈。