machine-learning - 网络在达到特定精度后停止收敛

Question

完成本课程后，我决定从头开始实现一个深度神经网络以加深我的理解，但在训练网络时，准确率稳步提高，直到达到 35%，然后开始下降。这是我实现的反向传播算法。

我已将学习率设置为 0.001。我已经测试了 500 个纪元。准确度缓慢增加，这表明反向传播是正确的，但随后它停止并开始下降。我认为向后传递中可能仍然存在错误，但我找不到它。每个时期的训练准确性可以在这里找到=> https://pastebin.com/bfQc6B2F

        #FORWARD PROP
        z2 = self.parameters['W1'].dot(inpt)+self.parameters['b1']
        a2 = relu(z2)
        z3 = self.parameters['W2'].dot(a2)+self.parameters['b2']
        man_output = softmax(z3,self)

        #BACKPROP
        sigma3 = prediction-mappings
        sigma2 = self.parameters['W2'].T.dot(sigma3)* reluGrad(a2)
        dW2 = (1/m)*sigma3.dot(a2.T)
        db2 = (1/m)*np.sum(sigma3,axis=1,keepdims=True)
        dW1 = (1/m)*sigma2.dot(inpt.T)
        db1 = (1/m)*np.sum(sigma2,axis=1,keepdims=True)
        self.grads={'dW1':dW1,'db1':db1,'dW2':dW2,'db2':db2}

        #UPDATE PARAMETERS
        for l in range(int(len(self.parameters)/2)):
            self.parameters['W'+str(l+1)] = self.parameters['W'+str(l+1)] -alpha*self.grads['dW'+str(l+1)]
            self.parameters['b'+str(l+1)] = self.parameters['b'+str(l+1)] -alpha*self.grads['db'+str(l+1)]

标签： machine-learningneural-networkdeep-learningcomputer-visionbackpropagation