时间戳

首页 > 解决方案 > 逻辑回归 Python 实现

python - 逻辑回归 Python 实现

问题描述

我尝试在 Python 中仅使用 numpy 实现逻辑回归，但结果并不令人满意。预测似乎不正确，损失没有改善，因此代码可能有问题。有谁知道什么可以解决它？非常感谢！

这是算法：

import numpy as np


# training data and labels
X = np.concatenate((np.random.normal(0.25, 0.1, 50), np.random.normal(0.75, 0.1, 50)), axis=None)
Y = np.concatenate((np.zeros((50,), dtype=np.int32), np.ones((50,), dtype=np.int32)), axis=None)

def logistic_sigmoid(a):
    return 1 / (1 + np.exp(-a))

# forward pass
def forward_pass(w, x):
    return logistic_sigmoid(w * x)

# gradient computation
def backward_pass(x, y, y_real):
    return np.sum((y - y_real) * x)

# computing loss
def loss(y, y_real):
    return -np.sum(y_real * np.log(y) + (1 - y_real) * np.log(1 - y))

# training
def train():
    w = 0.0
    learning_rate = 0.01
    i = 200
    test_number = 0.3

    for epoch in range(i):
        y = forward_pass(w, X)
        gradient = backward_pass(X, y, Y)
        w = w - learning_rate * gradient

        print(f'epoch {epoch + 1}, x = {test_number}, y = {forward_pass(w, test_number):.3f}, loss = {loss(y, Y):.3f}')


train()

标签： pythonnumpymachine-learning

解决方案

乍一看，您错过了截距项（通常称为 b_0 或偏差）及其梯度更新。此外，在backward_pass 和loss 计算中，您不会除以数据样本的数量。

您可以在此处查看如何从头开始实现它的两个示例：

1：基于 Coursera 机器学习课程中 Andrew Ng 解释的示例

2：来自机器学习精通网站的 Jason Brownlee 的实现

推荐阅读