01 Алгоритм линейной регрессии. Градиентный спуск.MP4
01 Алгоритм линейной регрессии. Градиентный спуск https://gbcdn.mrgcdn.ru/uploads/asset/3863609/attachment/43b418175b399f1c38a9c423f6447f7f.ipynb https://gbcdn.mrgcdn.ru/uploads/asset/3863612/attachment/e1a393aaf893c0c0eb4f60ce7c58a9f8.ipynb https://gbcdn.mrgcdn.ru/uploads/asset/2224471/attachment/848e6b43a73e6f9c2824b4ed2c9949e7.ipynb https://github.com/vit050587/Data-analysis/blob/master/analytics_data.ipynb Урок 1. Алгоритм линейной регрессии. Градиентный спуск Проведите небольшое исследование алгоритма градиентного спуска. Оцените влияние значений скорости обучения (eta) и количества итераций на ошибку алгоритма. Как связаны эти два гиперпараметра между собой? Подберите скорость обучения и количество итераций до совпадения ответов алгоритма с результатами МНК. Как можно ускорить процесс вычисления весов? (*) В этом коде мы избавляемся от итераций по весам, но тут есть ошибка, исправьте ее: w = np.array([1, 0.5]) for i in range(1001): y_pred = np.dot(w, X.T) err = calc_mse(y, y_pred) w -= (eta * (1/n * 2 * np.sum(X.T * (y_pred - y)))) # ошибка! if i % 100 == 0: print(i, w, err) 3(*). Вместо того, чтобы задавать количество итераций, задайте условие остановки алгоритма - когда ошибка за итерацию начинает изменяться ниже определенного порога. Сколько нужно сделать итераций, если установить допустимое отклонение mse в размере diff=1e-6, а значение eta=1e-2?
01 Алгоритм линейной регрессии. Градиентный спуск https://gbcdn.mrgcdn.ru/uploads/asset/3863609/attachment/43b418175b399f1c38a9c423f6447f7f.ipynb https://gbcdn.mrgcdn.ru/uploads/asset/3863612/attachment/e1a393aaf893c0c0eb4f60ce7c58a9f8.ipynb https://gbcdn.mrgcdn.ru/uploads/asset/2224471/attachment/848e6b43a73e6f9c2824b4ed2c9949e7.ipynb https://github.com/vit050587/Data-analysis/blob/master/analytics_data.ipynb Урок 1. Алгоритм линейной регрессии. Градиентный спуск Проведите небольшое исследование алгоритма градиентного спуска. Оцените влияние значений скорости обучения (eta) и количества итераций на ошибку алгоритма. Как связаны эти два гиперпараметра между собой? Подберите скорость обучения и количество итераций до совпадения ответов алгоритма с результатами МНК. Как можно ускорить процесс вычисления весов? (*) В этом коде мы избавляемся от итераций по весам, но тут есть ошибка, исправьте ее: w = np.array([1, 0.5]) for i in range(1001): y_pred = np.dot(w, X.T) err = calc_mse(y, y_pred) w -= (eta * (1/n * 2 * np.sum(X.T * (y_pred - y)))) # ошибка! if i % 100 == 0: print(i, w, err) 3(*). Вместо того, чтобы задавать количество итераций, задайте условие остановки алгоритма - когда ошибка за итерацию начинает изменяться ниже определенного порога. Сколько нужно сделать итераций, если установить допустимое отклонение mse в размере diff=1e-6, а значение eta=1e-2?