2017年2月13日 Ridge Regression 原

Suppose that for a known matrix A and vector b, we wish fo find a vector X such that The ridge regression approach seeks to minimize the sum of squared residuals with a regularization term An explicit solution is given by import numpy as np
import ml_metrics as mtr

#prepare data
n_samples, n_features = 10, 5
np.random.seed(0)
X = np.random.randn(n_samples, n_features)
y = np.random.randn(n_samples)
y = (y-np.mean(y))/np.std(y)

#ridge regression implementation
def ridge_regression(X, y, alpha):
tik_mat = alpha * np.identity(X.shape)
coef = np.dot(np.transpose(X), X) + np.dot(np.transpose(tik_mat), tik_mat)
coef = np.linalg.inv(coef)
coef = np.dot(coef, np.transpose(X))
coef = np.dot(coef, y)
return coef

#train
coef = ridge_regression(X, y, 0)
print mtr.mse(np.dot(X, coef), y)
print coef

#0.677751350808
#[-0.30898281  0.02387927 -0.04666003 -0.2501281   0.16215742]

#scikit-learn implementation
from sklearn.linear_model import Ridge
r = Ridge(alpha=0, fit_intercept=False)
r.fit(X,y)
print mtr.mse(r.predict(X), y)
print r.coef_

#0.677751350808
#[-0.30898281  0.02387927 -0.04666003 -0.2501281   0.16215742]

2017/11/03
0
0

malele4th
2018/01/27
0
0

sonack
2017/02/22
0
0
【机器学习】回归分析、过拟合、分类

2017/11/27
0
0

wuliytTaotao
05/11
0
0

golang-字符串-地址分析

demo package mainimport "fmt"func main() {str := "map.baidu.com"fmt.Println(&str, str)str = str[0:5]fmt.Println(&str, str)str = "abc"fmt.Println(&s......

4
0
Spring Boot WebFlux 增删改查完整实战 demo

03：WebFlux Web CRUD 实践 前言 上一篇基于功能性端点去创建一个简单服务，实现了 Hello 。这一篇用 Spring Boot WebFlux 的注解控制层技术创建一个 CRUD WebFlux 应用，让开发更方便。这里...

6
0

FreeRTOS列表&列表项的源码解读 第一次看列表与列表项的时候，感觉很像是链表，虽然我自己的链表也不太会，但是就是感觉很像。 在FreeRTOS中，列表与列表项使用得非常多，是FreeRTOS的一个数...

8
0
Java反射

Java 反射 反射是框架设计的灵魂（使用的前提条件：必须先得到代表的字节码的 Class，Class 类 用于表示.class 文件（字节码）） 一、反射的概述 定义：JAVA 反射机制是在运行状态中，对于任...

zzz1122334

5
0

go4it

9
0 