文档章节

2017年2月13日 Ridge Regression

airxiechao
 airxiechao
发布于 2017/03/20 08:22
字数 161
阅读 0
收藏 0

Suppose that for a known matrix A and vector b, we wish fo find a vector X such that

The ridge regression approach seeks to minimize the sum of squared residuals with a regularization term

An explicit solution is given by

import numpy as np
import ml_metrics as mtr

#prepare data
n_samples, n_features = 10, 5
np.random.seed(0)
X = np.random.randn(n_samples, n_features)
y = np.random.randn(n_samples)
y = (y-np.mean(y))/np.std(y)

#ridge regression implementation
def ridge_regression(X, y, alpha):
    tik_mat = alpha * np.identity(X.shape[1])
    coef = np.dot(np.transpose(X), X) + np.dot(np.transpose(tik_mat), tik_mat)
    coef = np.linalg.inv(coef)
    coef = np.dot(coef, np.transpose(X))
    coef = np.dot(coef, y)
    return coef

#train
coef = ridge_regression(X, y, 0)
print mtr.mse(np.dot(X, coef), y)
print coef

#0.677751350808
#[-0.30898281  0.02387927 -0.04666003 -0.2501281   0.16215742]

#scikit-learn implementation
from sklearn.linear_model import Ridge
r = Ridge(alpha=0, fit_intercept=False)
r.fit(X,y)
print mtr.mse(r.predict(X), y)
print r.coef_

#0.677751350808
#[-0.30898281  0.02387927 -0.04666003 -0.2501281   0.16215742]

 

© 著作权归作者所有

airxiechao
粉丝 4
博文 42
码字总数 9717
作品 1
成都
程序员
私信 提问
台湾大学林轩田机器学习技法课程学习笔记6 -- Support Vector Regression

上节课我们主要介绍了Kernel Logistic Regression,讨论如何把SVM的技巧应用在soft-binary classification上。方法是使用2-level learning,先利用SVM得到参数b和w,然后再用通用的logistic ...

红色石头
2017/11/03
0
0
台湾国立大学(林轩田)《机器学习技法》(第6讲)Support Vector Regression (SVR)

上节课我们主要介绍了Kernel Logistic Regression,讨论如何把SVM的技巧应用在soft-binary classification上。方法是使用2-level learning,先利用SVM得到参数b和w,然后再用通用的logistic ...

malele4th
2018/01/27
0
0
机器学习技法--Support Vector Regression

本文参考整理了Coursera上由NTU的林轩田讲授的《机器学习技法》课程的第六章的内容,主要介绍了如何将kernel trick应用到ridge regression以及消除了LSSVM的稠密矩阵特性的基于tube error的S...

sonack
2017/02/22
0
0
【机器学习】回归分析、过拟合、分类

作者:水奈樾 人工智能爱好者 博客专栏:http://www.cnblogs.com/rucwxb/ 一、Linear Regression 线性回归是相对简单的一种,表达式如下 其中,θ0表示bias,其他可以看做weight,可以转换为...

人工智能爱好者社区
2017/11/27
0
0
线性回归——lasso回归和岭回归(ridge regression)

目录 线性回归 Lasso回归和岭回归 为什么 lasso 更容易使部分权重变为 0 而 ridge 不行? References 线性回归很简单,用线性函数拟合数据,用 mean square error (mse) 计算损失(cost),然...

wuliytTaotao
05/11
0
0

没有更多内容

加载失败,请刷新页面

加载更多

golang-字符串-地址分析

demo package mainimport "fmt"func main() {str := "map.baidu.com"fmt.Println(&str, str)str = str[0:5]fmt.Println(&str, str)str = "abc"fmt.Println(&s......

李琼涛
今天
4
0
Spring Boot WebFlux 增删改查完整实战 demo

03:WebFlux Web CRUD 实践 前言 上一篇基于功能性端点去创建一个简单服务,实现了 Hello 。这一篇用 Spring Boot WebFlux 的注解控制层技术创建一个 CRUD WebFlux 应用,让开发更方便。这里...

泥瓦匠BYSocket
今天
6
0
从0开始学FreeRTOS-(列表与列表项)-3

FreeRTOS列表&列表项的源码解读 第一次看列表与列表项的时候,感觉很像是链表,虽然我自己的链表也不太会,但是就是感觉很像。 在FreeRTOS中,列表与列表项使用得非常多,是FreeRTOS的一个数...

杰杰1号
今天
8
0
Java反射

Java 反射 反射是框架设计的灵魂(使用的前提条件:必须先得到代表的字节码的 Class,Class 类 用于表示.class 文件(字节码)) 一、反射的概述 定义:JAVA 反射机制是在运行状态中,对于任...

zzz1122334
今天
5
0
聊聊nacos的LocalConfigInfoProcessor

序 本文主要研究一下nacos的LocalConfigInfoProcessor LocalConfigInfoProcessor nacos-1.1.3/client/src/main/java/com/alibaba/nacos/client/config/impl/LocalConfigInfoProcessor.java p......

go4it
昨天
9
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部