文档章节

多项式回归学习笔记

AllenOR灵感
 AllenOR灵感
发布于 2017/09/10 00:47
字数 1077
阅读 3
收藏 0

操作系统 : CentOS7.3.1611_x64

python版本:2.7.5

sklearn版本:0.18.2

tensorflow版本 :1.2.1

多项式的定义及展现形式

多项式(Polynomial)是代数学中的基础概念,是由称为不定元的变量和称为系数的常数通过有限次加减法、乘法以及自然数幂次的乘方运算得到的代数表达式。

多项式分为一元多项式和多元多项式,其中:

不定元只有一个的多项式称为一元多项式;

不定元不止一个的多项式称为多元多项式。

 

 本文讨论的是一元多项式相关问题。

 

其一般形式如下(python语法表达方式):

y = a0 + a1 * x + a2 * (x**2) + ... + an * (x ** n) + e

比如普通的二次多项式回归模型如下(python语法表达方式):

y = a0 + a1 * x + a2 * (x**2) + e

当 a0,a1,a2,e = 10,2,-0.03,0.5 时,大致图形如下:

源码如下:

#! /usr/bin/env python
#-*- coding:utf-8 -*-
import pylab
import pandas as pd

def fun(x):
    # y = a0 + a1 * x + a2 * (x**2) + e
    a0,a1,a2,e = 10,2,-0.03,0.5
    y = a0 + a1 * x + a2 * (x**2) + e
    return y

arrX = range(-10000,10000)
arrY = []

for x in arrX :
    arrY.append(fun(x))

pylab.plot(arrX,arrY)
pylab.show()

 

普通的三次多项式回归模型如下(python语法表达方式):

y = a0 + a1 * x + a2 * (x**2) + a3 * (x**3) + e

当 a0,a1,a2,a3,e = 10,-0.2,-0.03,-0.04,0.5 时,大致图形如下:

源码如下:

#! /usr/bin/env python
#-*- coding:utf-8 -*-
import pylab
import pandas as pd

def fun(x):
    # y = a0 + a1 * x + a2 * (x**2) + a3 * (x**3)+ e
    a0,a1,a2,a3,e = 10,-0.2,-0.03,-0.04,0.5
    y = a0 + a1 * x + a2 * (x**2) + a3 * (x**3)+ e
    return y

arrX = range(-10000,10000)
arrY = []

for x in arrX :
    arrY.append(fun(x))

pylab.plot(arrX,arrY)
pylab.show()

多项式回归

在单因子(连续变量)试验中,当回归函数不能用直线来描述时,要考虑用非线性回归函数。 多项式回归属于非线性回归的一种。 这里指单因子多项式回归,即一元多项式回归。

一般非线性回归函数是未知的,或即使已知也未必可以用一个简单的函数变换转化为线性模型。这时,常用的做法是用因子的多项式。 如果从散点图观察到回归函数有一个“弯”,则可考虑用二次多项式;有两个弯则考虑用三次多项式;有三个弯则考虑用四次多项式,等等。

真实的回归函数未必就是某个次数的多项式,但只要拟合得好,用适当的多项式来近似真实的回归函数是可行的。

使用sklearn解决多项式回归问题

示例代码如下:

#! /usr/bin/env python
#-*- coding:utf-8 -*-
# 多项式回归
import matplotlib.pyplot as plt
import numpy as np
from sklearn.linear_model import LinearRegression
from sklearn.preprocessing import PolynomialFeatures

rng = np.random.RandomState(1)

def fun(x):
    a0,a1,a2,a3,e = 0.1,-0.02,0.03,-0.04,0.05
    y = a0 + a1 * x + a2 * (x**2) + a3 * (x**3)+ e
    y += 0.03 * rng.rand(1)
    return y

plt.figure()
plt.title('polynomial regression(sklearn)')
plt.xlabel('x')
plt.ylabel('y')
plt.grid(True)

X = np.linspace(-1, 1, 30)
arrY = [fun(x) for x in X]
X = X.reshape(-1,1)
y = np.array(arrY).reshape(-1,1)

plt.plot(X, y, 'k.')

qf = PolynomialFeatures(degree=3)
qModel = LinearRegression()
qModel.fit(qf.fit_transform(X), y)

X_predict = np.linspace(-1, 2, 100)
X_predict_result = qModel.predict(qf.transform(X_predict.reshape(X_predict.shape[0], 1)))
plt.plot(X_predict,X_predict_result , 'r-')

plt.show()

该代码github地址:https://github.com/mike-zhang/pyExamples/blob/master/algorithm/NonLinearRegression/pr_sklearn_test1.py

运行效果图如下:

使用tensorflow解决多项式回归问题

示例代码如下:

#! /usr/bin/env python
#-*- coding:utf-8 -*-

import tensorflow as tf
import numpy as np
import matplotlib.pyplot as plt

learning_rate = 0.01
training_epochs = 40
rng = np.random.RandomState(1)

def fun(x):
    a0,a1,a2,a3,e = 0.1,-0.02,0.03,-0.04,0.05
    y = a0 + a1 * x + a2 * (x**2) + a3 * (x**3)+ e
    y += 0.03 * rng.rand(1)
    return y


trX = np.linspace(-1, 1, 30)
arrY = [fun(x) for x in trX]
num_coeffs = 4
trY = np.array(arrY).reshape(-1,1)

X = tf.placeholder("float")
Y = tf.placeholder("float")

def model(X, w):
    terms = []
    for i in range(num_coeffs):
        term = tf.multiply(w[i], tf.pow(X, i))
        terms.append(term)
    return tf.add_n(terms)

w = tf.Variable([0.] * num_coeffs, name="parameters")
y_model = model(X, w)

cost = tf.reduce_sum(tf.square(Y-y_model))
train_op = tf.train.GradientDescentOptimizer(learning_rate).minimize(cost)

with tf.Session() as sess :
    init = tf.global_variables_initializer()
    sess.run(init)

    for epoch in range(training_epochs):
        for (x, y) in zip(trX, trY):
            sess.run(train_op, feed_dict={X: x, Y: y})

    w_val = sess.run(w)
    print(w_val)

plt.figure()
plt.xlabel('x')
plt.ylabel('y')
plt.grid(True)
plt.title('polynomial regression(tensorflow)')
plt.scatter(trX, trY)
trX2 = np.linspace(-1, 2, 100)
trY2 = 0
for i in range(num_coeffs):
    trY2 += w_val[i] * np.power(trX2, i)
plt.plot(trX2, trY2, 'r-')
plt.show()

该代码github地址:https://github.com/mike-zhang/pyExamples/blob/master/algorithm/NonLinearRegression/pr_tensorflow_test1.py

运行效果如下:

好,就这些了,希望对你有帮助。

本文github地址:

https://github.com/mike-zhang/mikeBlogEssays/blob/master/2017/20170804_多项式回归学习笔记.rst

欢迎补充

本文转载自:http://www.cnblogs.com/MikeZhang/p/polynomialRegression20170804.html

AllenOR灵感
粉丝 11
博文 2635
码字总数 83001
作品 0
程序员
私信 提问
机器学习笔记-Hazard of Overfitting

本系列共四篇,为林轩田机器学习基础篇学习笔记。线性模型通过非线性的变换可以得到非线性的模型,增强了模型对数据的认识能力,但这样导致了在机器学习领域中一个很常见的问题,过拟合。为了...

robin_Xu_shuai
2018/01/03
0
0
sklearn学习笔记之简单线性回归

简单线性回归 线性回归是数据挖掘中的基础算法之一,从某种意义上来说,在学习函数的时候已经开始接触线性回归了,只不过那时候并没有涉及到误差项。线性回归的思想其实就是解一组方程,得到...

云栖希望。
2017/12/30
0
0
Python机器学习笔记——监督学习

使用fit() 函数,对训练数据构成的特征X 和标签 y进行训练,调用 predict() 函数,对未知分类样本分类。 K-近邻算法(KNN) 计算待分类数据点与已有数据集中所有数据点的距离。取距离最小的前...

BeerBread134
2017/08/08
0
0
Machine Learning笔记(三) 多变量线性回归

Machine Learning笔记(三) 多变量线性回归 注:本文内容资源来自 Andrew Ng 在 Coursera上的 Machine Learning 课程,在此向 Andrew Ng 致敬。 一、多特征(Multiple Features) 笔记(二)...

Gaussic
2015/09/26
1K
0
吴恩达机器学习总结:第三课 逻辑回归(大纲摘要及课后作业)

为了更好的学习,充分复习自己学习的知识,总结课内重要知识点,每次完成作业后 都会更博。 英文非官方笔记 总结 1.分类 (1)y的值是离散值,比如说0(负分类),1(正分类) (2)从二元分类...

cc12222032
2018/03/29
0
0

没有更多内容

加载失败,请刷新页面

加载更多

EDI 电子数据交换全解指南

EDI(Electronic Data Interchange,电子数据交换)技术使得企业与企业(B2B)实现通信自动化,帮助交易伙伴和组织更快更好地完成更多工作,并消除了人工操作带来的错误。从零售商到制造商、物...

EDI知行软件
今天
3
0
CentOS7的LVM动态扩容

# 问题 CentOS7上面的磁盘空间有点紧张,需要扩容。 解决 查询当前磁盘状态 [root@xxx ~]# lsblkNAME MAJ:MIN RM SIZE RO TYPE MOUNTPOINTfd0 2:0 1 4K ...

亚林瓜子
今天
5
0
Kafka 0.8 Producer (0.9以前版本适用)

Kafka旧版本producer由scala编写,0.9以后已经废除 示例代码如下: import kafka.producer.KeyedMessage;import kafka.javaapi.producer.Producer;import kafka.producer.ProducerConfig;......

实时计算
今天
5
0
Giraph源码分析(八)—— 统计每个SuperStep中参与计算的顶点数目

作者|白松 目的:科研中,需要分析在每次迭代过程中参与计算的顶点数目,来进一步优化系统。比如,在SSSP的compute()方法最后一行,都会把当前顶点voteToHalt,即变为InActive状态。所以每次...

数澜科技
今天
6
0
Navicat 快捷键

操作 结果 ctrl+q 打开查询窗口 ctrl+/ 注释sql语句 ctrl+shift +/ 解除注释 ctrl+r 运行查询窗口的sql语句 ctrl+shift+r 只运行选中的sql语句 F6 打开一个mysql命令行窗口 ctrl+l 删除一行 ...

低至一折起
今天
13
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部