文档章节

PyTorch入门笔记一

仪山湖
 仪山湖
发布于 08/20 09:37
字数 1071
阅读 24
收藏 0

张量

引入pytorch,生成一个随机的5x3张量

>>> from __future__ import print_function
>>> import torch
>>> x = torch.rand(5, 3)
>>> print(x)
tensor([[0.5555, 0.7301, 0.5655],
        [0.9998, 0.1754, 0.7808],
        [0.5512, 0.8162, 0.6148],
        [0.8618, 0.3293, 0.6236],
        [0.2787, 0.0943, 0.2074]])

声明一个5x3的张量,张量中所有元素初始化为0

>>> x = torch.zeros(5, 3, dtype=torch.long)

从数据直接构造张量,这里的数据一般是python数组

>>> x = torch.tensor([5.5, 3])
>>> print(x)
tensor([5.5000, 3.0000])

从一个已有的tensor上类似创建新的张量,新、旧张量的形状和数据类型相同,除非对dtype进行了覆盖声明

>>> x = x.new_ones(5, 3, dtype=torch.double) 
>>> print(x)
tensor([[1., 1., 1.],
        [1., 1., 1.],
        [1., 1., 1.],
        [1., 1., 1.],
        [1., 1., 1.]], dtype=torch.float64)
>>> y = torch.rand_like(x, dtype=torch.float)
>>> print(y)
tensor([[0.6934, 0.9637, 0.0594],
        [0.0863, 0.6638, 0.4728],
        [0.3416, 0.0892, 0.1761],
        [0.6831, 0.6404, 0.8307],
        [0.6254, 0.4180, 0.2174]])

张量的size,numpy里是shape

>>> print(x.size())
torch.Size([5, 3])

张量的操作

张量相加

>>> x=torch.rand(5, 3)
>>> y = torch.zeros(5, 3)
>>> print(x + y)
tensor([[0.8991, 0.9222, 0.2050],
        [0.2478, 0.7688, 0.4156],
        [0.4055, 0.9526, 0.2559],
        [0.9481, 0.8576, 0.4816],
        [0.0767, 0.3346, 0.0922]])

>>> print(torch.add(x, y))
tensor([[0.8991, 0.9222, 0.2050],
        [0.2478, 0.7688, 0.4156],
        [0.4055, 0.9526, 0.2559],
        [0.9481, 0.8576, 0.4816],
        [0.0767, 0.3346, 0.0922]])

>>> result = torch.empty(5, 3)
>>> torch.add(x, y, out=result)
tensor([[0.8991, 0.9222, 0.2050],
        [0.2478, 0.7688, 0.4156],
        [0.4055, 0.9526, 0.2559],
        [0.9481, 0.8576, 0.4816],
        [0.0767, 0.3346, 0.0922]])

>>> y.add_(x)
tensor([[0.8991, 0.9222, 0.2050],
        [0.2478, 0.7688, 0.4156],
        [0.4055, 0.9526, 0.2559],
        [0.9481, 0.8576, 0.4816],
        [0.0767, 0.3346, 0.0922]])

张量内元素访问形式和numpy保持一致,如输出张量y的第二维度上下标是1的所有元素

>>> print(y[:, 1])
tensor([0.9222, 0.7688, 0.9526, 0.8576, 0.3346])

iew函数改变tensor的形状,类似numpy的reshape

>>> x = torch.randn(4, 4)
>>> y = x.view(16)  # 变成1x16的张量
>>> z = x.view(-1, 8)  # 变成第二维度是8,第一维度自动计算的张量,结果是2x8的张量
>>> print(x.size(), y.size(), z.size())
torch.Size([4, 4]) torch.Size([16]) torch.Size([2, 8])

只有一个元素的向量,取这个元素

>>> x = torch.randn(1)
>>> print(x)
tensor([0.8542])
>>> print(x.item())
0.8541867136955261

转换成numpy数组

>>> x = torch.rand(5, 3)
>>> x.numpy()
array([[0.9320856 , 0.473859  , 0.6787642 ],
       [0.14365482, 0.1112923 , 0.8280207 ],
       [0.4609589 , 0.51031697, 0.15313298],
       [0.18854082, 0.4548    , 0.49709243],
       [0.8351501 , 0.6160053 , 0.61391556]], dtype=float32)

除CharTensor外,所有的cpu张量从numpy转换成tensor

import numpy as np
a = np.ones(5)
b = torch.from_numpy(a)
np.add(a, 1, out=a)
print(a)
print(b)

在cpu和gpu之间移动tensor,

if torch.cuda.is_available():
    device = torch.device("cuda")          # a CUDA device object
    y = torch.ones_like(x, device=device)  # 直接在GPU设备上创建
    x = x.to(device)                       # or just use strings ``.to("cuda")``
    z = x + y
    print(z)
    print(z.to("cpu", torch.double))       # ``.to`` can also change dtype together!

构建网络和损失函数

损失函数用来衡量输入和目标之间的距离

from __future__ import print_function
import torch
import torch.nn as nn
import torch.nn.functional as F

class Net(nn.Module):
    ## 定义了网络的结构
    def __init__(self):
        super(Net, self).__init__()
        ## input is channel 1, output 6 channels with 3x3 convulutionanl kernel
        self.conv1 = nn.Conv2d(1, 6, 3) 
        self.conv2 = nn.Conv2d(6, 16, 3)
        # an affine operation: y = Wx + b,  # 6*6 from image dimension
        self.fc1 = nn.Linear(16*6*6, 120)
        self.fc2 = nn.Linear(120, 84)
        self.fc3 = nn.Linear(84, 10)
    
    ## 前向传播,函数名必须是forward   
    def forward(self, x):
        # Max pooling over a (2, 2) window
        x = F.max_pool2d(F.relu(self.conv1(x)), (2, 2))
        # If the size is a square you can only specify a single number
        x = F.max_pool2d(F.relu(self.conv2(x)), 2)
        x = x.view(-1, self.num_flat_features(x))
        x = F.relu(self.fc1(x))
        x = F.relu(self.fc2(x))
        x = self.fc3(x)
        return x
    
    def num_flat_features(self, x):
        size = x.size()[1:] # all dimensions except the batch dimension
        num_features = 1
        for s in size:
            num_features *= s
        return num_features
    
## 新建一个Net对象
net = Net() 
print(net)  
params = list(net.parameters())
print(len(params))
print(params[0].size())  # conv1's .weight

# 声明一个1x1x32x32的4维张量作为网络的输入
input = torch.randn(1, 1, 32, 32) 
# input = torch.randn(1, 1, 32, 32)
output = net(input) 

# net.zero_grad()
# out.backward(torch.randn(1, 10))
target = torch.randn(10) 
target = target.view(1, -1) 
criterion = nn.MSELoss()
loss = criterion(output, target)
print(loss)

print(loss.grad_fn)  # MSELoss
print(loss.grad_fn.next_functions[0][0])  # Linear
print(loss.grad_fn.next_functions[0][0].next_functions[0][0])  # ReLU

网络的反向传播,为了反向传播损失(error)所做的只需要调用loss.backward()函数,如果没有清除已有的梯度,反向传播会累积梯度

调用loss.backward()函数,看以下conv1的bias的梯度在调用前后的差别。

net.zero_grad()     # zeroes the gradient buffers of all parameters

print('conv1.bias.grad before backward')
print(net.conv1.bias.grad)

loss.backward()

print('conv1.bias.grad after backward')
print(net.conv1.bias.grad)

 使用SGD更新权重

公式:weight = weight - learning_rate * gradient

可以用下面的torch代码实现

learning_rate = 0.01
for f in net.parameters():
    f.data.sub_(f.grad.data * learning_rate)

 但是torch已经实现了各种权重更新方式,比如SGD, Nesterov-SGD, Adam, RMSProp等,可以直接调用

import torch.optim as optim

# create your optimizer
optimizer = optim.SGD(net.parameters(), lr=0.01)

# in your training loop:
optimizer.zero_grad()   # zero the gradient buffers
output = net(input)
loss = criterion(output, target)
loss.backward()
optimizer.step()    # Does the update

 

© 著作权归作者所有

仪山湖

仪山湖

粉丝 62
博文 60
码字总数 32918
作品 2
合肥
技术主管
私信 提问
PyTorch:60分钟入门学习

最近在学习PyTorch这个深度学习框架,在这里做一下整理分享给大家,有什么写的不对或者不好的地方,还请大侠们见谅啦~~~ 写在前面 本文就是主要是对PyTorch的安装,以及入门学习做了记录,...

与阳光共进早餐
2018/01/15
0
0
PyTorch 官方中文教程包含 60 分钟快速入门教程,强化教程

PyTorch 是一个基于 Torch 的 Python 开源机器学习库,用于自然语言处理等应用程序。它主要由 d 的人工智能小组开发,不仅能够 实现强大的 GPU 加速,同时还支持动态神经网络,这一点是现在很...

磐创AI_聊天机器人
08/14
0
0
PyTorch 60 分钟入门教程

PyTorch 60 分钟入门教程:PyTorch 深度学习官方入门中文教程 http://pytorchchina.com/2018/06/25/what-is-pytorch/ PyTorch 60 分钟入门教程:自动微分 http://pytorchchina.com/2018/12/...

不知道自己是谁
2018/12/25
0
0
PyTorch 你想知道的都在这里

本文转载地址,并进行了加工。本文适用于深度学习新手的“入门指导系列”,也有适用于老司机的论文代码实现,包括 Attention Based CNN、A3C、WGAN、BERT等等。所有代码均按照所属技术领域分...

readilen
2018/10/20
0
0
高手问答第 185 期 —— 聊聊饱受 Pythoner 好评的深度学习框架 PyTorch

OSCHINA 本期高手问答(1 月 10 日 - 1 月 16 日)我们请来了@tmux 陈云为大家解答关于深度学习框架 PyTorch 方面的问题。 陈云,Python 程序员、Linux 爱好者和 PyTorch 源码贡献者。主要研究...

局长
2018/01/09
4.6K
37

没有更多内容

加载失败,请刷新页面

加载更多

springboot2.0 maven打包分离lib,resources

springboot将工程打包成jar包后,会出现获取classpath下的文件出现测试环境正常而生产环境文件找不到的问题,这是因为 1、在调试过程中,文件是真实存在于磁盘的某个目录。此时通过获取文件路...

陈俊凯
今天
6
0
BootStrap

一、BootStrap 简洁、直观、强悍的前端开发框架,让web开发更加迅速、简单 中文镜像网站:http://www.bootcss.com 用于开发响应式布局、移动设备优先的WEB项目 1、使用boot 创建文件夹,在文...

wytao1995
今天
10
0
小知识:讲述Linux命令别名与资源文件的区别

别名 别名是命令的快捷方式。为那些需要经常执行,但需要很长时间输入的长命令创建快捷方式很有用。语法是: alias ppp='ping www.baidu.com' 它们并不总是用来缩短长命令。重要的是,你将它...

老孟的Linux私房菜
今天
8
0
《JAVA核心知识》学习笔记(6. Spring 原理)-5

它是一个全面的、企业应用开发一站式的解决方案,贯穿表现层、业务层、持久层。但是 Spring 仍然可以和其他的框架无缝整合。 6.1.1. Spring 特点 6.1.1.1. 轻量级 6.1.1.2. 控制反转 6.1.1....

Shingfi
今天
8
0
Excel导入数据库数据+Excel导入网页数据【实时追踪】

1.Excel导入数据库数据:数据选项卡------>导入数据 2.Excel导入网页数据【实时追踪】:

东方墨天
今天
11
1

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部