当前位置： 首页>编程语言>正文

深度学习（八）：深度学习框架

编程语言2024-03-18 16:47:22

一，基础介绍

在前面的内容中，所有的包括函数、各种层的封装都是我们自己手动码出来的，在实际的工程应用中，其实有很多东西是可以重复利用的，所以有些大佬就将其封装了起来，方便使用

深度学习框架的主要功能有以下方面：

  • 提供了一组API和工具，可以方便地定义和配置神经网络模型的结构和参数，例如层、激活函数、优化器等。
  • 提供了计算引擎，可以执行神经网络模型的前向传播和反向传播算法，并进行梯度计算和参数更新，从而实现模型的训练和优化
  • 提供了数据管理和预处理工具，可以加载和处理训练数据和测试数据，并进行数据增强和批量处理等操作，从而提高模型的鲁棒性和泛化性能。
  • 支持在多个GPU或分布式系统上进行高效的并行计算和训练，从而加速模型的训练和优化过程。
  • 也支持将训练好的模型部署到不同的硬件平台上，并进行推理和预测，从而实现模型的应用。

常用的学习框架主要有:

  • TensorFlow：是Google Brain团队基于Google在2011年开发的深度学习基础架构DistBelief构建的
  • MXNet：亚马逊首席科学家李沐带领团队开发的深度学习框架
  • Pytorch：是一个Python优先的深度学习框架，能够在强大的GPU加速基础上实现张量和动态神经网络
  • PaddlePaddle（飞桨）：百度自主研发、功能完备、开源开放的产业级深度学习平台

通常学习一个框架即可，换框架就查一查知道怎么改API就行，此文主要说Pytorch

二，Pytorch基础（引用知乎）

2.1 Tensor

就如同在numpy里面有np.array这样的数组结构，在Pytorch里面也有，叫作tensor

代码操作见下：

import torch #导入pytorch

x = torch.tensor([5.5, 3])
print(x)

# 对tensor进行操作
y = x + 2
print(y)

输出为

深度学习（八）：深度学习框架,第1张

2.2 GPU加速

GPU的并行计算能力使得其。PyTorch提供了简单易用的API，让我们可以很容易地在CPU和GPU之间切换计算。

代码如下：

import torch

# 检查是否有可用的GPU
if torch.cuda.is_available():
    print("There is a GPU available.")
else:
    print("There is no GPU available.")

# 可以把数据放到GPU上
x = x.to('cuda') #已有的数组x移到GPU
x = torch.tensor([1.0, 2.0], device='cuda') #直接在GPU上创建

2.3 自动求导

使用梯度下降法的时候，需要计算梯度，在Pytorch中非常简单，先通过tensor.requires_grad=True表示要计算此张量的梯度，然后再调用.backward()方法，来计算和存储梯度，最后可通过.grad来访问

import torch

# 创建一个tensor并设置requires_grad=True来追踪其计算历史
x = torch.ones(2, 2, requires_grad=True)

#... 省略计算操作

# 使用.backward()来进行反向传播，计算梯度
out.backward()

# 输出梯度d(out)/dx
print(x.grad)

三，Pytorch神经网络

3.1 构建神经网络

PyTorch提供了torch.nn库，用于构建神经网络的工具库。torch.nn库依赖于autograd库来定义和计算梯度。nn.Module包含了神经网络的层以及返回输出的forward(input)方法。

import torch
import torch.nn as nn
import torch.nn.functional as F

class Net(nn.Module):
    def __init__(self):
        super(Net, self).__init__()

        # 输入图像channel：1，输出channel：6，5x5卷积核
        self.conv1 = nn.Conv2d(1, 6, 5)
        self.conv2 = nn.Conv2d(6, 16, 5)

        # 全连接层
        self.fc1 = nn.Linear(16 * 5 * 5, 120)
        self.fc2 = nn.Linear(120, 84)
        self.fc3 = nn.Linear(84, 10)

    def forward(self, x):
        # 使用2x2窗口进行最大池化
        x = F.max_pool2d(F.relu(self.conv1(x)), (2, 2))
        # 如果窗口是方的，只需要指定一个维度
        x = F.max_pool2d(F.relu(self.conv2(x)), 2)

        x = x.view(-1, self.num_flat_features(x))

        x = F.relu(self.fc1(x))
        x = F.relu(self.fc2(x))
        x = self.fc3(x)

        return x

    def num_flat_features(self, x):
        size = x.size()[1:]  # 获取除了batch维度之外的其他维度
        num_features = 1
        for s in size:
            num_features *= s
        return num_features

net = Net()
print(net)

首先定义了一个Net类，这个类继承自nn.Module。然后在init方法中定义了网络的结构，在forward方法中定义了数据的流向

3.2 自定义数据集

自定义数据集需要继承Dataset类，并实现len和getitem两个方法。

from torch.utils.data import Dataset, DataLoader

class MyDataset(Dataset):
    def __init__(self, x_tensor, y_tensor):
        self.x = x_tensor
        self.y = y_tensor

    def __getitem__(self, index):
        return (self.x[index], self.y[index])

    def __len__(self):
        return len(self.x)

x = torch.arange(10)
y = torch.arange(10) + 1

my_dataset = MyDataset(x, y)
loader = DataLoader(my_dataset, batch_size=4, shuffle=True, num_workers=0)

for x, y in loader:
    print("x:", x, "y:", y)

3.3 模型的保存和加载

PyTorch提供了简单的API来保存和加载模型。最常见的方法是使用torch.save来保存模型的参数，然后通过torch.load来加载模型的参数。

# 保存
torch.save(model.state_dict(), PATH)

# 加载
model = TheModelClass(*args, **kwargs)
model.load_state_dict(torch.load(PATH))
model.eval()

https://www.xamrdz.com/lan/5ha1850438.html

相关文章：