技术标签: 神经网络图像识别 cnn python 深度学习
目的: 实现昆虫的图像分类,同时该模型也可以用于其他图像的分类识别,只需传入相应的训练集进行训练,保存为另一个模型即可,进行调用使用。
配置环境: pycharm(python3.7),导入pytotch库
知识预备: 需要了解卷积神经网络的基本原理与结构,熟悉pytorch的使用,csdn有很多介绍卷积神经网络的文章,可查阅。
例如:
https://blog.csdn.net/yunpiao123456/article/details/52437794
https://blog.csdn.net/weipf8/article/details/103917202
算法设计思路:
(1) 收集数据集,利用 python 的 requests 库和 bs4 进行网络爬虫,下载数据集
(2) 搭建卷积神经网络
(3)对卷积神经网络进行训练
(4) 改进训练集与测试集,并扩大数据集
(5) 保存模型
(6) 调用模型进行测试
注,模型我达到的最高正确率在85%,最后稳定在79%,中间出现了过拟合,可减少训练次数进行优化,数据集较少的情况下,建议训练10次就可。
先训练模型,进行模型保存之后可对模型进行调用,不用每使用一次模型就要进行训练。文末有项目的完整代码:修改自己的数据集src位置,一般情况下能正常运行,如果不能,请检查自己的第三方库是否成功安装,以及是否成功导入。若有问题可以私信交流学习。
注:由于爬虫,会有一些干扰数据,所以我这里展示的是进行数据清洗之后的数据。
注:训练集:测试集=7:3(可自己修改)
注:若正确率不理想,可扩大数据集,数据清洗,图片处理等方面进行改进
部分数据展示
文件格式与训练集一样。
框架:
结构:
代码实现:
# 定义网络
class ConvNet(nn.Module):
def __init__(self):
super(ConvNet, self).__init__()
self.conv1 = nn.Conv2d(3, 32, 3)
self.max_pool1 = nn.MaxPool2d(2)
self.conv2 = nn.Conv2d(32, 64, 3)
self.max_pool2 = nn.MaxPool2d(2)
self.conv3 = nn.Conv2d(64, 64, 3)
self.conv4 = nn.Conv2d(64, 64, 3)
self.max_pool3 = nn.MaxPool2d(2)
self.conv5 = nn.Conv2d(64, 128, 3)
self.conv6 = nn.Conv2d(128, 128, 3)
self.max_pool4 = nn.MaxPool2d(2)
self.fc1 = nn.Linear(4608, 512)
self.fc2 = nn.Linear(512, 1)
def forward(self, x):
in_size = x.size(0)
x = self.conv1(x)
x = F.relu(x)
x = self.max_pool1(x)
x = self.conv2(x)
x = F.relu(x)
x = self.max_pool2(x)
x = self.conv3(x)
x = F.relu(x)
x = self.conv4(x)
x = F.relu(x)
x = self.max_pool3(x)
x = self.conv5(x)
x = F.relu(x)
x = self.conv6(x)
x = F.relu(x)
x = self.max_pool4(x)
# 展开
x = x.view(in_size, -1)
x = self.fc1(x)
x = F.relu(x)
x = self.fc2(x)
x = torch.sigmoid(x)
return x
def train(model, device, train_loader, optimizer, epoch):
model.train()
for batch_idx, (data, target) in enumerate(train_loader):
data, target = data.to(device), target.to(device).float().unsqueeze(1)
optimizer.zero_grad()
output = model(data)
# print(output)
loss = F.binary_cross_entropy(output, target)
loss.backward()
optimizer.step()
if (batch_idx + 1) % 1 == 0:
print('Train Epoch: {} [{}/{} ({:.0f}%)]\tLoss: {:.6f}'.format(
epoch, (batch_idx + 1) * len(data), len(train_loader.dataset),
100. * (batch_idx + 1) / len(train_loader), loss.item()))
def test(model, device, test_loader):
model.eval()
test_loss = 0
correct = 0
with torch.no_grad():
for data, target in test_loader:
data, target = data.to(device), target.to(device).float().unsqueeze(1)
# print(target)
output = model(data)
# print(output)
test_loss += F.binary_cross_entropy(output, target, reduction='mean').item()
pred = torch.tensor([[1] if num[0] >= 0.5 else [0] for num in output]).to(device)
correct += pred.eq(target.long()).sum().item()
print('\nTest set: Average loss: {:.4f}, Accuracy: {}/{} ({:.0f}%)\n'.format(
test_loss, correct, len(test_loader.dataset),
100. * correct / len(test_loader.dataset)))
import torch.nn.functional as F
import torch.optim as optim
import torch
import torch.nn as nn
import torch.nn.parallel
from PIL import Image
import torch.optim
import torch.utils.data
import torch.utils.data.distributed
import torchvision.transforms as transforms
import torchvision.datasets as datasets
# 设置超参数
#每次的个数
BATCH_SIZE = 20
#迭代次数
EPOCHS = 10
#采用cpu还是gpu进行计算
device = torch.device('cuda' if torch.cuda.is_available() else 'cpu')
# 数据预处理
transform = transforms.Compose([
transforms.Resize(100),
transforms.RandomVerticalFlip(),
transforms.RandomCrop(50),
transforms.RandomResizedCrop(150),
transforms.ColorJitter(brightness=0.5, contrast=0.5, hue=0.5),
transforms.ToTensor(),
transforms.Normalize([0.5, 0.5, 0.5], [0.5, 0.5, 0.5])
])
#导入训练数据
dataset_train = datasets.ImageFolder('D:\\cnn_net\\train\\insects', transform)
#导入测试数据
dataset_test = datasets.ImageFolder('D:\\cnn_net\\train\\test', transform)
test_loader = torch.utils.data.DataLoader(dataset_test, batch_size=BATCH_SIZE, shuffle=True)
# print(dataset_train.imgs)
# print(dataset_train[0])
# print(dataset_train.classes)
classess=dataset_train.classes #标签
class_to_idxes=dataset_train.class_to_idx #对应关系
print(class_to_idxes)
# print(dataset_train.class_to_idx)
train_loader = torch.utils.data.DataLoader(dataset_train, batch_size=BATCH_SIZE, shuffle=True)
# for batch_idx, (data, target) in enumerate(train_loader):
# # print(data)
# print(target)
# data, target = data.to(device), target.to(device).float().unsqueeze(1)
# # print(data)
# print(target)
# 定义网络
class ConvNet(nn.Module):
def __init__(self):
super(ConvNet, self).__init__()
self.conv1 = nn.Conv2d(3, 32, 3)
self.max_pool1 = nn.MaxPool2d(2)
self.conv2 = nn.Conv2d(32, 64, 3)
self.max_pool2 = nn.MaxPool2d(2)
self.conv3 = nn.Conv2d(64, 64, 3)
self.conv4 = nn.Conv2d(64, 64, 3)
self.max_pool3 = nn.MaxPool2d(2)
self.conv5 = nn.Conv2d(64, 128, 3)
self.conv6 = nn.Conv2d(128, 128, 3)
self.max_pool4 = nn.MaxPool2d(2)
self.fc1 = nn.Linear(4608, 512)
self.fc2 = nn.Linear(512, 1)
def forward(self, x):
in_size = x.size(0)
x = self.conv1(x)
x = F.relu(x)
x = self.max_pool1(x)
x = self.conv2(x)
x = F.relu(x)
x = self.max_pool2(x)
x = self.conv3(x)
x = F.relu(x)
x = self.conv4(x)
x = F.relu(x)
x = self.max_pool3(x)
x = self.conv5(x)
x = F.relu(x)
x = self.conv6(x)
x = F.relu(x)
x = self.max_pool4(x)
# 展开
x = x.view(in_size, -1)
x = self.fc1(x)
x = F.relu(x)
x = self.fc2(x)
x = torch.sigmoid(x)
return x
modellr = 1e-4
# 实例化模型并且移动到GPU
model = ConvNet().to(device)
print(model)
# 选择简单暴力的Adam优化器,学习率调低
optimizer = optim.Adam(model.parameters(), lr=modellr)
#调整学习率
def adjust_learning_rate(optimizer, epoch):
"""Sets the learning rate to the initial LR decayed by 10 every 30 epochs"""
modellrnew = modellr * (0.1 ** (epoch // 5))
print("lr:", modellrnew)
for param_group in optimizer.param_groups:
param_group['lr'] = modellrnew
# 定义训练过程
def train(model, device, train_loader, optimizer, epoch):
model.train()
for batch_idx, (data, target) in enumerate(train_loader):
data, target = data.to(device), target.to(device).float().unsqueeze(1)
optimizer.zero_grad()
output = model(data)
# print(output)
loss = F.binary_cross_entropy(output, target)
loss.backward()
optimizer.step()
if (batch_idx + 1) % 1 == 0:
print('Train Epoch: {} [{}/{} ({:.0f}%)]\tLoss: {:.6f}'.format(
epoch, (batch_idx + 1) * len(data), len(train_loader.dataset),
100. * (batch_idx + 1) / len(train_loader), loss.item()))
def test(model, device, test_loader):
model.eval()
test_loss = 0
correct = 0
with torch.no_grad():
for data, target in test_loader:
data, target = data.to(device), target.to(device).float().unsqueeze(1)
# print(target)
output = model(data)
# print(output)
test_loss += F.binary_cross_entropy(output, target, reduction='mean').item()
pred = torch.tensor([[1] if num[0] >= 0.5 else [0] for num in output]).to(device)
correct += pred.eq(target.long()).sum().item()
print('\nTest set: Average loss: {:.4f}, Accuracy: {}/{} ({:.0f}%)\n'.format(
test_loss, correct, len(test_loader.dataset),
100. * correct / len(test_loader.dataset)))
# 训练
for epoch in range(1, EPOCHS + 1):
adjust_learning_rate(optimizer, epoch)
train(model, device, train_loader, optimizer, epoch)
test(model, device, test_loader)
torch.save(model, 'D:\\cnn_net\\datas\\model_insects.pth')
from PIL import Image
from torchvision import transforms
import torch.nn.functional as F
import torch
import torch.nn as nn
import torch.nn.parallel
# 定义网络
class ConvNet(nn.Module):
def __init__(self):
super(ConvNet, self).__init__()
self.conv1 = nn.Conv2d(3, 32, 3)
self.max_pool1 = nn.MaxPool2d(2)
self.conv2 = nn.Conv2d(32, 64, 3)
self.max_pool2 = nn.MaxPool2d(2)
self.conv3 = nn.Conv2d(64, 64, 3)
self.conv4 = nn.Conv2d(64, 64, 3)
self.max_pool3 = nn.MaxPool2d(2)
self.conv5 = nn.Conv2d(64, 128, 3)
self.conv6 = nn.Conv2d(128, 128, 3)
self.max_pool4 = nn.MaxPool2d(2)
self.fc1 = nn.Linear(4608, 512)
self.fc2 = nn.Linear(512, 1)
def forward(self, x):
in_size = x.size(0)
x = self.conv1(x)
x = F.relu(x)
x = self.max_pool1(x)
x = self.conv2(x)
x = F.relu(x)
x = self.max_pool2(x)
x = self.conv3(x)
x = F.relu(x)
x = self.conv4(x)
x = F.relu(x)
x = self.max_pool3(x)
x = self.conv5(x)
x = F.relu(x)
x = self.conv6(x)
x = F.relu(x)
x = self.max_pool4(x)
# 展开
x = x.view(in_size, -1)
x = self.fc1(x)
x = F.relu(x)
x = self.fc2(x)
x = torch.sigmoid(x)
return x
# 模型存储路径
# model_save_path = 'E:\\Cat_And_Dog\\kaggle\\model_insects.pth'
# ------------------------ 加载数据 --------------------------- #
# Data augmentation and normalization for training
# Just normalization for validation
# 定义预训练变换
# 数据预处理
class_names = ['瓢虫','螳螂',] # 这个顺序很重要,要和训练时候的类名顺序一致
device = torch.device("cuda:0" if torch.cuda.is_available() else "cpu")
# ------------------------ 载入模型并且训练 --------------------------- #
model = torch.load('D:\\cnn_net\\datas\\model_insects.pth')
model.eval()
# print(model)38,49
# image_PIL = Image.open('D:\\cnn_net\\train\\insects\\螳螂\\t28.jpg')
image_PIL = Image.open('D:\\cnn_net\\train\\insects\\瓢虫\\p49.jpg')
# image_PIL = Image.open('D:\\cnn_net\\train\\test\\01.jpg')
transform_test = transforms.Compose([
transforms.Resize(100),
transforms.RandomVerticalFlip(),
transforms.RandomCrop(50),
transforms.RandomResizedCrop(150),
transforms.ColorJitter(brightness=0.5, contrast=0.5, hue=0.5),
transforms.ToTensor(),
transforms.Normalize([0.5, 0.5, 0.5], [0.5, 0.5, 0.5])
])
image_tensor = transform_test(image_PIL)
# 以下语句等效于 image_tensor = torch.unsqueeze(image_tensor, 0)
image_tensor.unsqueeze_(0)
# 没有这句话会报错
image_tensor = image_tensor.to(device)
out = model(image_tensor)
# print(out)
pred = torch.tensor([[1] if num[0] >= 0.5 else [0] for num in out]).to(device)
print(class_names[pred])
有错误的地方欢迎大家交流学习,进行指正,一起学习进步。
文章浏览阅读316次。学数值计算还有复变函数了喔,矩阵忘干净了。又看了一遍 蓝棕 的相关的讲解,总结一下。1.向量是什么?从初到末的箭头(物理角度,表示一种运动过程)有序的数字列表(计算机/数学角度)[1,2]加和数乘运算有意义的anything(抽象意义)12两种理解之间的关系就是线性代数的奥秘,即几何角度与数值角度。一个向量的坐标由一对数构成,可以理解为从原点到终点的箭头,描述运动过程。比如,规定好坐标平面的单位,..._求矩阵的秩c++
文章浏览阅读6.6k次,点赞8次,收藏90次。前不久有一个朋友想转去做汽车软件开发,问我需要学习什么内容。今天在这里做一个分享,希望可以帮到这位朋友以及以后想要从事汽车电子软件开发的朋友们。随着SDV(软件定义汽车)概念的提出, 大家都认识到了软件在汽车电子领域的重要性,各大汽车主机厂纷纷成立了软件研发中心并争夺软件开发人才。上汽集团在今年年初成立了上汽软件中心(后改名为零束),长城汽车成立了诺博、诺创、诺博,还有很多OEM也成立或者扩大了各自的软件研发中心,这里都不赘述了。总之,这对从事汽车软件开发的同僚们是很大的利好。2019年大家经历了汽车_汽车mcu开发怎么入门
文章浏览阅读9.2k次,点赞21次,收藏207次。对于勉强看懂了灵敏度分析的同学来说,本文给出一个方便移植、修改的python程序,可以很方便地进行灵敏度分析。_计算一阶sobol敏感性指数 python
文章浏览阅读732次。这里列出了使用jQuery构建的42个jQuery图像库、滑块、插件和教程:1. TN3 GalleryTN3 Gallery是一个完整的基于HTML的可定制的图像库,包含幻灯片、转换和多个相册选项。兼容所有现代桌面和移动浏览器。由jQuery提供。2. AD Gallery当我编写可编辑的选择插件时,我受到了自己的启发,所以我决定再写一个。这是一个与插件类似的图片库插件,比如Thickbox和L..._jthumb
文章浏览阅读1.2k次,点赞2次,收藏6次。flink 中自身虽然实现了大量的connectors,如下图所示,也实现了jdbc的connector,可以通过jdbc 去操作数据库,但是flink-jdbc包中对数据库的操作是以ROW来操作并且对数据库事务的控制比较死板,有时候操作关系型数据库我们会非常怀念在java web应用开发中的非常优秀的mybatis框架,那么其实flink中是可以自己集成mybatis进来的。 我们这里以flink 1.9版本为例来进行集成。如下图为flink内部自带的flink-jdbc:创建一个fli._flink集成mybatis
文章浏览阅读4.1k次,点赞2次,收藏21次。MySQL中的数据类型有很多,主要分为三类:1.数值类型;TINYINT 1byte (-128,127) (0,255) 小整数值SMALLINT 2bytes (-32768,32767) (0,65535) 大整数值MEDIUMINT 3bytes (-8388608,8388607) (0,16777215) 大整数值INT/INTEGER 4bytes (-2147483648, 2147483647) (0,4294967295) 大整数值BIGINT _sql数据类型
文章浏览阅读4k次。本文以实例形式较为详细的讲述了Python函数的用法,对于初学Python的朋友有不错的借鉴价值。分享给大家供大家参考之用。具体分析如下:通常来说,Python的函数是由一个新的语句编写,即def,def是可执行的语句--函数并不存在,直到Python运行了def后才存在。函数是通过赋值传递的,参数通过赋值传递给函数def语句将创建一个函数对象并将其赋值给一个变量名,def语句的一般格式如下:de..._python中pos函数用法
文章浏览阅读3.4k次。SymbolSymbol的描述和写法ES6新增的方法 Object.getSymbol的描述和写法Symbol 是ES6新引入的一种基本数据类型 表示的是独一无二的值 他是js里面第六种基本数据类型 基本数据类型 : string number boolean undefined null typeof 的返回值 string number boolean undefined object functionSymbol函数生成的数据 是独一无二的 即便参数一样 那么表示的值也不一_symbol方法
文章浏览阅读4.3k次,点赞6次,收藏10次。1、问题描述:使用airtest 进行UI自动化测试,将python3.6 升级到python3.9。各种包安装完成后,运行脚本,报错:ImportError: cannot import name evalcontextfilter, Markup, escape from ‘jinja2‘无法从jinja2引入 evalcontextfilter, Markup, escape。2、解决办法查看了之前python3.6时的jinja2版本为3.0.3;升级到python3.9后,jinja2版本_from jinja2 import markup, escape
文章浏览阅读1.2k次,点赞2次,收藏3次。上一篇:ChatGPT+XMind,炸裂了!1.ChatGPT for google一个浏览器插件,可搭配现有的搜索引擎来使用。最大化搜索效率,对搜索体验的提升相当离谱:安装完插件后,在搜索引擎搜索任何问题,都能获取两份答案。左边是谷歌抓取的全网资源,右边是ChatGPT根据搜索结果总结提供的答案。每次检索问题都要疯狂翻页、恨不得把十几年的资讯挖个底儿透的筒子们快来集合,这个真行。2.VScode..._chatgpt软件
文章浏览阅读3.3k次。1.关于迭代器有关类型的获取与iterator_traits:有时候可能我们会需要知道迭代器的某些具体有关类型,如:迭代器所指对象的类型,两个迭代器之间距离的类型,迭代器解引用操作结果的类型,迭代器->操作结果的类型,以及迭代器本身的类型(单向,双向等)。因此,不同容器的迭代器都必须支持对上述迭代器有关类型的查询反馈,STL则采用内嵌类型声明的方式来实现对上述类型的返回。其中:value__iterator_traits
文章浏览阅读1.5k次。Java架构师交流群:793825326java版本:jdk1.8IDE:Idea2019Springboot:2.1.6.RELEASE1.pom:<dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-s..._spring boot aspect原理