动手实践
[毕业设计] 基于Yolo的航拍图像黑匣子检测算法设计
00 min
Mar 1, 2024
Apr 23, 2024
type
status
date
slug
summary
tags
category
icon
password

前言


💡
首先需要感谢学校为我们提供的一个良好的学习平台,让我们通过毕设来了解项目开发的流程,并通过标准化的书写来规范格式。感谢罗老师的耐心指导和帮助,在实际毕设的写作过程中,关注着我们的每一个节点。 同时需要感谢公司Andawell的支持,能为我提供在公司边实习边做毕设的机会。同时能将毕设与项目开发的标准更好地结合。 最后还需要鼓励自己,因为需要付出很多的努力。

正文


一方面主要是技术上的要求,一方面主要是论文上的排版。然后希望我遇到的问题,也能帮到大家。

word中mathtype公式偏上浮或偏下沉怎么办


刚才遇到了公式上浮的问题,我使用的是amath进行公式的编写,搭配图片转latex进行调整。然后找到了这个问题的解决办法。感谢whu数码君提供的回答

如何使用图片转latex


之前有同学问过我这个问题,我今天也再一次遇到了这个问题,看到论文中复杂的公式,一筹莫展怎么办,可以通过图片转latex的方式,这是我比较常用的方式,但是现在主流的转latex的好的软件不多,在此特别感谢simpletex提供的支持。

关于语病的修改


以下内容是对该视频进行的笔记梳理。

一、主语残缺


  • 滥用介词
从这件小事,说明一个道理
应改为,这件小事说明一个道理。上述例子中缺少主语。
当学生了解了美是什么,就会以美的标准米规范自己的行为和思想。
应去除“当”字。
 
  • 滥用使令动词
通过这件小事,使我明白了一个道理。
去除”通过“二字。
通过对该课题的研究,得出新时代精神的含义。
需添加主语,例如“笔者得出……”(另外还需要尽量避免在论文中使用“我”字)
 
  • 偏正短语缺中心语
课堂教学低效,一直未得到解决。
需在”低效“后面加上”的问题“
我对经济与生活这本教材感到困感。
需在“教材”后面加上“的内容”
 
  • 滥用省略
在经历了几千年的封建统治后,人们又开始重视被禁锯的古典文化,并成为人文主义者的武器,用米反对神权。
应改为”古典文化并成为人文主义者的武器“
  • 助词用错
2022年颁布了《家庭教育指导法》,是我国首部家庭教育法。
把“了”改成“的”
 

二、谓语残缺


  • 句首缺谓另起头
经过几十年的努力,我国己经独立自主地研制、发射、跟踪和测检地球同步通讯卫星的能力。
具备……的能力
某大学工商管理学院在课程设置上除了专业课、外语课、政治理论课,还包括演讲与口才、基础写作等课程,以进一步提高说写方面的技能。
除了设置有…… (第一句话缺少谓语)
 
  • 动宾缺动
我市最近发动了全面的质量大检查运动,要在这个运动中建立与加强技术管理制度等一系列工作。
要在这个运动中完成建立与加强技术管理制度等一系列工作
政府必须严厉打击食品安全违法违规行为的高压态势,及时消除各环节领域的隐患,创新食品安全监管惩处体制机制。
保持严厉打击…
教师在法律专业知识和逻辑思维能力提升方面面临困难。
教师在法律专业知识拓展… (知识和提升搭配不是非常好,搭配知识拓展可能会更好)
 

三、宾语残缺


  • 动宾缺宾
学校宿舍、教学楼等人群密集区,一且发生火灾,后果不堪设想,因此学生掌握火灾中自救互教相当重要。
掌握…技能
 
  • 介宾缺宾
这部电影在塑造人物形象所提供的经验是非常宝贵的,
在…方面
 
  • 误将定语当宾语
桃花乡走可持续发展之路,按照建成生态环境和谐优美、资源集约节约利用、经济和社会协调发展的生态乡,制定了五年发展建设规划。
按照…目标,规划
 

四、虚词残缺


  • 介宾缺介
2014年底,我国探月工程三期“再入返回飞行”试验获得成功,确保嫦娥五号任务顺利实施和探月工程持续推进莫定坚实基础,
为…奠定坚实基础
 
  • 被动缺被
这本书非常有价值,常常图书馆收藏。
常常被图书馆收藏
 
  • 对象缺对
现代女性越来越独立,她们除了自己独立挣钱外,对自身的价值、生活环境也越发重视,那些价值剥削、性骚扰,她们将说不。
对那些价值剥削、性骚扰,她们将说不。
 

搭建yolov5环境


详细参照up主:思绪亦无限的介绍:
然后最主要的还需要引入英伟达的CUDA,可以现在本地装,但我还是倾向于选择autodl,因为这里已经预装了cuda环境。
这里细节很多,但现在又过了好久了,有点忘了,在选择基础镜像的时候就应该要注意选择合适的版本,不然后面配置cuda会麻烦死。(看来日志还是要及时记录,当时费了一下午的劲,真是服了)

数据集的预处理


课题中yolov5的数据集是采用的航拍视角,在肉眼识别存在困难,还有很多干扰。所以需要预先对数据集进行切片处理。然后挑出切片完后包含黑匣子的图片,再进行标注。
以下是切片程序:
切片完成之后,需要挑出包含切片中包含目标对象的图片,之后作为训练集。
notion image

验证集


最开始验证集是用的数据集的一部分,但是后面采用新的验证集,难度瞬间就上来了,测试精度从0.996瞬间跌到都到不了0.7。一方面需要扩充数据集,另一方面需要选择合适的模型对网络参数进行调整。
notion image

扩充训练集


感谢CSDN博主:我要变胖哇路人贾'ω'

数据增强的概念和作用


数据增强是一种重要的机器学习方法之一,是基于已有的训练样本数据来生成更多的训练数据,其目的就是为了使扩增的训练数据尽可能接近真实分布的数据,从而提高检测精度。此外,数据增强能够迫使模型学习到更多鲁棒性的特征,从而有效提高模型的泛化能力

常见的数据增强的办法


(1)比较常用的几何变换方法主要有: 翻转、旋转、裁剪、缩放、平移、抖动 (2)比较常用的像素变换方法主要有: 加椒盐噪声、高斯噪声、进行高斯模糊、调整HSV对比度、调节亮度、饱和度、直方图均衡化、调整白平衡等
具体解释如下:
  • 随机裁剪:从原始图像中随机裁剪出一部分,例如裁剪四角、中心或者上下部分等。这种方法能够增加模型的鲁棒性,使其对图像的不同部分都能进行有效的特征提取。
  • 翻转或镜像:可以水平翻转或垂直翻转图像。这种方法能够模拟图像在不同视角下的情况,帮助模型学习到更多的特征。
  • 旋转:将原图像旋转不同的角度来生成新的样本。需要注意的是,旋转后图像的维度可能会发生变化,因此在处理时需要确保图像尺寸的合理性。
  • 亮度或对比度调节:通过改变图像的亮度和对比度,可以模拟不同光照条件下的图像情况,提高模型的适应性。
  • 色度调节:改变图像中R、G、B颜色分量的比例,从而生成具有不同颜色特征的样本。 饱和度调节:调节图像的饱和度,即改变色彩的纯度。这可以模拟不同颜色鲜艳程度的图像,增加样本的多样性。
  • 高斯模糊、锐化、添加噪声:对图像进行这些处理可以模拟图像在采集和传输过程中可能出现的失真情况,有助于提高模型的鲁棒性。 灰度化:将彩色图像转换为灰度图像,可以进一步增加样本的多样性

txt转xml


在数据增强的时候,代码是对xml进行操作的,所以需要先经历一步,从txt到xml的过程。
核心原理解释:将 YOLO 格式中的归一化坐标转换为像素坐标。
  1. 从 YOLO 格式的文本文件中读取每个目标的类别索引和归一化的边界框坐标 (class_index, x_center_norm, y_center_norm, width_norm, height_norm)
  1. 将归一化的中心点坐标 (x_center_norm, y_center_norm) 和宽度、高度 (width_norm, height_norm) 转换为像素坐标。
  1. 使用像素坐标来计算 PASCAL VOC 格式的边界框 (xmin, ymin, xmax, ymax)
核心转换逻辑:
转换代码:
例如,这就是标注后的归一化坐标
这就是转换后的xml坐标和其他的一些元素,转换完可以用labelimg验证一下

数据集扩充


根据上述分析的方式进行数据集扩充
这是扩充数据集后的效果图:
notion image
接下来需要对扩充好的数据集进行xml转txt:
然后打包好数据集上传服务器

Autodl训练效果


由于引入了数据集进行扩充后,图片的数量增多,训练时间也更长。
50轮训练的效果图:
notion image
notion image
60轮训练的效果图:
notion image
notion image
100轮训练的效果图:
notion image
notion image
应该还是数据集的问题,出现了过拟合的现象。之后肯定还需要对数据集进行调整,另外由于采用的是最快的训练模型,在训练精度上肯定还有提升的空间。但之前在使用的时候,还出现了一些报错的情况,需要再花时间研究研究。

测试模块的编写


在设计GUI之前,需要初步完成图片和视频检测的程序编写
1.图片检测测试-核心代码摘录
notion image
2.视频检测测试-核心代码摘录

GUI界面


主控程序:
notion image
简要摘录核心功能代码:
1.启动GUI界面
  1. 读取预训练模型
3.融合检测程序-如上面所呈现

后续多模态的融合


后续完成基础可见光条件的训练之后,还要尝试进行多光谱的融合,提高模型的精确度。

20240413 会议纪要


  • 明确可检测的图片,进行界限的区分;
  • 在可见光条件下,界定遮挡比例
  • 黑匣子出现极端位置(例如垂直放置情况下),识别灵敏度的控制
  • 漏检率不能低于5%
  • 提高验证集的数量,要有统计结果,配合导出检测结果
  • 更改GUI界面的配色
  • 使用多光谱网络模型
  • 预计五月初开始论文的撰写

总结


这篇文章随进度更新,用于记录在毕设过程中遇到的心得和问题。
 

Comments