C2f, C2f_Faster, C2f_ODConv, C2f_Faster_EMA, C2f_DBB, C2f_CloAtt, C2f_SCConv, C2f_ScConv, C2f_EMSC, C2f_EMSCP, C2f_KW, C2f_DCNv2, C2f_DCNv3, C2f_OREPA, C2f_REPVGGOREPA, C2f_DCNv2_Dynamic, C2f_MSBlock, C2f_ContextGuided, C2f_DLKA, C2f_EMBC, C2f_Parc, C2f_DWR, C2f_RFAConv, C2f_RFCBAMConv, C2f_RFCAConv, C2f_MLCA, C2f_AKConv, C2f_UniRepLKNetBlock, C2f_DRB, C2f_DWR_DRB, C2f_AggregatedAtt....(C2f系列的改进都合适、太多了就不一一标注了)
C3, C3Ghost, C3_CloAtt, C3_SCConv, C3_ScConv, C3_EMSC, C3_EMSCP, C3_KW, C3_ODConv, C3_Faster, C3_Faster_EMA, C3_DCNv2, C3_DCNv3, C3_DBB, C3_OREPA, C3_REPVGGOREPA, C3_DCNv2_Dynamic, C3_MSBlock, C3_ContextGuided, C3_DLKA, C3_EMBC, C3_Parc, C3_DWR, C3_RFAConv, C3_RFCBAMConv, C3_RFCAConv, C3_MLCA, C3_AKConv, C3_UniRepLKNetBlock, C3_DRB, C3_DWR_DRB, C3_AggregatedAtt....(C3系列的改进都合适、太多了就不一一标注了)
VoVGSCSP, VoVGSCSPC, RCSOSA, CSP_EDLAN
EMA, SimAM, SpatialGroupEnhance, BiLevelRoutingAttention, BiLevelRoutingAttention_nchw, TripletAttention, CoordAtt, CBAM, BAMBlock, EfficientAttention(CloFormer中的注意力), LSKBlock, SEAttention, CPCA, deformable_LKA, EffectiveSEModule, LSKA, SegNext_Attention, DAttention(Vision Transformer with Deformable Attention CVPR2022), FocusedLinearAttention(ICCV2023), MLCA, TransNeXt_AggregatedAttention, LocalWindowAttention, ELA, CAA, CAFM
ultralytics/cfg/models/v8/yolov8-efficientViT.yaml
(CVPR2023)efficientViT替换yolov8主干.
ultralytics/cfg/models/v8/yolov8-fasternet.yaml
(CVPR2023)fasternet替换yolov8主干.
ultralytics/cfg/models/v8/yolov8-timm.yaml
使用timm支持的主干网络替换yolov8主干.timm的内容可看这期视频
ultralytics/cfg/models/v8/yolov8-convnextv2.yaml
使用convnextv2网络替换yolov8主干.
ultralytics/cfg/models/v8/yolov8-dyhead.yaml
添加基于注意力机制的目标检测头到yolov8中.
ultralytics/cfg/models/v8/yolov8-bifpn.yaml
添加BIFPN到yolov8中.
其中BIFPN中有三个可选参数:
ultralytics/cfg/models/v8/yolov8-C2f-Faster.yaml
使用C2f-Faster替换C2f.(使用FasterNet中的FasterBlock替换C2f中的Bottleneck)
ultralytics/cfg/models/v8/yolov8-C2f-ODConv.yaml
使用C2f-ODConv替换C2f.(使用ODConv替换C2f中的Bottleneck中的Conv)
ultralytics/cfg/models/v8/yolov8-EfficientFormerV2.yaml
使用EfficientFormerV2网络替换yolov8主干.(需要看常见错误和解决方案的第五点)
ultralytics/cfg/models/v8/yolov8-C2f-Faster-EMA.yaml
使用C2f-Faster-EMA替换C2f.(C2f-Faster-EMA推荐可以放在主干上,Neck和head部分可以选择C2f-Faster)
ultralytics/cfg/models/v8/yolov8-C2f-DBB.yaml
使用C2f-DBB替换C2f.(使用DiverseBranchBlock替换C2f中的Bottleneck中的Conv)
增加Adaptive Training Sample Selection匹配策略.
在ultralytics/utils/loss.py中的class v8DetectionLoss中自行选择对应的self.assigner即可.
此ATSS匹配策略目前占用显存比较大,因此使用的时候需要设置更小的batch,后续会进行优化这一功能.
ultralytics/cfg/models/v8/yolov8-slimneck.yaml
使用VoVGSCSP\VoVGSCSPC和GSConv替换yolov8 neck中的C2f和Conv.
ultralytics/cfg/models/v8/yolov8-attention.yaml
可以看项目视频-如何在yaml配置文件中添加注意力层
多种注意力机制在yolov8中的使用. 多种注意力机制github地址
目前内部整合的注意力可看链接
Asymptotic Feature Pyramid Networkreference
a. ultralytics/cfg/models/v8/yolov8-AFPN-P345.yaml
b. ultralytics/cfg/models/v8/yolov8-AFPN-P345-Custom.yaml
c. ultralytics/cfg/models/v8/yolov8-AFPN-P2345.yaml
d. ultralytics/cfg/models/v8/yolov8-AFPN-P2345-Custom.yaml
其中Custom中的block支持这些结构 B站介绍说明
ultralytics/cfg/models/v8/yolov8-vanillanet.yaml
vanillanet替换yolov8主干.
ultralytics/cfg/models/v8/yolov8-C2f-CloAtt.yaml
使用C2f-CloAtt替换C2f.(使用CloFormer中的具有全局和局部特征的注意力机制添加到C2f中的Bottleneck中)(需要看常见错误和解决方案的第五点)
ultralytics/cfg/models/v8/yolov8-RevCol.yaml
使用(ICLR2023)Reversible Column Networks对yolov8主干进行重设计.
ultralytics/cfg/models/v8/yolov8-LSKNet.yaml
LSKNet(2023旋转目标检测SOTA的主干)替换yolov8主干.
ultralytics/cfg/models/v8/yolov8-C2f-SCConv.yaml
SCConv(CVPR2020 http://mftp.mmcheng.net/Papers/20cvprSCNet.pdf)与C2f融合.
ultralytics/cfg/models/v8/yolov8-C2f-SCcConv.yaml
ScConv(CVPR2023 https://openaccess.thecvf.com/content/CVPR2023/papers/Li_SCConv_Spatial_and_Channel_Reconstruction_Convolution_for_Feature_Redundancy_CVPR_2023_paper.pdf)与C2f融合.
(取名为SCcConv的原因是在windows下命名是不区分大小写的)
MPDiou.论文链接
请看LOSS改进系列.md
ultralytics/cfg/models/v8/yolov8-LAWDS.yaml
Light Adaptive-weight downsampling.自研模块,具体讲解请看百度云链接中的视频.
ultralytics/cfg/models/v8/yolov8-C2f-EMSC.yaml
Efficient Multi-Scale Conv.自研模块,具体讲解请看百度云链接中的视频.
ultralytics/cfg/models/v8/yolov8-C2f-EMSCP.yaml
Efficient Multi-Scale Conv Plus.自研模块,具体讲解请看百度云链接中的视频.
ultralytics/cfg/models/v8/yolov8-RCSOSA.yaml
使用RCS-YOLO中的RCSOSA替换C2f.
ultralytics/cfg/models/v8/yolov8-KernelWarehouse.yaml
使用Towards Parameter-Efficient Dynamic Convolution添加到yolov8中.
使用此模块需要注意,在epoch0-20的时候精度会非常低,过了20epoch会正常.
Normalized Gaussian Wasserstein Distance.论文链接
在Loss中使用:
在ultralytics/utils/loss.py中的BboxLoss class中的__init__函数里面设置self.nwd_loss为True.
比例系数调整self.iou_ratio, self.iou_ratio代表iou的占比,(1-self.iou_ratio)为代表nwd的占比.
在TAL标签分配中使用:
在ultralytics/utils/tal.py中的def iou_calculation函数中进行更换即可.
以上这两可以配合使用,也可以单独使用.
SlideLoss and EMASlideLoss.Yolo-Face V2
在ultralytics/utils/loss.py中的class v8DetectionLoss进行设定.
ultralytics/cfg/models/v8/yolov8-C2f-DySnakeConv.yaml
DySnakeConv与C2f融合.
ultralytics/cfg/models/v8/yolov8-EfficientHead.yaml
对检测头进行重设计,支持10种轻量化检测头.详细请看ultralytics/nn/extra_modules/head.py中的Detect_Efficient class.YOLOV8改进-带你分析V8的检测头并重设计10种结构轻量化检测头
ultralytics/cfg/models/v8/yolov8-aux.yaml
参考YOLOV7-Aux对YOLOV8添加额外辅助训练头,在训练阶段参与训练,在最终推理阶段去掉.
其中辅助训练头的损失权重系数可在ultralytics/utils/loss.py中的class v8DetectionLoss中的init函数中的self.aux_loss_ratio设定,默认值参考yolov7为0.25.
ultralytics/cfg/models/v8/yolov8-C2f-DCNV2.yaml
使用C2f-DCNV2替换C2f.(DCNV2为可变形卷积V2)
ultralytics/cfg/models/v8/yolov8-C2f-DCNV3.yaml
使用C2f-DCNV3替换C2f.(DCNV3为可变形卷积V3(CVPR2023,众多排行榜的SOTA))
官方中包含了一些指定版本的DCNV3 whl包,下载后直接pip install xxx即可.具体和安装DCNV3可看百度云链接中的视频.
ultralytics/cfg/models/v8/yolov8-dyhead-DCNV3.yaml
使用DCNV3替换DyHead中的DCNV2.
ultralytics/cfg/models/v8/yolov8-FocalModulation.yaml
使用Focal Modulation替换SPPF.
ultralytics/cfg/models/v8/yolov8-C2f-OREPA.yaml
使用C2f-OREPA替换C2f.Online Convolutional Re-parameterization (CVPR2022)
ultralytics/cfg/models/v8/yolov8-C2f-REPVGGOREPA.yaml
使用C2f-REPVGGOREPA替换C2f.Online Convolutional Re-parameterization (CVPR2022)
ultralytics/cfg/models/v8/yolov8-swintransformer.yaml
SwinTransformer-Tiny替换yolov8主干.
ultralytics/cfg/models/v8/yolov8-repvit.yaml
CVPR2024 RepViT替换yolov8主干.
ultralytics/cfg/models/v8/yolov8-fasternet-bifpn.yaml
fasternet与bifpn的结合.
其中BIFPN中有三个可选参数:
ultralytics/cfg/models/v8/yolov8-C2f-DCNV2-Dynamic.yaml
利用自研注意力机制MPCA强化DCNV2中的offset和mask.
ultralytics/cfg/models/v8/yolov8-goldyolo.yaml
利用华为2023最新GOLD-YOLO中的Gatherand-Distribute进行改进特征融合模块
ultralytics/cfg/models/v8/yolov8-C2f-ContextGuided.yaml
使用CGNet中的Light-weight Context Guided改进C2f.
ultralytics/cfg/models/v8/yolov8-ContextGuidedDown.yaml
使用CGNet中的Light-weight Context Guided DownSample进行下采样.
ultralytics/cfg/models/v8/yolov8-C2f-MSBlock.yaml
使用YOLO-MS中的MSBlock改进C2f.
ultralytics/cfg/models/v8/yolov8-C2f-DLKA.yaml
使用deformableLKA改进C2f.
ultralytics/cfg/models/v8/yolov8-GFPN.yaml
使用DAMO-YOLO中的RepGFPN改进Neck.
ultralytics/cfg/models/v8/yolov8-SPDConv.yaml
使用SPDConv进行下采样.
ultralytics/cfg/models/v8/yolov8-EfficientRepBiPAN.yaml
使用YOLOV6中的EfficientRepBiPAN改进Neck.
ultralytics/cfg/models/v8/yolov8-C2f-EMBC.yaml
使用Efficientnet中的MBConv与EffectiveSE改进C2f.
ultralytics/cfg/models/v8/yolov8-SPPF-LSKA.yaml
使用LSKA注意力机制改进SPPF,增强多尺度特征提取能力.
ultralytics/cfg/models/v8/yolov8-C2f-DAttention.yaml
使用Vision Transformer with Deformable Attention(CVPR2022)改进C2f.(需要看常见错误和解决方案的第五点)
使用注意点请看百度云视频.(DAttention(Vision Transformer with Deformable Attention CVPR2022)使用注意说明.)
ultralytics/cfg/models/v8/yolov8-CSwinTransformer.yaml
使用CSWin-Transformer(CVPR2022)替换yolov8主干.(需要看常见错误和解决方案的第五点)
ultralytics/cfg/models/v8/yolov8-AIFI.yaml
使用RT-DETR中的Attention-based Intrascale Feature Interaction(AIFI)改进yolov8.
ultralytics/cfg/models/v8/yolov8-C2f-Parc.yaml
使用ParC-Net中的ParC_Operator改进C2f.(需要看常见错误和解决方案的第五点)
使用注意点请看百度云视频.(20231031更新说明)
ultralytics/cfg/models/v8/yolov8-C2f-DWR.yaml
使用DWRSeg中的Dilation-wise Residual(DWR)模块,加强从网络高层的可扩展感受野中提取特征.
ultralytics/cfg/models/v8/yolov8-C2f-RFAConv.yaml
使用RFAConv中的RFAConv改进yolov8.
ultralytics/cfg/models/v8/yolov8-C2f-RFCBAMConv.yaml
使用RFAConv中的RFCBAMConv改进yolov8.
ultralytics/cfg/models/v8/yolov8-C2f-RFCAConv.yaml
使用RFAConv中的RFCAConv改进yolov8.
ultralytics/cfg/models/v8/yolov8-HGNetV2.yaml
使用HGNetV2作为YOLOV8的backbone.
ultralytics/cfg/models/v8/yolov8-GhostHGNetV2.yaml
使用Ghost_HGNetV2作为YOLOV8的backbone.
ultralytics/cfg/models/v8/yolov8-RepHGNetV2.yaml
使用Rep_HGNetV2作为YOLOV8的backbone.
ultralytics/cfg/models/v8/yolov8-seg-EfficientHead.yaml(实例分割)
对检测头进行重设计,支持10种轻量化检测头.详细请看ultralytics/nn/extra_modules/head.py中的Detect_Efficient class.YOLOV8改进-带你分析V8的检测头并重设计10种结构轻量化检测头
ultralytics/cfg/models/v8/yolov8-C2f-FocusedLinearAttention.yaml
使用FLatten Transformer(ICCV2023)中的FocusedLinearAttention改进C2f.(需要看常见错误和解决方案的第五点)
使用注意点请看百度云视频.(20231114版本更新说明.)
IoU,GIoU,DIoU,CIoU,EIoU,SIoU更换方法.
请看LOSS改进系列.md
Inner-IoU,Inner-GIoU,Inner-DIoU,Inner-CIoU,Inner-EIoU,Inner-SIoU更换方法.
请看LOSS改进系列.md
Inner-MPDIoU更换方法.
请看LOSS改进系列.md
ultralytics/cfg/models/v8/yolov8-C2f-MLCA.yaml
使用Mixed Local Channel Attention 2023改进C2f.(用法请看百度云视频-20231129版本更新说明)
ultralytics/cfg/models/v8/yolov8-C2f-AKConv.yaml
使用AKConv 2023改进C2f.(用法请看百度云视频-20231129版本更新说明)
ultralytics/cfg/models/v8/yolov8-unireplknet.yaml
使用UniRepLKNet替换yolov8主干.
ultralytics/cfg/models/v8/yolov8-C2f-UniRepLKNetBlock.yaml
使用UniRepLKNet中的UniRepLKNetBlock改进C2f.
ultralytics/cfg/models/v8/yolov8-C2f-DRB.yaml
使用UniRepLKNet中的DilatedReparamBlock改进C2f.
ultralytics/cfg/models/v8/yolov8-C2f-DWR-DRB.yaml
使用UniRepLKNet中的DilatedReparamBlock对DWRSeg中的Dilation-wise Residual(DWR)的模块进行二次创新后改进C2f.
ultralytics/cfg/models/v8/yolov8-ASF.yaml
使用ASF-YOLO中的Attentional Scale Sequence Fusion改进yolov8.
ultralytics/cfg/models/v8/yolov8-ASF-P2.yaml
在ultralytics/cfg/models/v8/yolov8-ASF.yaml的基础上进行二次创新,引入P2检测层并对网络结构进行优化.
ultralytics/cfg/models/v8/yolov8-CSP-EDLAN.yaml
使用DualConv打造CSP Efficient Dual Layer Aggregation Networks改进yolov8.
ultralytics/cfg/models/v8/yolov8-TransNeXt.yaml
使用TransNeXt改进yolov8的backbone.(需要看常见错误和解决方案的第五点)
ultralytics/cfg/models/v8/yolov8-AggregatedAttention.yaml
使用TransNeXt中的聚合感知注意力改进yolov8的backbone.(需要看常见错误和解决方案的第五点)
ultralytics/cfg/models/v8/yolov8-C2f-AggregatedAtt.yaml
使用TransNeXt中的聚合感知注意力改进C2f.(需要看常见错误和解决方案的第五点)
ultralytics/cfg/models/v8/yolov8-bifpn-SDI.yaml
使用U-NetV2中的 Semantics and Detail Infusion Module对BIFPN进行二次创新.
ultralytics/cfg/models/v8/yolov8-SDI.yaml
使用U-NetV2中的 Semantics and Detail Infusion Module对yolov8中的feature fusion部分进行重设计.
Shape-IoU,Inner-Shape-IoU更换方法.
请看LOSS改进系列.md
FocalLoss,VarifocalLoss,QualityfocalLoss更换方法.
请看LOSS改进系列.md
Wise-IoU(v1,v2,v3)系列(IoU,WIoU,EIoU,GIoU,DIoU,CIoU,SIoU,MPDIoU,ShapeIoU)更换方法.
请看LOSS改进系列.md
Inner-Wise-IoU(v1,v2,v3)系列(IoU,WIoU,EIoU,GIoU,DIoU,CIoU,SIoU,MPDIoU,ShapeIoU)更换方法.
请看LOSS改进系列.md
ultralytics/cfg/models/v8/yolov8-goldyolo-asf.yaml
利用华为2023最新GOLD-YOLO中的Gatherand-Distribute与ASF-YOLO中的Attentional Scale Sequence Fusion进行二次创新改进yolov8的neck.
ultralytics/cfg/models/v8/yolov8-C2f-DCNV4.yaml
使用DCNV4改进C2f.(请关闭AMP进行训练,使用教程请看20240116版本更新说明)
ultralytics/cfg/models/v8/yolov8-dyhead-DCNV4.yaml
使用DCNV4对DyHead进行二次创新.(请关闭AMP进行训练,使用教程请看20240116版本更新说明)
ultralytics/cfg/models/v8/yolov8-HSFPN.yaml
使用MFDS-DETR中的HS-FPN改进yolov8的neck.
ultralytics/cfg/models/v8/yolov8-HSPAN.yaml
对MFDS-DETR中的HS-FPN进行二次创新后得到HSPAN改进yolov8的neck.
soft-nms(IoU,GIoU,DIoU,CIoU,EIoU,SIoU,ShapeIoU)
soft-nms替换nms.(建议:仅在val.py时候使用,具体替换请看20240122版本更新说明)
ultralytics/cfg/models/v8/yolov8-dysample.yaml
使用ICCV2023 DySample改进yolov8-neck中的上采样.
ultralytics/cfg/models/v8/yolov8-CARAFE.yaml
使用ICCV2019 CARAFE改进yolov8-neck中的上采样.
ultralytics/cfg/models/v8/yolov8-HWD.yaml
使用Haar wavelet downsampling改进yolov8的下采样.(请关闭AMP情况下使用)
Focaler-IoU系列(IoU,GIoU,DIoU,CIoU,EIoU,SIoU,WIoU,MPDIoU,ShapeIoU)
请看LOSS改进系列.md
ultralytics/cfg/models/v8/yolov8-GDFPN.yaml
使用DAMO-YOLO中的RepGFPN与ICCV2023 DySample进行二次创新改进Neck.
ultralytics/cfg/models/v8/yolov8-HSPAN-DySample.yaml
对MFDS-DETR中的HS-FPN进行二次创新后得到HSPAN再进行创新,使用ICCV2023 DySample改进其上采样模块.
ultralytics/cfg/models/v8/yolov8-ASF-DySample.yaml
使用ASF-YOLO中的Attentional Scale Sequence Fusion与ICCV2023 DySample组合得到Dynamic Sample Attentional Scale Sequence Fusion.
ultralytics/cfg/models/v8/yolov8-SEAMHead.yaml
使用YOLO-Face V2中的遮挡感知注意力改进Head,使其有效地处理遮挡场景.
ultralytics/cfg/models/v8/yolov8-MultiSEAMHead.yaml
使用YOLO-Face V2中的遮挡感知注意力改进Head,使其有效地处理遮挡场景.
ultralytics/cfg/models/v8/yolov8-C2f-SWC.yaml
使用shift-wise conv改进yolov8中的C2f.(详细请看20240216更新说明)
ultralytics/cfg/models/v8/yolov8-C2f-iRMB.yaml
使用EMO ICCV2023中的iRMB改进C2f.(详细请看20240216更新说明)
ultralytics/cfg/models/v8/yolov8-C2f-iRMB-Cascaded.yaml
使用EfficientViT CVPR2023中的CascadedGroupAttention对EMO ICCV2023中的iRMB进行二次创新来改进C2f.(详细请看20240216更新说明)
ultralytics/cfg/models/v8/yolov8-C2f-iRMB-DRB.yaml
使用UniRepLKNet中的DilatedReparamBlock对EMO ICCV2023中的iRMB进行二次创新来改进C2f.(详细请看20240216更新说明)
ultralytics/cfg/models/v8/yolov8-C2f-iRMB-SWC.yaml
使用shift-wise conv对EMO ICCV2023中的iRMB进行二次创新来改进C2f.(详细请看20240216更新说明)
ultralytics/cfg/models/v8/yolov8-C2f-VSS.yaml
使用最新的Mamba架构Mamba-UNet中的VSS对C2f中的BottleNeck进行改进,使其能更有效地捕获图像中的复杂细节和更广泛的语义上下文.
ultralytics/cfg/models/v8/yolov8-C2f-LVMB.yaml
使用最新的Mamba架构Mamba-UNet中的VSS与Cross Stage Partial进行结合,使其能更有效地捕获图像中的复杂细节和更广泛的语义上下文.
Powerful-IoU系列.
请看LOSS改进系列.md
ultralytics/cfg/models/v8/yolov8-RepNCSPELAN.yaml
使用YOLOV9中的RepNCSPELAN进行改进yolov8.
ultralytics/cfg/models/v8/yolov8-DBBNCSPELAN.yaml
使用Diverse Branch Block CVPR2021对YOLOV9中的RepNCSPELAN进行二次创新后改进yolov8.
ultralytics/cfg/models/v8/yolov8-OREPANCSPELAN.yaml
使用Online Convolutional Re-parameterization (CVPR2022)对YOLOV9中的RepNCSPELAN进行二次创新后改进yolov8.
ultralytics/cfg/models/v8/yolov8-DRBNCSPELAN.yaml
使用UniRepLKNet中的DilatedReparamBlock对YOLOV9中的RepNCSPELAN进行二次创新后改进yolov8.
ultralytics/cfg/models/v8/yolov8-v7DS.yaml
使用YOLOV7 CVPR2023的下采样结构改进YOLOV8中的下采样.
ultralytics/cfg/models/v8/yolov8-ADown.yaml
使用YOLOV9的下采样结构改进YOLOV8中的下采样.
ultralytics/cfg/models/v8/yolov8-PGI.yaml
使用YOLOV9的programmable gradient information改进YOLOV8.(PGI模块可在训练结束后去掉)
ultralytics/cfg/models/v8/yolov8-C2f-DynamicConv.yaml
使用CVPR2024 parameternet中的DynamicConv改进C2f.
ultralytics/cfg/models/v8/yolov8-C2f-GhostDynamicConv.yaml
使用CVPR2024 parameternet中的GhostModule改进C2f.
ultralytics/cfg/models/v8/yolov8-DynamicHGNetV2.yaml
使用CVPR2024 parameternet中的DynamicConv对CVPR2024 RTDETR中的HGBlokc进行二次创新.
ultralytics/cfg/models/v8/yolov8-C2f-RVB.yaml
使用CVPR2024 RepViT中的RepViTBlock改进C2f.
ultralytics/cfg/models/v8/yolov8-C2f-RVB-EMA.yaml
使用CVPR2024 RepViT中的RepViTBlock和EMA注意力机制改进C2f.
Lightweight Shared Convolutional Detection Head
自研轻量化检测头. detect:ultralytics/cfg/models/v8/yolov8-LSCD.yaml seg:ultralytics/cfg/models/v8/yolov8-seg-LSCD.yaml pose:ultralytics/cfg/models/v8/yolov8-pose-LSCD.yaml obb:ultralytics/cfg/models/v8/yolov8-obb-LSCD.yaml
ultralytics/cfg/models/v8/yolov8-DGCST.yaml
使用Lightweight Object Detection中的Dynamic Group Convolution Shuffle Transformer改进yolov8.
Task Align Dynamic Detection Head
自研任务对齐动态检测头 detect:ultralytics/cfg/models/v8/yolov8-TADDH.yaml seg:ultralytics/cfg/models/v8/yolov8-seg-TADDH.yaml pose:ultralytics/cfg/models/v8/yolov8-pose-TADDH.yaml obb:ultralytics/cfg/models/v8/yolov8-obb-TADDH.yaml
ultralytics/cfg/models/v8/yolov8-rmt.yaml
使用CVPR2024 RMT改进yolov8的主干.
ultralytics/cfg/models/v8/yolov8-C2f-RetBlock.yaml
使用CVPR2024 RMT中的RetBlock改进C2f.
ultralytics/cfg/models/v8/yolov8-ELA-HSFPN.yaml
使用Efficient Local Attention改进HSFPN.
ultralytics/cfg/models/v8/yolov8-CA-HSFPN.yaml
使用Coordinate Attention CVPR2021改进HSFPN.
ultralytics/cfg/models/v8/yolov8-ELA-HSFPN-TADDH.yaml
使用Efficient Local Attention改进HSFPN,使用自研动态动态对齐检测头改进Head.
ultralytics/cfg/models/v8/yolov8-pkinet.yaml
使用CVPR2024 PKINet改进backbone.(需要安装mmcv和mmengine)
ultralytics/cfg/models/v8/yolov8-C2f-PKI.yaml
使用CVPR2024 PKINet中的PKIModule和CAA模块改进C2f.
ultralytics/cfg/models/v8/yolov8-RepNCSPELAN_CAA.yaml
使用CVPR2024 PKINet中的CAA模块改进RepNCSPELAN.
ultralytics/cfg/models/v8/yolov8-CAA-HSFPN.yaml
使用CVPR2024 PKINet中的CAA模块HSFPN.
ultralytics/cfg/models/v8/yolov8-C2f-fadc.yaml
ultralytics/cfg/models/v8/yolov8-FDPN.yaml
自研特征聚焦扩散金字塔网络(Focusing Diffusion Pyramid Network)
ultralytics/cfg/models/v8/yolov8-FDPN-TADDH.yaml
自研结构的融合.
ultralytics/cfg/models/v8/yolov8-C2f-PPA.yaml
使用HCFNet中的Parallelized Patch-Aware Attention Module改进C2f.
ultralytics/cfg/models/v8/yolov8-FDPN-DASI.yaml
使用HCFNet中的Dimension-Aware Selective Integration Module对自研的Focusing Diffusion Pyramid Network再次创新.
ultralytics/cfg/models/v8/yolov8-CSMHSA.yaml
对Mutil-Head Self-Attention进行创新得到Cross-Scale Mutil-Head Self-Attention.
ultralytics/cfg/models/v8/yolov8-SRFD.yaml
使用A Robust Feature Downsampling Module for Remote Sensing Visual Tasks改进yolov8的下采样.
ultralytics/cfg/models/v8/yolov8-CSFCN.yaml
使用Context and Spatial Feature Calibration for Real-Time Semantic Segmentation中的Context and Spatial Feature Calibration模块改进yolov8.
ultralytics/cfg/models/v8/yolov8-mobilenetv4.yaml
使用MobileNetV4改进yolov8-backbone.
ultralytics/cfg/models/v8/yolov8-CGAFusion.yaml
使用DEA-Net中的content-guided attention fusion改进yolov8-neck.
ultralytics/cfg/models/v8/yolov8-CAFMFusion.yaml
利用具有HCANet中的CAFM,其具有获取全局和局部信息的注意力机制进行二次改进content-guided attention fusion.
ultralytics/cfg/models/v8/yolov8-RGCSPELAN.yaml
自研RepGhostCSPELAN.
Lightweight Asymmetric Detection Head
detect:ultralytics/cfg/models/v8/yolov8-LADH.yaml segment:ultralytics/cfg/models/v8/yolov8-seg-LADH.yaml pose:ultralytics/cfg/models/v8/yolov8-pose-LADH.yaml obb:ultralytics/cfg/models/v8/yolov8-obb-LADH.yaml 使用Faster and Lightweight: An Improved YOLOv5 Object Detector for Remote Sensing Images中的Lightweight Asymmetric Detection Head改进yolov8-head.
ultralytics/cfg/models/v8/yolov8-C2f-Faster-CGLU.yaml
使用TransNeXt CVPR2024中的Convolutional GLU对CVPR2023中的FasterNet进行二次创新.
ultralytics/cfg/models/v8/yolov8-SDFM.yaml
使用PSFusion中的superficial detail fusion module改进yolov8-neck.
ultralytics/cfg/models/v8/yolov8-PSFM.yaml
使用PSFusion中的profound semantic fusion module改进yolov8-neck.
Lightweight Shared Convolutional Separamter BN Detection Head
基于自研轻量化检测头(LSCD)上,参考NASFPN的设计思路把GN换成BN,并且BN层参数不共享. detect:ultralytics/cfg/models/v8/yolov8-LSCSBD.yaml seg:ultralytics/cfg/models/v8/yolov8-seg-LSCSBD.yaml pose:ultralytics/cfg/models/v8/yolov8-pose-LSCSBD.yaml obb:ultralytics/cfg/models/v8/yolov8-obb-LSCSBD.yaml
ultralytics/cfg/models/v8/yolov8-starnet.yaml
使用StarNet CVPR2024改进yolov8-backbone.
ultralytics/cfg/models/v8/yolov8-C2f-Star.yaml
使用StarNet CVPR2024中的StarBlock改进C2f.
ultralytics/cfg/models/v8/yolov8-C2f-Star-CAA.yaml
使用StarNet CVPR2024中的StarBlock和CVPR2024 PKINet中的CAA改进C2f.
ultralytics/cfg/models/v8/yolov8-starnet-C2f-Star-LSCD.yaml
轻量化模型组合.
ultralytics/cfg/models/v8/yolov8-C2f-KAN.yaml
KAN In! Mamba Out! Kolmogorov-Arnold Networks.Pytorch-Conv-KAN 目前支持:
ultralytics/cfg/models/v8/yolov8-nmsfree.yaml
仿照yolov10的思想采用双重标签分配和一致匹配度量进行训练,后处理不需要NMS!
ultralytics/cfg/models/v8/yolov8-EIEStem.yaml
提出了一种新的EIEStem模块,旨在作为图像识别任务中的高效前端模块。该模块结合了提取边缘信息的SobelConv分支和提取空间信息的卷积分支,能够学习到更加丰富的图像特征表示。
ultralytics/cfg/models/v8/yolov8-C2f-EIEM.yaml
提出了一种新的C2f-EIEM模块,旨在作为图像识别任务中的高效前端模块。该模块结合了提取边缘信息的SobelConv分支和提取空间信息的卷积分支,能够学习到更加丰富的图像特征表示。
ultralytics/cfg/models/v8/yolov8-ContextGuideFPN.yaml
Context Guide Fusion Module(CGFM)是一个创新的特征融合模块,旨在改进YOLOv8中的特征金字塔网络(FPN)。该模块的设计考虑了多尺度特征融合过程中上下文信息的引导和自适应调整。
ultralytics/cfg/models/v8/yolov8-C2f-DEConv.yaml
使用DEA-Net中的detail-enhanced convolution改进C2f. 关于DEConv在运行的时候重参数化后比重参数化前的计算量还要大的问题:是因为重参数化前thop库其计算不准的问题,看重参数化后的参数即可.
ultralytics/cfg/models/v8/yolov8-LSDECD.yaml
基于自研轻量化检测头上(LSCD),使用detail-enhanced convolution进一步改进,提高检测头的细节捕获能力,进一步改善检测精度. 关于DEConv在运行的时候重参数化后比重参数化前的计算量还要大的问题:是因为重参数化前thop库其计算不准的问题,看重参数化后的参数即可. detect:ultralytics/cfg/models/v8/yolov8-LSDECD.yaml segment:ultralytics/cfg/models/v8/yolov8-seg-LSDECD.yaml pose:ultralytics/cfg/models/v8/yolov8-pose-LSDECD.yaml obb:ultralytics/cfg/models/v8/yolov8-obb-LSDECD.yaml
ultralytics/cfg/models/v8/yolov8-C2f-SMPCGLU.yaml
Self-moving Point Convolutional GLU模型改进C2f. SMP来源于CVPR2023-SMPConv,Convolutional GLU来源于TransNeXt CVPR2024.
ultralytics/cfg/models/v8/yolov8-C2f-Heat.yaml
使用vHeat中的HeatBlock改进C2f.(需要看常见错误和解决方案的第五点)
Re-CalibrationFPN
为了加强浅层和深层特征的相互交互能力,推出重校准特征金字塔网络(Re-CalibrationFPN). P2345:ultralytics/cfg/models/v8/yolov8-ReCalibrationFPN-P2345.yaml(带有小目标检测头的ReCalibrationFPN) P345:ultralytics/cfg/models/v8/yolov8-ReCalibrationFPN-P345.yaml P3456:ultralytics/cfg/models/v8/yolov8-ReCalibrationFPN-P3456.yaml(带有大目标检测头的ReCalibrationFPN)
ultralytics/cfg/models/v8/yolov8-WaveletPool.yaml
使用Wavelet Pooling改进YOLOV8的上采样和下采样。
ultralytics/cfg/models/v8/yolov8-CSP-PTB.yaml
Cross Stage Partial - Partially Transformer Block 在计算机视觉任务中,Transformer结构因其强大的全局特征提取能力而受到广泛关注。然而,由于Transformer结构的计算复杂度较高,直接将其应用于所有通道会导致显著的计算开销。为了在保证高效特征提取的同时降低计算成本,我们设计了一种混合结构,将输入特征图分为两部分,分别由CNN和Transformer处理,结合了卷积神经网络(CNN)和Transformer机制的模块,旨在增强特征提取的能力。 我们提出了一种名为CSP_PTB(Cross Stage Partial - Partially Transformer Block)的模块,旨在结合CNN和Transformer的优势,通过对输入通道进行部分分配来优化计算效率和特征提取能力。
集成Mamba-YOLO.(需要编译请看百度云视频-20240619版本更新说明) ultralytics/cfg/models/mamba-yolo/Mamba-YOLO-T.yaml ultralytics/cfg/models/mamba-yolo/Mamba-YOLO-B.yaml ultralytics/cfg/models/mamba-yolo/Mamba-YOLO-L.yaml ultralytics/cfg/models/mamba-yolo/yolo-mamba-seg.yaml
ultralytics/cfg/models/v8/yolov8-GLSA.yaml
使用GLSA模块改进yolov8的neck.
ultralytics/cfg/models/v8/yolov8-bifpn-GLSA.yaml
使用GLSA模块对bifpn进行二次创新.
ultralytics/cfg/models/v8/yolov8-SOEP.yaml
小目标在正常的P3、P4、P5检测层上略显吃力,比较传统的做法是加上P2检测层来提升小目标的检测能力,但是同时也会带来一系列的问题,例如加上P2检测层后计算量过大、后处理更加耗时等问题,日益激发需要开发新的针对小目标有效的特征金字塔,我们基于原本的PAFPN上进行改进,提出SmallObjectEnhancePyramid,相对于传统的添加P2检测层,我们使用P2特征层经过SPDConv得到富含小目标信息的特征给到P3进行融合,然后使用CSP思想和基于AAAI2024的OmniKernel进行改进得到CSP-OmniKernel进行特征整合,OmniKernel模块由三个分支组成,即三个分支,即全局分支、大分支和局部分支、以有效地学习从全局到局部的特征表征,最终从而提高小目标的检测性能。(该模块需要在train.py中关闭amp、且在ultralytics/engine/validator.py 115行附近的self.args.half设置为False、跑其余改进记得修改回去!) 出现这个报错的:RuntimeError: cuFFT error: CUFFT_INTERNAL_ERROR,如果你是40系显卡,需要更新torch大于2.0,并且cuda大于12.0.
ultralytics/cfg/models/v8/yolov8-CTrans.yaml
使用[AAAI2022] UCTransNet中的ChannelTransformer改进yolov8-neck.(需要看常见错误和解决方案的第五点)
ultralytics/cfg/models/v8/yolov8-p6-CTrans.yaml
使用[AAAI2022] UCTransNet中的ChannelTransformer改进yolov8-neck.(带有p6版本)(需要看常见错误和解决方案的第五点)
ultralytics/cfg/models/v10/yolov10n-bifpn.yaml
添加BIFPN到yolov10中.
其中BIFPN中有三个可选参数:
ultralytics/cfg/models/v10/yolov10n-C2f-EMSC.yaml
Efficient Multi-Scale Conv.自研模块,具体讲解请看百度云链接中的视频.
ultralytics/cfg/models/v10/yolov10n-C2f-EMSCP.yaml
Efficient Multi-Scale Conv Plus.自研模块,具体讲解请看百度云链接中的视频.
ultralytics/cfg/models/v10/yolov10n-LAWDS.yaml
Light Adaptive-weight downsampling.自研模块,具体讲解请看百度云链接中的视频.
ultralytics/cfg/models/v10/yolov10n-LSCD.yaml
自研轻量化检测头.(Lightweight Shared Convolutional Detection Head)
ultralytics/cfg/models/v10/yolov10n-efficientViT.yaml
(CVPR2023)efficientViT替换yolov10主干.
ultralytics/cfg/models/v10/yolov10n-fasternet.yaml
(CVPR2023)fasternet替换yolov10主干.
ultralytics/cfg/models/v10/yolov10n-timm.yaml
使用timm支持的主干网络替换yolov10主干.
ultralytics/cfg/models/v10/yolov10n-convnextv2.yaml
使用convnextv2网络替换yolov10主干.
ultralytics/cfg/models/v10/yolov10n-EfficientFormerV2.yaml
使用EfficientFormerV2网络替换yolov10主干.(需要看常见错误和解决方案的第五点)
ultralytics/cfg/models/v10/yolov10n-vanillanet.yaml
vanillanet替换yolov10主干.
ultralytics/cfg/models/v10/yolov10n-LSKNet.yaml
LSKNet(2023旋转目标检测SOTA的主干)替换yolov10主干.
ultralytics/cfg/models/v10/yolov10n-swintransformer.yaml
SwinTransformer-Tiny替换yolov10主干.
ultralytics/cfg/models/v10/yolov10n-repvit.yaml
CVPR2024 RepViT替换yolov10主干.
ultralytics/cfg/models/v10/yolov10n-CSwinTransformer.yaml
使用CSWin-Transformer(CVPR2022)替换yolov10主干.(需要看常见错误和解决方案的第五点)
ultralytics/cfg/models/v10/yolov10n-HGNetV2.yaml
使用HGNetV2作为YOLOV10的backbone.
ultralytics/cfg/models/v10/yolov10n-unireplknet.yaml
使用UniRepLKNet替换yolov10主干.
ultralytics/cfg/models/v10/yolov10n-TransNeXt.yaml
使用TransNeXt改进yolov10的backbone.(需要看常见错误和解决方案的第五点)
ultralytics/cfg/models/v10/yolov10n-rmt.yaml
使用CVPR2024 RMT改进yolov10的主干.
ultralytics/cfg/models/v10/yolov10n-pkinet.yaml
使用CVPR2024 PKINet改进backbone.(需要安装mmcv和mmengine)
ultralytics/cfg/models/v10/yolov10n-mobilenetv4.yaml
使用MobileNetV4改进yolov10的backbone.
ultralytics/cfg/models/v10/yolov10n-starnet.yaml
使用StarNet CVPR2024改进yolov10-backbone.
ultralytics/cfg/models/v10/yolov10n-starnet-bifpn.yaml
使用StarNet CVPR2024和bifpn改进yolov10.
RuntimeError: xxxxxxxxxxx does not have a deterministic implementation, but you set 'torch.use_deterministic_algorithms(True)'.....
解决方案:在ultralytics/utils/torch_utils.py中init_seeds函数中把torch.use_deterministic_algorithms里面的True改为False
ModuleNotFoundError:No module named xxx
解决方案:缺少对应的包,先把YOLOV8环境配置的安装命令进行安装一下,如果还是缺少显示缺少包,安装对应的包即可(xxx就是对应的包).
OMP: Error #15: Initializing libiomp5md.dll, but found libiomp5md.dll already initialized.
训练过程中loss出现nan.
可以尝试关闭AMP混合精度训练.(train.py中加amp=False)
固定640x640尺寸的解决方案.
运行train.py中的时候需要在ultralytics/models/yolo/detect/train.py的DetectionTrainer class中的build_dataset函数中的rect=mode == 'val'改为rect=False.其他模型可以修改回去.
运行val.py的时候,把val.py的rect=False注释取消即可.其他模型可以修改回去.
运行detect.py中的时候需要在ultralytics/engine/predictor.py找到函数def pre_transform(self, im),在LetterBox中的auto改为False,其他模型可以修改回去.
多卡训练问题.参考链接
python -m torch.distributed.run --nproc_per_node 2 train.py
指定显卡训练.
ValueError: Expected more than 1 value per channel when training, got input size torch.Size...
如果是在训练情况下的验证阶段出现的话,大概率就是最后一个验证的batch为1,这种情况只需要把验证集多一张或者少一张即可,或者变更batch参数.
AttributeError: Can't pickle local object 'EMASlideLoss.init..'
可以在ultralytics/utils/loss.py中添加import dill as pickle,然后装一下dill这个包.
pip install dill -i https://pypi.tuna.tsinghua.edu.cn/simple
RuntimeError: Dataset 'xxxxx' error ❌
将data.yaml中的路径都改为绝对路径.
WARNING NMS time limit 2.100s exceeded
在ultralytics/utils/ops.py中non_max_suppression函数里面找到这个语句:
time_limit = 2.0 + max_time_img * bs # seconds to quit after
前面的2.0自己改大点即可,大到不会出现这个NMS time limit即可.
OSError: [WinError 1455] 页面文件太小,无法完成操作。
此问题常见于windows训练.一般情况下有两种解决方案: