CornerNet跑自己数据集笔记-程序员宅基地

技术标签: python  深度学习  项目经验  

  • 原repos地址为:https://github.com/princeton-vl/CornerNet
  • 为了在服务器的cuda10电脑上用自己的数据集跑这份代码,主要有三点:
    1. 修改数据集接口
    2. 适应cuda10和pytorch1.5
    3. 训练配置
  • 接下来就分点详述:

修改数据集接口:

  • 有四个文件要修改:
    • models/CornerNet.py:
      • 72行model类的outdim变量改为自己数据集的类别数,如果类别加上背景为n+1,那么改为n
    • config/CornerNet.json
      • “train_split” 和 “val_split”(这里改为什么后面会提到)
      • "categories"改为自己数据集的类别数,也是,如果加上背景是n+1那么改为n
    • db/detection.py
      • self._configs[“categories”] 设为自己的数据集的类别数,同上
    • db/coco.py
      • 这个是根据自己的数据集的路径灵活修改的,我以我的为例子,我先将我的数据集的标注转为coco格式的数据集,也就是有两个json文件分别是训练集train.json和测试集的标注test.json(根据我的需要我没有设验证集,有需要的灵活应变),此外还有所有的图片文件无论是训练集还是测试集全放在同一个文件夹中,总的来说,repos目录下的data文件夹中,有两个文件夹,一个是cocoapi所在文件夹,一个是vhr(我的数据集),vhr文件夹中有两个文件夹,images和annotations,images里面是所有的图片,annotations里面是两个json文件
      • 根据上述路径,需要修改的是coco.py里MSCOCO类里面的几个变量:
        • self._dataset:这个变量其实是一个字符串,原来的写法是为了,利用config 的json文件里面的train_split和val_split作为键从字典中取出对应路径的字符串,这个字符串对应着你标注文件的前缀,由于我的标注文件是train.json和test.json,所以我把self._dataset设为
          self._dataset = {
                      
                  "train": "train",
                  "test": "test"
              }[self._split]
          
          同时将前面提到的CornerNet.json文件里面的两项设为:
          "train_split": "train",
                  "val_split": "test",
          
        • self._coco_dir :这个变量是为了指出数据集文件夹的名称,为了配合后续的label_dir和image_dir而使用的,因此我设为:self._coco_dir = os.path.join(data_dir, "vhr")
        • self._label_dir 和 self._label_file:label_dir是为了配合label_file指出json文件的路径和文件名的,只要最终label_flie这个变量指向你json文件即可,我设为:self._label_dir = os.path.join(self._coco_dir, "annotations") self._label_file = os.path.join(self._label_dir, "{}.json") self._label_file = self._label_file.format(self._dataset)
        • self._image_dir 这个变量最终要指向图片所在的文件夹的路径,所以我设为:self._image_dir = os.path.join(self._coco_dir, "images")
        • self._cat_ids 如果你的标注的cat_id是0到n-1的不间断的数字,那么这里设为[i+1 for i in range(n)]即可,其中n要替换为你的类别数,自此数据集接口修改大功告成

适应cuda10和pytorch1.5:

  • 这个我找了很久才找到的方法,即使你按照repos给的环境安装指引去安装,只要你GPU的驱动依赖的是cuda10,就会出错,而且还不会告诉你错在哪里,就是训练卡了半小时最后告诉你unhandled cuda error,所以我在原来的环境的基础上,用这句命令行把pytorch从0.4更新为最新的1.5同时用cuda10:conda install pytorch torchvision cudatoolkit=10.1 -c pytorch并且重新编译了相关环境
  • 但是这样是会出错的,原因是它的cptool本来就是写在pytorch0.4和cuda8上面的,所以要改cptool,简单的方法就是把cornernet-lite这个repos里写在pytorch1.0上的cptool直接覆盖掉原来的cptool,在这里添加链接描述,把新代码的_cptools文件夹覆盖到原来的_cptools文件夹上就行了
  • 但是这样会出现新的问题,它不停地报warning,而且按网上说的方法去组织python报warning并没有用。warning的原因是新的_cptools是在pytorch1.0上写的,但是pytorch1.0以后已经抛弃了1.0中用kByte作为mask的做法而需要改为kBool,具体是两步修改:
    • 把_cptools中*_pool.cpp,也就是说4个都要,中的kByte改为kBool
    • 把sample/coco.py中77行的tagmasks改为np.tools
      tag_masks = np.zeros((batch_size, max_tag_len), dtype=np.bool)
    • 这样就大功告成了

其他配置

  • 最后再讲一下其它配置,本来不需要说但是有一个地方有点坑,CornerNet.json里面的chunk_size看起来不明所以不知道是什么其实指的是每张卡上的batchsize,可以看出原来是在10张卡上训练的,但是多数人没有10张卡,所以会出错,我有4张卡,所以是:"chunk_sizes": [4, 4, 4, 4],,同时要把batch_size改为chunk_sizes的加和,我是16
  • 此外还有就是如果是在服务器上挂后台训练并且把log输出到文件中,由于它用了tqdm,不够友好,所以我把train.py里面的tqdm去掉了
版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/weixin_44326452/article/details/106272719

智能推荐

AndroidStudio无代码高亮解决办法_android studio 高亮-程序员宅基地

文章浏览阅读2.8k次。AndroidStudio 升级到 4.2.2 版本后,没有代码高亮了,很蛋疼。解决办法是:点开上方的 File,先勾选 Power Save Mode 再取消就可以了。_android studio 高亮

swift4.0 valueForUndefinedKey:]: this class is not key value coding-compliant for the key unity.'_forundefinedkey swift4-程序员宅基地

文章浏览阅读1k次。使用swift4.0整合Unity出现[ valueForUndefinedKey:]: this class is not key value coding-compliant for the key unity.'在对应属性前加@objc 即可。或者调回swift3.2版本_forundefinedkey swift4

Spring Security2的COOKIE的保存时间设置_springsecurity 设置cookie失效时间-程序员宅基地

文章浏览阅读1.3k次。http auto-config="true" access-denied-page="/common/403.htm"> intercept-url pattern="/login.**" access="IS_AUTHENTICATED_ANONYMOUSLY"/> form-login login-page="/login.jsp" defau_springsecurity 设置cookie失效时间

view滑动冲突解决实战篇2(外部拦截法)_viewpage2外部拦截事件-程序员宅基地

文章浏览阅读1.1k次。继上篇内部拦截法需求还是跟上篇一样。只不过这次用外部拦截法来解决;只要在父容器添加如下代码就可以解决了滑动冲突,很简单,套模板就行 // 分别记录上次滑动的坐标(onInterceptTouchEvent) private int mLastXIntercept = 0; private int mLastYIntercept = 0; @Override public bo_viewpage2外部拦截事件

汇编 堆栈 变量存储 指针_汇编语言栈指针-程序员宅基地

文章浏览阅读2.5k次,点赞7次,收藏9次。本文章系作者原创,未经许可,不得转载。汇编 堆栈 变量存储 指针先说栈的概念,栈其实也是一种。。。。。先说内存的概念吧。。。。。额 先说计算机吧,简单来说的话,可以把计算机理解成由CPU,内存,硬盘组成,而CPU内部又包括一种叫做内部寄存器的东西,包括 数据寄存器: AX,BX,CX,DX; 段寄存器: CS,DS,ES,SS; 指针与变址寄存器SP,BP,SI,DI; ..._汇编语言栈指针

架构师之路:从码农到架构师你差了哪些_web架构师-程序员宅基地

文章浏览阅读1w次,点赞14次,收藏56次。转载自 架构师之路:从码农到架构师你差了哪些 Web应用,最常见的研发语言是Java和PHP。 后端服务,最常见的研发语言是Java和C/C++。 大数据,最常见的研发语言是Java和Python。 可以说,Java是现阶段中国互联网公司中,覆盖度最广的研发语言,掌握了Java技术体系,不管在成熟的大公司,快速发展的公司,还是创业阶段的公司,都能有立足之地。有..._web架构师

随便推点

超级简单的Python爬虫入门教程(非常详细),通俗易懂,看一遍就会了_爬虫python入门-程序员宅基地

文章浏览阅读7.3k次,点赞6次,收藏36次。超级简单的Python爬虫入门教程(非常详细),通俗易懂,看一遍就会了_爬虫python入门

python怎么输出logistic回归系数_python - Logistic回归scikit学习系数与统计模型的系数 - SO中文参考 - www.soinside.com...-程序员宅基地

文章浏览阅读1.2k次。您的代码存在一些问题。首先,您在此处显示的两个模型是not等效的:尽管您将scikit-learn LogisticRegression设置为fit_intercept=True(这是默认设置),但您并没有这样做statsmodels一;来自statsmodels docs:默认情况下不包括拦截器,用户应添加。参见statsmodels.tools.add_constant。另一个问题是,尽管您处..._sm fit(method

VS2017、VS2019配置SFML_vsllfqm-程序员宅基地

文章浏览阅读518次。一、sfml官网下载32位的版本 一样的设置,64位的版本我没有成功,用不了。二、三、四以下这些内容拷贝过去:sfml-graphics-d.libsfml-window-d.libsfml-system-d.libsfml-audio-d.lib..._vsllfqm

vc——类似与beyondcompare工具的文本比较算法源代码_byoned compare 字符串比较算法-程序员宅基地

文章浏览阅读2.7k次。由于工作需要,要做一个类似bc2的文本比较工具,用红色字体标明不同的地方,研究了半天,自己写了一个简易版的。文本比较的规则是1.先比较文本的行数,2.再比较对应行的字符串的长度3.再比较每一个字符串是否相同。具体代码如下:其中m_basestr和m_mergestr里面存放是待比较的字符串int basecount=m_basestr.GetLength(); int mergec_byoned compare 字符串比较算法

aetna java_pom.xml-程序员宅基地

文章浏览阅读79次。xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 https://maven.apache.org/maven-v4_0_0.xsd">org.apacheapache174.0.0org.apache.atlasapache-atlas3.0.0-SNAPSHOTMetadata Management and Data Govern..._atlas.pom

生成随机数_<math.h>随机数-程序员宅基地

文章浏览阅读1.5k次。C语言中有可以产生随机数据的函数,需要添加 stdlib. h头文件与time.h头文件。首先在main函数开头加上“ srand(unsigned)time(NULL));",这个语句将生成随机数的种子(不懂也没关系,只要记住这个语句,并且知道 srand是初始化随机种子用的即可)。然后,在需要使用随机数的地方使用 rand()函数。下面是一段生成十个随机数的代码:程序代码:#incl..._随机数