[debug] PyTorch报错：ConnectionResetError: [Errno 104] Connection reset by peer_pytorch issue connection reset by peer-程序员宅基地

问题描述：

使用PyTorch 1.10.0，训练报错：

ConnectionResetError: [Errno 104] Connection reset by peer

问题解析

参见pytorch的issue

I believe the issue is only triggered for the case that both
persistent_workers and pin_memory are turned on and iteration is
terminated at the time that worker is sending data to queue. First,
persistent worker would keep iterator with workers running without
proper cleaning up (using __del__ in _MultiProcessingDataLoaderIter.
And, if any background worker (daemon process) is terminated when it
is sending data to the _worker_result_queue, such Error would be
triggered as the pin_memory_thread want to get such data from Queue.

I can send a PR

解决方法

目前的解决方法是增大batchsize，或者可以尝试issue中的其他方法

I have experienced this issue as well where the dataloader exits with a ConnectionResetError: [Errno 104] Connection reset by peer error. I observed that this error goes away away with either a) adding a sleep, or b) using larger batch sizes. I suspect there is race condition that is triggered if the dataloader completes very quickly. I am running Pytorch 1.10.

本文链接：https://blog.csdn.net/qq_41683065/article/details/122643637

原作者删帖不实内容删帖广告或垃圾文章投诉

智能推荐

【QT开发笔记-基础篇】| 第二章常用控件 | 2.7 组合框 QComboBox_qt中组合框里的不同功能如何实现-程序员宅基地

文章浏览阅读3.1k次，点赞3次，收藏15次。(1) QComboBox属性：文本、图标、插入和删除 (2) 案例演示_qt中组合框里的不同功能如何实现

【Java】使用 HSSFWorkbook 生成 Excel 并导出步骤_java hssfworkbook-程序员宅基地

文章浏览阅读2k次。使用 HSSFWorkbook 生成 Excel 并导出步骤_java hssfworkbook

etl spring_Spring Batch与ETL工具比较-程序员宅基地

文章浏览阅读547次。在实际应用中，在批处理中用得较多的是场景是数据同步。在做数据集成工作中，常常需要从源位置把数据同步到目标位置，以便于进行后续的逻辑操作。在做这种批处理工具时，在网上查资料，发现用得比较多的是kettle及阿里的datax，对于这两款工具，各有各的优缺点。kettlekettle是一款可以可视化编程的开源ETL工具，把数据处理简化为Job和Transform，在Transform中，提供了各种数据读..._spring batch etl

109：vue+openlayers 定位动画（平移-弹性平移-飞行示例代码）_vue openlayer飞行到某个点-程序员宅基地

文章浏览阅读821次。本示例的目的是介绍如何在vue+openlayers项目中来实现定位动画，实现平移，飞行，弹性动画等。_vue openlayer飞行到某个点

【Linux CentOS 配置国内阿里云yum源以及常见基础配置】_yum 阿里云-程序员宅基地

文章浏览阅读907次。5、将文件中的所有http开头的地址更改为https。2、找到yum源的配置路径。_yum 阿里云

pandas-DataFrame修改行索引-index和列索引-columns_pandas 改变行索引, 值不表-程序员宅基地

文章浏览阅读2w次，点赞10次，收藏39次。代码示例：import pandas as pdimport numpy as npdf = pd.DataFrame(np.arange(9).reshape(3, 3), index = ['TJ', 'BJ', 'SH'], columns=['q', 'w', 'e'])print(df)'''打印： q w etj 0 1 2bj 3 4 5sh 6 7 8'''df.index = ['TianJin', 'BeiJin', 'Shang_pandas 改变行索引, 值不表