Keras前后尺寸一致却依然报错'ValueError: total size of new array must be unchanged'的原因-程序员宅基地

技术标签: Shape  Reshape  Keras  Machine Learning  TensorFlow  

    某些情况下我们需要对张量进行维度变换,一般可以通过调用以下两种方法实现:

# 1. TensorFlow自带
tf.reshape(tensor, target_shape)  


# 2. (推荐)Keras中的Reshape层。如果用第一种方法的话,最后构建Model的时候可能会报错:
#     AttributeError: 'NoneType' object has no attribute '_inbound_nodes'
Reshape(target_shape)(tensor)  

    一般来说Reshape操作必须要满足变换前后总Elements数量不变。例如某维度为[2,4,8]的张量可以变换为[2,8,4]、[8,8]、[64]的形式。在Keras中可能显示为[?,2,4,8]的形式,其中‘?’代表输入尺寸,不影响结果。

    但有时候即使前后尺寸完全一致,但依然报错'ValueError: total size of new array must be unchanged'就很让人怀疑人生了(如下):

print(z.get_shape())  # 查看张量z的shape
z_reshape = Reshape([4498, 2])(z)  # 变换为同一shape
z尺寸也为[?,4998,2]
明明尺寸一样!!

因为这个报错百思不得其解,看了中外无数个帖子、博客,快被逼疯!!经过多轮调试终于知道问题出在哪儿了:

 

产生原因:

    问题出现在张量z是怎么得到上:是不是通过Lambda包装了自定义的操作?其output_shapes属性至关重要。本文的Z的产生过程如下:

def sampling(args):
    mean, log = args
    epsilon = K.random_normal(shape=K.shape(mean))
    return tf.math.sqrt(log) * epsilon + mean

# 通过sampling函数获得的结果. z_mean/z_log的shape均为[?,4498,2]
z = Lambda(sampling, output_shape=(2,), name='output_z')([z_mean, z_log])

通过output_shapes产生的维度是可操作的,而其它维度将被锁定。拿本例来说,正常情况下张量z [?,4498,2]只要符合尺寸乘积等于4498*2=8996即可。但由于我指定了output_shapes=(2,),它所产生的[?, 4498, 2]张量中我们只能对最后的2进行Reshape操作。比如:

z_reshape = Reshape([1, 2])(z) 
# 结果为[?, 4498, 1, 2]

z_reshape = Reshape([2, 1])(z) 
# 结果为[?, 4498, 2, 1]

z_reshape = Reshape([1, 1, 2])(z) 
# 结果为[?, 4498, 1, 1, 2]

 

解决办法

    准确指定output_shapes!!!不要只写最后一维就完了。

#  这是原先sampling的函数体,放一起了
epsilon = K.random_normal(shape=K.shape(mean))
return tf.math.sqrt(log) * epsilon + mean

# 获得的结果
z = Lambda(sampling, output_shape=(4498, 2), name='output_z')([z_mean, z_log])

# 再进行转换成功!
z_reshape = Reshape([2249, 4])(z)

此时通过Lambda产生的张量z [?, 4498, 2]中44982都是output_shapes已经声明过的,接下来只要target_shape之积等于4498*2=8996就能成功啦!

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/Bthsky/article/details/96600878

智能推荐

GDBus之dbus服务创建_gdbus g_dbus_server_new_sync-程序员宅基地

文章浏览阅读1.7k次。GDBus 创建dbus服务示例dbus服务响应Method、Property、Signal_gdbus g_dbus_server_new_sync

js跳转页面方法(转)_auto.js跳转抖音个人界面 site:blog.csdn.net-程序员宅基地

文章浏览阅读344次。3布丁足迹;秒后自动跳转……function countDown(secs){ tiao.innerText=secs; if(--secs>0) setTimeout("countDown("+secs+")",1000); } countDown(3);   按钮式:    链接式:  返回上一步_auto.js跳转抖音个人界面 site:blog.csdn.net

关于Centos7上python2.7的pip安装问题_python2.7最高支持pip什么版本-程序员宅基地

文章浏览阅读239次。今天在服务器上安装pip包,遇到很多问题,查阅资料大多说pip版本过低导致,直接更新pip后,问题更加严重再次查资料,最后发现是pip版本过高的问题,python2.7版本最高支持到20.3.4使用easy_install来安装指定版本的pip,问题解决参考来源:https://www.cnblogs.com/hxlasky/p/14504677.html..._python2.7最高支持pip什么版本

“前端智能为安防产生新的数据价值”-程序员宅基地

文章浏览阅读938次。笔者按:文章中很多图片无法观看,读者可前往下面的原文地址阅读。文中有一个视频,读者可以从下面地址下载获得:https://pan.baidu.com/s/1o8sXZGA文章转载自:智慧安防网,地址:链接地址 2017年12月14日,“第五届中国·深圳智慧城市建设高峰论坛”在深圳大中华喜来登酒店盛大开幕!来自全国各地的政企领袖、行业大咖、权威专家、企业代表、媒体_前端智能

数据结构:构造二叉树(前跟中跟,中跟后跟)_中根后根构造二叉树-程序员宅基地

文章浏览阅读4.4k次,点赞8次,收藏26次。先从前序的第一个结点开始,其为根节点,然后在中序中找到该元素,一分为二,中序左边为左子树,右边为右子树,然后从前序中找第二个元素为根结点左子树的根,然后重复上面这个过程,发现出现NULL,跳到右子树。但是,如果在先根遍历中加入反映兄弟结点间的左右次序的信息(如以“^”标明空子树),则可以唯一确定一颗二叉树。当一个结点的左右孩子链都已建立,则以当前结点为根的一棵子树就已建立,返回上一层结点。二叉树的广义表表示语法如下图,其中元素表示结点,“^”表示空子树。,则创建一个结点,该结点的左孩子结点元素是。_中根后根构造二叉树

NetSuite高级打印模板设置_netsuite 如何调整打印模版-程序员宅基地

文章浏览阅读648次。NetSuite有高级打印和普通打印模板两种设置本文通过html进行修改,普通打印模板支持的单据相比高级要多:例如请购单;纸张大小:在高级打印模板设置的时候,只有信纸、A4、A5三种纸张可以进行选择,但是我们可以通过原代码修改 将打印的大小进行修改,源代码的size 修改大小之后,关闭原代码,不能预览,因为没有合适的size;现在只是测试过,但是还没有在针式打印机正式测试,A4纸打印机可以打印出设置大小的单据;<body header="nlheader..._netsuite 如何调整打印模版

随便推点

计算100的阶乘末位0的个数_计算100阶乘中0尾数的个数-程序员宅基地

文章浏览阅读605次。 public static void main(String[] args) throws IOException { BigInteger Num = new BigInteger("1"); int i = 1,count = 0; for(;i&lt;=100;i++) { BigInteger I = new BigInteger(i+"");//将int数i转换..._计算100阶乘中0尾数的个数

关于Free版的EclipseUML-程序员宅基地

文章浏览阅读98次。Omondo EclipseUML分为Studio版和Free版两种,我只用过Free版,对于创建EMF类图来说感觉已经够用了。不过和Eclipse的版本比起来,EclipseUML的升级比较缓慢,目前为止最新的版本还是2005年9月27日放出的,这就造成在新版本Eclipse里EclipseUML可能无法正常运行。20050927版本是针对Eclipse 3.1开发的,现在Ec..._free eclipse

第13课 接续符和转义符-程序员宅基地

文章浏览阅读89次。C语言中的接续符(\)是指示编译器行为的利器示例程序如下: 1 #in\ 2 clud\ 3 e <st\ 4 dio.h> 5 6 in\ 7 t m\ 8 ain(\ 9 )10 {11 pri\12 ntf\13 (\14 "Hello D.T.\n"15 )\16 ..._连接he和灵骑bian的第7÷4的余数个字符和h1 tao的字符数

jquery插件之文字无缝向上滚动-程序员宅基地

文章浏览阅读266次。该插件乃本博客作者所写,目的在于提升作者的js能力,也给一些js菜鸟在使用插件时提供一些便利,老鸟就悠然地飞过吧。此插件旨在实现目前较为流行的无缝向上滚动特效,当鼠标移动到文字上时,向上滚动会停止,当鼠标离开时,向上滚动继续。整体代码如下:<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://..._文字无缝向上滚动插件

EM算法通俗理解-程序员宅基地

文章浏览阅读54次。https://blog.csdn.net/v_JULY_v/article/details/81708386转载于:https://www.cnblogs.com/bingws/p/10607641.html

算法竞赛进阶指南 0x67 Tarjan 算法与有向图连通性_强连通分支的有向无环图-程序员宅基地

文章浏览阅读204次。有向图G=(V,E)中,如果存在一个点r,使得从r出发,那么就可以到达所有的节点,那么称G为一个流图,记作(G,r)_强连通分支的有向无环图

推荐文章

热门文章

相关标签