MaxCompute常见错误汇总(更新ing)_odps-0010000:system internal error-程序员宅基地

技术标签: exception  阿里云  select  c语言  string  x  大数据  

点击查看全文


从今天开始,小编会为大家陆续解读MaxCompute常见问题,帮助大家快速上手MaxCompute,玩转大数据计算平台,同时,也欢迎大家一起补充。


66b3afc7b24aa89810c54e85154b52c2a7c93df8


十大常见错误码


No1.FAILED: ODPS-0130131

报错信息:FAILED: ODPS-0130131:[1,15] Table not found - table test0517.dual cannot be resolved

用户场景:用虚拟表计算,select sum(1+1) from dual

问题分析:表不存在,MaxCompute分布式系统不支持dual虚拟表。

解决方案:可以自建dual表。


No2.FAILED: ODPS-0130071

报错信息:FAILED: ODPS-0130071:Semantic analysis exception - Cannot insert into target table because column 
number/types are different : line 1:23 ''20170903'': Table insclause-0 has 6 columns, but query has 7 columns.

用户场景:向新表导入数据,insert overwrite table demo_target_0722 PARTITION ( dt = '20170903' ) select a,b,c,d,e,f,g from demo_src_0722;

问题分析:向目标表插入数据时,源表和目标表的列数量或类型不匹配。

解决方案:检查源表字段,增加相应字段,或者用create table demo_0722 as


报错信息:FAILED: ODPS-0130071:Semantic analysis exception - Project: a not found.

用户场景:创建表,create table if not exists a.sale_detail(

shop_name string,

customer_id string,

total_price double)

partitioned by (sale_date string,region string);

问题分析:Project不存在。

解决方案:输入正确的Project名称,可以使用大数据开发套件查看所有Project 名称。


No3.FAILED: ODPS-0110061

错误信息:FAILED: ODPS-0110061: Failed to run ddltask - AlreadyExistsException(message:Partition already exists,
 existed values: ["2017-09-05"])

用户场景:并发添加分区,ALTER TABLE demo.d1 ADD PARTITION (pt='2017-09-05')

问题分析:分区2017-09-05已存在,目前MaxCompute对操作的表没有加锁,这个错误是由Meta产生竞争导致,即向同一个分区同时多次操作读写操作容易产生此类错误。

解决方案:在MaxCompute还没有锁机制的情况下,先不要同时对一个表做操作。


错误信息:FAILED: ODPS-0110061: Failed to run ddltask - SimpleLock conflict failure, add partition is already on-going
: demo.d1:pt=20170904

用户场景:并发添加分区,alter table demo.d1 add if not exists partition (pt='20170904')

问题分析:分区20170904已存在,当用户批量添加统一分区时,会出现此错误。MaxCompute仅会执行接收到的第一个添加分区命令,并忽略后续请求。

解决方案:取消批量重复任务执行。


No4.FAILED: ODPS-0010000

错误信息:FAILED: ODPS-0010000:System internal error - fuxi job failed, caused by: WorkerRestart errCode:11,
errMsg WorkerCrashedWithCorefile

用户场景:自定义UDF查询,select trans_array(1,'$','cilent',ctimes)as(cmonitor,ctime) from (select t.id,t.ipfrom dec_abc t)

问题分析:内部错误导致jvm coredump。

解决方案:通常由java udf的实现问题引起,如果排除udf问题,请提交运行日志到工单提问。


错误信息:FAILED: ODPS-0010000:System internal error - translate plan failed

用户场景:查询,select regexp_substr(name,'\x9..\x2A') as word,count(1) as all_sum from poi_data1 group by regexp_substr(name,'\x9..\x2A') having count(1)>50;

问题分析:用户只有在输入常数\x的情况下才触发。

解决方案:修改SQL;


错误信息:FAILED: ODPS-0010000:System internal error - fuxi JobMaster error

错误原因:fuxi JobMaster error是job master重启引起,可能是运行主机或者网络超时响应的原因,也可能是语句中union all太多,job master内存超过阀值被kill掉了。

解决方案:如果是语句中union all太多,则最好把查询语句分成多个部分跑。


错误信息:FAILED: ODPS-0010000:System internal error - codegen failed

用户场景:自定义UDF做查询、sort局部排序、row_number()分组统计;如:select array(array(3,4)) from wc_in_limit20;

select distinct(a.udid) from (select uid,udid from sdk_game_new_device_filter where ds='2017-08-06' and game_id = 186 distribute by uid sort by udid)a


问题分析及解决方案:

1、如果遇到errors.NotImplemented: Function wsfunc has not been implemented yet.

则:注册函数的时候用的包路径一定要是自己实现UDF类的完整包路径。

2、如果用户用到了distribute by sort by,则distribute by sort by的列一定要在select里,这个是已知的问题

distribute by 不要和join一起用,因为distribute by后,再join,distribute by是多余的,因为join 还是会按join key reshuffle的

如果是使用到分词函数的,应该是分词自定义函数名错误,不能自定义分词函数名,且分词函数只能由owner覆盖。

3、如果遇到row_number() over(partition by seller_user_id order by seller_user_id,offer_id,recom_score desc)=1

则:where里不能用window function 。



错误信息:FAILED: ODPS-0010000:System internal error - PANGU_FILE_NOT_FOUND The file does not exist 
When PanguOpen4Read pangu
问题分析:


点击查看全文


版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/DONGYUXIA15810857916/article/details/77933498

智能推荐

重新加载maven包_maven项目重新拉包-程序员宅基地

文章浏览阅读1k次。找到项目路径:D:aws estinexchangeinfo_req20375_2016.06.30release。缺少maven依赖的包,需要重新编译一下把maven包下载到本地。shift+右键 打开命令窗口。_maven项目重新拉包

倍加福超声波传感器UCC1000-30GM-IUR2-V15-程序员宅基地

文章浏览阅读462次。倍加福超声波传感器UCC1000-30GM-IUR2-V15超声波传感器 UCC1000-30GM-IUR2-V15通过带 PTFE 涂层的传感器表面提供较高的耐化学性参数化接口,用于通过服务程序 ULTRA 3000 根据具体应用调整传感器设置模拟电流和电压输出同步选项可调声功率和灵敏度温度补偿产品阐述单头系统通用规格感应范围 80 … 1000 mm调整范围 100 … 1000 mm死区 0 … 80 mm标准目标板 100 mm x 100 mm换能器频率 大约 175_ucc1000-30gm-iur2-v15

Git:fork 源仓库、fork 仓库副本和 local 仓库的同步-程序员宅基地

文章浏览阅读1.2k次。Fork 就是远程端上一份别人仓库的拷贝。流程:fork 源仓库 ---① fork--> fork 仓库副本 ---② clone--> local 仓库当你在远程端(如 Github)上 fork 了别人的一个仓库时,你的远程仓库将新建一份 fork 来的“仓库副本”。如果你想在本地修改这份副本仓库,你需要先 clone 它到本地:$ git clone [email protected]..._源仓库

[Java]Mybatis学习笔记(动力节点老杜)_老杜mybatis笔记-程序员宅基地

文章浏览阅读2.6k次,点赞19次,收藏86次。 Mybatis下载 了解Mybatis ORM思想 Mybatis与ORM MyBatis框架特点 Mybatis入门程序 数据库表的准备 创建Project 创建Module 设置打包⽅式 引⼊依赖 编写mybatis核心配置文件:mybatis-config.xml mybatis中有两个主要的配置文件: 编写XxxxMapper.xml文件 在mybatis-config.xml文件中指定XxxxMapper.x_老杜mybatis笔记

软件测试面试题汇总_软件测试延期上线怎么办面试题-程序员宅基地

文章浏览阅读2.2w次,点赞86次,收藏905次。转载自: https://blog.csdn.net/koudaidai/article/details/7394126 软件测试面试题汇总测试技术面试题..........................................................................................................._软件测试延期上线怎么办面试题

CRC16常见几个标准的算法及C语言实现_crc16的c语言实现-程序员宅基地

文章浏览阅读591次。CRC16常见的标准有以下几种,被用在各个规范中,其算法原理基本一致,就是在数据的输入和输出有所差异,下边把这些标准的差异列出,并给出C语言的算法实现。CRC16_CCITT:多项式x16+x12+x5+1(0x1021),初始值0x0000,低位在前,高位在后,结果与0x0000异或CRC16_CCITT_FALSE:多项式x16+x12+x5+1(0x1021),初始值0xFFFF,低..._crc16的c语言实现

随便推点

杭电acm2015_杭电acm2015解析-程序员宅基地

文章浏览阅读1.5k次。c语言中任何非零值在需要布尔值的地方都被看做true#include int main(void){ int i, n, m, b, c; while (scanf("%d%d", &n, &m) != EOF) { b = 2; c = 0; for (i = 0 ; i < n / m ; i++) _杭电acm2015解析

hadoop安装_选择desktop,这样就会装一个xwindow-程序员宅基地

文章浏览阅读502次。原文链接:http://gitbook.cn/books/5954c9600326c7705af8a92a/index.html个人建议:如果没有一定的linux基础,这篇文章你可能看起来比较困难。那么怎么办呢?赶快去不断学习吧!!!哈哈前言Hadoop在大数据技术体系中的地位至关重要,Hadoop是大数据技术的基础,对Hadoop基础知识的掌握的扎实程度,会决定在大数据技术道路上走多远。这是一篇..._选择desktop,这样就会装一个xwindow

工业现场设备物联网及数据采集解决方案_物联网数据数据采集架构解决方案-程序员宅基地

文章浏览阅读5.6k次,点赞3次,收藏38次。近些年在“工业4.0”,“智能制造”,“工业互联网”的大背景下,工业现场设备层的数据采集逐渐成为一个热门话题,实现工业4.0,需要高度的工业化、自动化基础,是漫长的征程。随着中国工业经济的发展,PLC在自动化设备的日益普及应用,对于设备制造厂商或生产技术管理部门来说,如何以最快捷的方式响应现场设备维护方面的需求,迅速检测生产现场运行设备的状态,及时解决生产现场反映的问题,已是多数上位技术管理者的切实需求。如何采用经济实用的方式来实施设备PLC远程数据采集或测控,这也是探索解决此问题的初衷。数据采集工_物联网数据数据采集架构解决方案

2017百度之星初赛a_1074 3296 1091613 规律-程序员宅基地

文章浏览阅读1.6k次。2017百度之星初赛a题目_1074 3296 1091613 规律

海康威视IPC开启ONVIF_海康摄像头没有onvif协议选项-程序员宅基地

文章浏览阅读1w次。最近要测试onvif相关的东西,刚好手头有台几年前的海康IPC,应该支持onvif,毕竟是标准协议。登陆进去看了一圈,竟然木有看到有协议配置的地方,印象很久之前配过其他摄像头专门有个页面可以启用onvif和28181还有一些私有协议的。网上的一些建议说是在 配置----->网络------>高级配置 里面就有,还有截图,但我手头这个摄像头没有,截图如下:也有同学说是固件版本低,5..._海康摄像头没有onvif协议选项

4 文件管理&&磁盘管理_文件与磁盘管理-程序员宅基地

文章浏览阅读712次。王道考研操作系统(文件与磁盘)笔记_文件与磁盘管理