遇到问题----hadoop组件---spark实战-----spark on k8s---hail--Expected n part files but found 0_张小凡vip的博客-程序员秘密

技术标签: 遇到问题解决方案集锦  spark on k8s  

遇到问题

在jupyter notebook中使用hail进行操作,使用命令如下:

import hail as hl
mt = hl.import_vcf("s3a://test-env/tmp/zzq/20200317072357")
mt.show()

可以成功运行,并展示数据如下:

Initializing Spark and Hail with default parameters...
Running on Apache Spark version 2.4.5
SparkUI available at http://10.1.39.244:4040
Welcome to
     __  __     <>__
    / /_/ /__  __/ /
   / __  / _ `/ / /
  /_/ /_/\_,_/_/_/   version 0.2.33-5d8cae649505
LOGGING: writing to /tmp/hail-20200319-0942-0.2.33-5d8cae649505.log
2020-03-19 09:42:33 Hail: WARN: expected input file 's3a://test-env/tmp/zzq/20200317072357' to end in .vcf[.bgz, .gz]
2020-03-19 09:42:38 Hail: INFO: Coerced sorted dataset
2020-03-19 09:42:39 Hail: INFO: Coerced sorted dataset
locus	alleles	A01.CEL.GT	A02.CEL.GT	A03.CEL.GT	A04.CEL.GT
locus<GRCh37>	array<str>	call	call	call	call
1:564936	["T","C"]	0/0	0/0	0/0	0/0
1:565433	[
版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/q383965374/article/details/105124992

智能推荐

学习VIORB代码记录_是皮皮攀呀,的博客-程序员秘密_viorb

VI-ORB-SLAM2 :由于 VI ORB SLAM2 并没有官方的版本,主要使用王京实现的一个版本(https://github.com/jingpang/LearnVIORB)来做分析。ORBSLAM和LearnVIORB的代码差别:https://blog.csdn.net/qq_24509229/article/details/83038651ORB_SLAM2视...

KBQA 图谱问答论文整理_Necther的博客-程序员秘密

公众号 系统之神与我同在本文来自知乎和微信公众号收集综述1.Core techniques of question answering systems over knowledge bases: a survey. Dennis Diefenbach, Vanessa Lopez, Kamal Singh, Pierre Maret. Knowledge and Information Systems(2017). [PDF]2.A Survey of Question Answering over

Response.AddHeader使用实例_af_fire的博客-程序员秘密

1.文件下载,指定默认名Response.AddHeader(&quot;content-type&quot;,&quot;application/x-msdownload&quot;); // 限制类型Response.AddHeader(&quot;Content-Disposition&quot;,&quot;attachment;filename=文件名.rar&quot;);// 下载后的文件名2.刷新页面Response.AddHeader (“REFRESH...

系统调用跟我学_王维_ICT的博客-程序员秘密

<br />Chapter  One:<br /> <br /> <br />什么是系统调用?<br />Linux内核中设置了一组用于实现各种系统功能的子程序,称为系统调用。用户可以通过系统调用命令在自己的应用程序中调用它们。从某种角度来看,系统调用和普通的函数调用非常相似。区别仅仅在于,系统调用由操作系统核心提供,运行于核心态;而普通的函数调用由函数库或用户自己提供,运行于用户态。二者在使用方式上也有相似之处,在下面将会提到。<br />随Linux核心还提供了一些C语言函数库,这些库对

Vue2中keep-alive与手动缓存列表页参数_千成林80的博客-程序员秘密

本次需求:当前列表页可进行条件搜索,有一些操作例如:查看详情,编辑等需要跳转路由。现在是想要在返回列表页时保留之前的搜索项等需要解决的问题:1.详情页面,或者编辑页但是不进行编辑直接返回2.编辑操作成功之后进行返回。解决思路:第一种场景:没有对数据进行任何操作,可以看做是只进行了查看,这类问题可以用keep alive解决第二种场景:对数据进行了操作,所以返回列表页的时候必须保证列表页数据时最新的状态。比如当前数据是暂存状态,是可以对数据进行修改的,也就是列表页有个修改按钮,这个按钮是只有暂存

MapReduce之Shuffle机制-自定义排序-06_kxj19980524的博客-程序员秘密

MapReduce序列化即案例演示-02https://blog.csdn.net/kxj19980524/article/details/89282996在案例2的基础上进行操作案例2中最终的结果是这样的,现在需要按照总流量进行排序改怎么办呢?现在就需要以这个文件为输入,再执行一个mapreduce程序,但是排序只能对key进行排序,所以mapper的输出key就得是实体类,...

随便推点

酒店智能门锁方案功能及其特点介绍_西城微科方案开发的博客-程序员秘密

世界上自有门锁以来,门锁的变革经历了:机械锁—光孔锁—磁片锁—电子锁—智能感应卡锁,门锁不断地更新换代。进入九十年代后,智能卡锁以其无余伦比的优势创建了门锁新概念。计算机、电子机械和智能卡的诞生,门锁形成了完美的梦幻组合。电子门锁集计算机、电子机械、磁电技术为一体,以智能来控制门锁的开启,即给管理者带来安全、迅捷、自动化的管理模式,也给使用者提供了极大方便。科技以人为本,智能电子门锁的产生,源于人...

Linux 通过程序名获取进程ID并Kill_大橙子真帅的博客-程序员秘密

#!/bin/bashpids=$(ps -ef | grep XXX| awk '{print $2}')for pid in $pidsdo echo $pid kill -9  $piddone 

request.setCharacterEncoding相关问题_Chenjiujiuer的博客-程序员秘密_request.setcharacterencoding

在过滤器链中的学习中,我发现显示出来的网页出现乱码如图所示:本该显示中文的地方却显示的是“ ?”为了解决这个问题,我查阅了资料发现是因为没有使用request.setCharacterEncoding来用指定的编码集去覆盖request对象中的默认的编码集,导致出现乱码。于是我找到了需要显示中文的位置AllFilter,然后添加了如下代码request.setCharacterEncoding("UTF-8");运行后发现网页显示依旧是乱码。原因是,这个方法必须在第一次使用

display:flex用法_菜鸟中的菜菜鸟的博客-程序员秘密_display:flex

flex属性:display:flex flex-direction: row | row-reverse | column | column-reverse; flex-wrap: nowrap | wrap | wrap-reverse; justify-content: flex-start | flex-end | center | space-betw...

setCharacterEncoding、setContentType、pageEncoding等编码设置的总结_池塘鱼的博客-程序员秘密_setcharacterencoding

对请求的编码设置:request.setCharacterEncoding():设置对客户端请求进行重新编码的编码。也就是用来确保发往服务器的参数按指定编码来提取,设置从request中取得的值。指定后可以通过request.getParameter()获取自己想要的字符串,如果没有提前指定,则会按照服务器端默认的“iso-8859-1”来进行编码;该方法只对post请求有效,对get请求无效;对于get请求,应该在server.xml中指定:URIEncoding=utf-8;注意:request.

Android 线性布局、帧布局_KidShmily的博客-程序员秘密

什么是布局就是把界面中的控件按照某种规律摆放到指定的位置布局的二种实现代码xml配置文件:res/layout目录下注:也可以同时使用xml和代码布局的基本属性取值范围{ //效果是一样的fill_parent//过时match_parent//不过时}固定值{dp 控件大小sp 文字大小}padding 内补丁margin 外补丁android:...

推荐文章

热门文章

相关标签