16. scala spark sql 将yyyymmdd的字符串转为yyyy-mm-dd日期类型:_spark sql yyyymmdd转换成yyyy-mm-dd格式_元元的李树的博客-程序员秘密

技术标签: Spark  

16.

scala spark sql 将yyyymmdd的字符串转为yyyy-mm-dd日期类型:

伪代码

#openingHours 19970413000000

select(date_format(unix_timestamp(substring($"openingHours",1,8), "yyyyMMdd").cast("timestamp"), "yyyy-MM-dd").alias("approveDate")
)

spark.sql("""
          SELECT DATE_FORMAT(
                   CAST(UNIX_TIMESTAMP('20161025', 'yyyyMMdd') AS TIMESTAMP), 'yyyy-MM-dd')
          """)

#如果传的日期是整型,需要使用cast转换成string
# date 20161025 
spark.sql("""
          SELECT DATE_FORMAT(
                   CAST(UNIX_TIMESTAMP(cast(date as string), 'yyyyMMdd') AS TIMESTAMP), 'yyyy-MM-dd')
          """)

此贴来自汇总贴的子问题,只是为了方便查询。

总贴请看置顶帖:

pyspark及Spark报错问题汇总及某些函数用法。

https://blog.csdn.net/qq0719/article/details/86003435

 

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/qq0719/article/details/102912002

智能推荐

VeeValidate 中文文档-Concepts_beyond__devil的博客-程序员秘密

本篇总结 Concepts Concepts VeeValidate 是 Vue.js 的一个复杂的验证库,它涵盖了很多方面的知识以及用例,因此需要注意一些警告和注意事项。从以下几个方向展开叙述: 验证 Vue 组件 自定义注入属性 与后端验证集成 打包尺寸控制Validating Custom Components VeeValidate 允许我们像 HTML5 i...

FFmpeg - 新老接口对比问题_一缕阳光把梦想照亮的博客-程序员秘密

为了解决大家的头痛的问题,特列一个贴子,把ffmpeg相关的一些常见的、版本的问题列举出来,供大家参考,同时也请大家一起补充。1) 不认识guess_format. 解决: #define guess_format av_guess_format 接口不变。2) 不认识av_alloc_format_context 解决: #define av_alloc_format

根据点数据,绘制具有方向的线_qqxu10的博客-程序员秘密

根据点数据,绘制具有方向的线判断有没有被选中,如果以前有选中,就展示出来,没有就clear,这样就不会导致,箭头和线 不能同时消除和添加

Unity Rigidbody Collider笔记_Joy_new的博客-程序员秘密

Unity—Rigidbody-Collider笔记翻译转载自官方文档圣典等处:Kinematic:当刚体标记为运动学模式,他不会受到碰撞,力及任何物理影响,它表示你必须直接通过(Transform.position/.rotation)变换的方式来操纵该物体。运动学模式的刚体会与其他物体进行物理交互,但自身不受物理系统的影响。例如,通过关节约束那些和运动学刚体连接起来的刚体,那些与之发生碰撞的刚体则会受到运动学刚体影响,受到物理系统控制影响。Colliders:碰撞器Collide

Android滑出菜单和悬浮按钮的实现_android 悬浮菜单_fjnu_se的博客-程序员秘密

文章目录背景滑动菜单悬浮按钮背景  现在的大部分安卓应用都有用到悬浮按钮和滑出菜单,比如我们手机上的记事本用到了悬浮按钮,qq,网易云音乐等用到了滑出菜单,而且这两个功能用上的话也会让你的app给人的感觉好一点。效果图如下:滑动菜单  普通的菜单都是放在toolbar上,但是那样会让我们的 app看起来很难看,而所谓的滑动菜单,就是将一些菜单选项隐藏起来,而不是放置在主屏幕上,然后用户就...

MaxScript Normals Toolbag 法线工具包(由于是练手,功能是随写随想的)_mxs混淆工具_佛经forever的博客-程序员秘密

视频演示    https://www.bilibili.com/video/av41035802/(由于是练手,功能是随写随想的,码特别乱,就不分享了,免得恼火)(顺便吐一下,max的脚本工具虽然有mxs dotnet  python都可以写功能做UI,但是做一个人性化的UI会导致码特别冗长,py挺好,但是max支持的是py2.7,而且max2016和max2017还有功能变动。。最后索...

随便推点

iOS中方法和函数的区别_ios 方法和函数的区别_皆为序幕的博客-程序员秘密

成员变量@interface Person:NSObject{ int age;} @end写在类声明的大括号中的变量,我们称之为成员变量(属性、实例变量)成员变量只能通过对象访问注意: 成员变量不能离开类,离开类之后就不是成员变量成员变量不能在定义的同时进行初始化存储:堆(当前对象对应的堆的存储空间中)。存储在堆中的数据,不会被系统释放,只能程序员自己释放局部变量-(v

全国软考中级软件设计师 学习笔记-数据库部分_麦片加奶不加糖的博客-程序员秘密

想要电子版本的同学可以留言或者私信我获取,辛苦整理资料,欢迎点赞、收藏和评论!数据库系统1.数据库三级模式-二级映射1.1用户级-->外模式(反映了数据库系统的用户观)外模式又称子模式或用户模式,对应于用户级。它是某个或某几个用户所看到的数据库的数据视图,是与某一应用有关的数据的逻辑表示。外模式是从模式导出的一个子集,包含模式中允许特定用户使用的那部分数据。1.2概念级-->概念模式(反映了数据库系统的整体观)概念模式又称模式或逻辑模式,对应...

在matlab中实现PCA算法_matlab中的princa啥意思_haoji007的博客-程序员秘密

function [V,S,E]=princa(X)[m,n]=size(X); %计算矩阵的行m和列n %-------------第一步:标准化矩阵-----------------%mv=mean(X); %计算各变量的均值st=std(X); %计算各变量的标准差X=(X-repmat(mv,m,1))./repmat(st,m,1); %标准化矩阵X %-

DECA(Detailed Expression Capture and Animation)入门之3D人脸重建Demo_deca人脸重建_Yang.O的博客-程序员秘密

DECA(Detailed Expression Capture and Animation)是单张图实现3D人脸重建。

redis单个db迁移_redis 将db0单独移动一个另一个服务的库_Richard-Han的博客-程序员秘密

#!/bin/bashredis-cli -h 127.0.0.1 -p 6379 -a   password -n 0  keys "*" | while read keydo      redis-cli -h 127.0.0.1 -p 6379 -a  password -n 0 --raw dump $key| perl -pe 'chomp if eof'|redis-cli  -h 1...

NYOJ102 次方求模_ukiy的博客-程序员秘密

链接http://acm.nyist.net/JudgeOnline/problem.php?pid=102#include<bits/stdc++.h>#define ll long longusing namespace std;ll qpow(ll a,ll k,ll m){ ll r=1; for(;k;k>>=1){ if(k&1){

推荐文章

热门文章

相关标签