数据湖 Hudi 原理与相关面试题_hudi面试题_老蒙大数据的博客-程序员宅基地

数据湖是近几年来比较热门的一个话题，把这块的内容也加入这个专栏的目的想传达的一个信息，程序员需要对新技术框架有敏锐感知能力，也需要保持一颗好奇心，因为技术肯定是会一直迭代发展的，这一点毫无疑问，所以我们也需要不停地迭代自己的知识，跟上时代的步伐。另外，如果你的简历上有一个新技术的实践经验，这也可以是你的一个加分项。本篇是基于数据湖的具体实现之一 Apache Hudi 来讲解相关内容。

本篇面试内容划重点：表类型（COW、MOR）、查询类型（视图）。

Apache Hudi 依赖于 HDFS 做底层的存储，所以可存储的数据规模是巨大的，同时基于以下两个原语，Hudi 可以将流批一体的存储问题。

Update/Delete 记录：Hudi 支持更新/删除记录，使用文件/记录级别索引，同时对写操作提供事务保证。查询可获取最新提交的快照来产生结果。
Change Streams：支持增量获取表中所有更新/插入/删除的记录，从指定时间点开始进行增量查询，可以实现类似 Kafka 的增量消费机制。

Hudi 的重要概念

Timeline 时间线

Hudi 内部对每个表都维护了一个 Timeline，这个 Timeline 是由一组作用在某个表上的 Instant（时刻）对象组成。Instant 表示在某个时间点对表进行操作的，从而达到某一个状态的表示，所以 Instant 包含 Instant Action，Instant Time 和 Instant State 这三个内容，它们的含义如下所示：

Instant Acti

本文链接：https://blog.csdn.net/qq_39712666/article/details/108728222

原作者删帖不实内容删帖广告或垃圾文章投诉

智能推荐

U盘安装ubuntu_ubuntu6.06iso-程序员宅基地

自己有个HP的老伙计，跟随我8年之久，也派不上大用场，准备给它换个Linux系统，手头有一个ubuntu12.04 ISO，有个U盘，里面有装好的老毛桃PE启动盘，就用它搞定安装Ubuntu.1.在有老毛桃PE的U盘上建立一个文件夹ubuntu；2.在ubuntu-12.04-desktop-i386.iso中提取两个文件initrd和vmlinuz；3.利用grub工具生成引导_ubuntu6.06iso

java.io.FileNotFoundException: E:\logs\SpringMvc2.log (系统找不到指定的路径。)-程序员宅基地

java.io.FileNotFoundException: E:\logs\SpringMvc2.log (系统找不到指定的路径。)今天一来自习，把本地的项目删掉，，然后就开始继续写新的代码。写完代码准备从eclipse运行tomcat进行调试，结果tomcat启动时报错了，项目没有成功启动。错误是：java.io.FileNotFoundException: logs\config.log...

Java_B_Province日志统计-程序员宅基地

日志统计题目描述思路代码实现题目描述标题：日志统计小明维护着一个程序员论坛。现在他收集了一份"点赞"日志，日志共有N行。其中每一行的格式是：ts id表示在ts时刻编号id的帖子收到一个"赞"。现在小明想统计有哪些帖子曾经是"热帖"。如果一个帖子曾在任意一个长度为D的时间段内收到不少于K个赞，小明就认为这个帖子曾是"热帖"。具体来说，如果存在某个时刻T满足该帖在[T, T+D)这段时间内(注意是左闭右开区间)收到不少于K个赞，该帖就曾是"热帖"。给定日志，请你帮助小明统计出所有曾是"热帖"的

机器狗病毒的工作原理和判断-程序员宅基地

http://article.pchome.net/content-581031.html 机器狗病毒名字由来和工作原理机器狗病毒名字的由来2008年春节前后，一个长相若电子宠物狗的程序潜入互联网闯荡江湖。这个东东可不是什么桌面电子宠物，有人发现了这个宠物，并运行了它。不久，更多的“机器狗”入侵了网民的电脑。在1-2月内，这只“机器狗”成为互联网的明星。网民在倍受“狂犬病

caffe训练过程中显示Check failed：error == cudaSuccess(2 vs. 0) out of memory-程序员宅基地

caffe训练过程中显示Check failed：error == cudaSuccess(2 vs. 0) out of memory

随便推点

求最大公约数（循环）_c++【循环结构】最大公约数-程序员宅基地

用穷举法和迭代法求两个整数的最大公约数穷举：一个数一个数试，直到两数同时除尽。#include<stdio.h>int main(){ int x, y,i,n; scanf_s("%d%d", &x, &y); if (y > x) { n = x; x = y; y = n; } for (i = y; i >=..._c++【循环结构】最大公约数

Windows 7编译Cef 3626版本_make_distrib.bat 仅 release-程序员宅基地

一、环境搭建 1、版本要求 Win 7+, VS2017 15.7.1+, Win 10.0.17134.0 or 10.0.17763 SDK, Ninja 2、安装VS2017 默认安装在C盘，参考下面的操作进行https://jingyan.baidu.com/article/a948d651..._make_distrib.bat 仅 release

【论文阅读】统一模态 UNIMO 模型_unimo模型_chestnut--的博客-程序员宅基地

统一模态前言：多模态成对的数据是非常有限的！现有的模型预训练方法要么专注于单模态任务，要么专注于多模态任务，不能有效地相互适应。（多模态任务模型应用于单模态任务上，效果会大大下降，，多模态模型如何应用到单模态的任务上呢？多模态训练的模型不是必须要有两种不同的输入才行，只属于一种不行吧？。。）它们只能使用单模态数据（即文本或图像）或有限的多模态数据（即图像-文本对）。提出了一种 UNIfied-Modal 预训练架构，即 UNIMO，它可以有效地适应单模态和多模态的理解和生成任务。利用大规模的._unimo模型

bmp180气压传感器工作原理_40张动图看懂各种传感器工作原理-程序员宅基地

传感器(英文名称：transducer/sensor)是一种检测装置，能感受到被测量的信息，并能将感受到的信息，按一定规律变换成为电信号或其他所需形式的信息输出，以满足信息的传输、处理、存储、显示、记录和控制等要求。传感器的特点包括：微型化、数字化、智能化、多功能化、系统化、网络化。它是实现自动检测和自动控制的首要环节。传感器的存在和发展，让物体有了触觉、味觉和嗅觉等感官，让物体慢慢变得活了起来。..._bmp180

MyBatisPlus_"mybatis plus@log(title = \"帮扶表\", businesstype = -程序员宅基地

一、简介官网：http://mp.baomidou.com/参考教程：http://mp.baomidou.com/guide/MyBatis-Plus（简称 MP）是一个 MyBatis 的增强工具，在 MyBatis 的基础上只做增强不做改变，为简化开发、提高效率而生。二、特性无侵入：只做增强不做改变，引入它不会对现有工程产生影响，如丝般顺滑损耗小：启动即会自动注入基本 CURD..._"mybatis plus@log(title = \"帮扶表\", businesstype = businesstype.export)"

如何分辨领域服务与应用服务？_领域层和应用层区别-程序员宅基地

判断什么时候应该定义领域服务，什么时候应该定义应用服务，一个根本的判断依据是看需要封装的职责是否与领域相关。01横切关注点在应用服务中，我们往往需要和如下逻辑进行协作：消息验证错误处理监控事务认证与授权在《领域驱动设计模式、原理与实践》一书中，将以上内容视为基础架构问题。这些关注点与具体的业务逻辑无关，且在整个系统中，可能会被诸多服务调用（以便于重用），因此可以认为这些关注点为..._领域层和应用层区别