”Hive“ 的搜索结果

     1.Hive概述 Hive是一个构建在Hadoop上的数据仓库框架。最初，Hive是由Facebook开发，后来移交由Apache软件基金会开发，并作为一个Apache开源项目。Hive具有以下特点： Hive是基于Hadoop的一个数据仓库工具，可以将...

     1.Hive基本概念 1.1Hive简介 1.1.1什么是Hive Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供类SQL查询功能。 1.1.2为什么使用Hive 1.）直接使用hadoop所面临的问题 ...

Hive

标签：   Hive

     Hive基本概念 ​ 是一个基于hadoop的数据仓库工具，可以将结构化数据映射成一张数据表，并提供类SQL的查询功能。 Hive的意义是什么 ​ 背景：hadoop是个好东西，但是学习难度大，成本高，坡度陡。 ​ 意义（目的）...

Hive和Spark

标签：   hive

     1. Hive简介 hive的定位是数据仓库，其提供了通过 sql 读写和管理分布式存储中的大规模的数据，即 hive即负责数据的存储和管理（其实依赖的是底层的hdfs文件系统或s3等对象存储系统），也负责通过 sql来处理和分析...

Hive数据类型

标签：   Hive

     Hive数据类型支持的类型原始数据类型注意DATE类型整数类型小数、Boolean、二进制文本类型时间类型类型转换隐式转换显示转换（CAST函数）复杂数据类型详解ARRAY和MAPSTRUCTUNION实例 支持的类型 hive支持两种数据...

jdbc连接Hive

标签：   hive

     jdbc连接Hive 1.使用sqoop将stu表导入到hive中 ​ 数据库表位于hadoop102上的test数据库 ​ bin/sqoop import \ --connect jdbc:mysql://hadoop102:3306/test \ --username root \ --password 000000 \ --table stu ...

Hive 体系架构

标签：   hive

     Hive 为C/S模式，其体系架构如下： Hive Hive 使用的数据在 HDFS 中，Hive 的 HQL 将转为 MR、Tez 或 Spark 后，在 Hadoop 集群上运行。 Hive 的三种运行模式：内嵌模式、本地模式、远程模式。 内嵌模式（Local/...

     MetaSore 是 Hive 元数据存储的地方。Hive 数据库、表、函数等的定义都存储在 MetaStore 中。根据系统配置方式，统计信息和授权记录也可以存储在这。Hive 或者其他执行引擎在运行时可以使用这些数据来确定如何解析，...

hive架构详解

标签：   hive

     hive是facebook开源，并捐献给了apache组织，作为apache组织的顶级项目(hive.apache.org)。 hive是一个基于大数据技术的数据仓库(DataWareHouse)技术，主要是通过将用户书写的SQL语句翻译成MapReduce代码，然后发布...

Hive命令行

标签：   Hive

     很多人会认为Hive命令行只是一个执行HQL语句的控制台，其实它没你想的那么简单，还有很多实用的用法，这里就简单介绍一下。 查看Hive的帮助文档 [[email protected] ~]$ hive -H usage: hive -d,--define <key=value&gt...

     hive是基于Hadoop构建的一套数据仓库分析系统，它提供了丰富的SQL查询方式来分析存储在Hadoop分布式文件系统中的数据：可以将结构化的数据文件映射为一张数据库表，并提供完整的SQL查询功能；可以将SQL语句转换为...

Hive调优

标签：   hive

     hive优化(数据倾斜) 问题描述： 1.倾斜： 小文件 join 大文件 内容倾斜 2.JOBS多 join union sub_query 3.count(distinct) 4.Task过多 解决方案：整体考虑 1.建模 分层=>轻量聚合 分区=>避免交换 ...

Hive删库

标签：   hive

      Error while processing statement: FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. InvalidOperationException(message:Database tpch_textfile is not empty. One or ...

Hive安装配置

标签：   hive

     前提条件： 1、 安装好hadoop2.7.3伪分布式环境（Linux环境）； 2、安装好MySQL5.7（推荐使用） （Windows环境） ，允许mysql远程连接 3、并新建一个名为hive的...hadoop2.x需要下载hive-2.x.x，下载版本：apache-h

     Hive 远程连接配置 1、配置 hive-site.xml 中的内容 打开 hive-site.xml 搜索 hive.server2.thrift.bind.host 如果存在则修改 value 值为 本机 域名或 ip <property> <name>hive.server2.thrift.bind....

Hive动态分区

标签：   hive

     Hive动态分区一）hive中支持两种类型的分区：二）实战演示如何在hive中使用动态分区 一）hive中支持两种类型的分区： 静态分区SP（static partition） 动态分区DP（dynamic partition） 静态分区与动态分区的主要...

hive搭建

标签：   hive  hadoop  mysql

     step: 1.准备好hadoop环境 2.准备MySQL环境 （因为hive的元数据数据库是...4.安装hive并配置hive的安装环境 （解决架包冲突mv $HIVE_HOME/lib/log4j-slf4j-impl-2.10.0.jar $HIVE_HOME/lib/log4j-slf4j-impl-2.10..

     安装hive所需要的虚拟机环境为虚拟机安装有Hadoop并且集群成功，同时Hadoop需要在启动状态下，同时需要安装有mysql。不需要有zookeeper和HA，由于HA中含有大量进程，启动会占用很多资源，建议不要有HA 二、安装步骤...

Hive特点

标签：   hive特点

     Hive特点 1.针对海量数据的高性能查询和分析系统 由于 Hive 的查询是通过 MapReduce 框架实现的，而 MapReduce 本身就是为实现针对海量数据的高性能处理而设计的。所以 Hive 天然就能高效的处理海量数据。 与此同时...

Hive Catalog

标签：   hive  big data  hadoop

     什么是Hive Catalog 我们知道，Hive使用Hive Metastore(HMS)存储元数据信息，使用关系型数据库来持久化存储这些信息。所以，Flink集成Hive需要打通Hive的metastore，去管理Flink的元数据，这就是Hive Catalog的功能...

hive动态分区

标签：   hive

     因为hive是批处理系统，所以hive提供了一个动态分区功能，其可以基于查询参数的位置去推断分区的名称，从而建立分区。 静态分区与动态分区的主要区别在于静态分区是手动指定，而动态分区是通过数据来进行判断。详细...

Hive安装

标签：   hive  hive安装

     1、 Hive安装地址 2、 MySql安装 2.1 安装包准备 2.2 安装MySql 2.3 配置MySql 3、Hive安装部署 4 、Hive元数据配置到MySql 4.1 拷贝驱动 4.2 配置Metastore到MySql 5、 启动Hive 5.1 初始化元数据库 5.2...

Hive修改列名

标签：   hive

     -- 修改列名 表名 旧列名 新列名 新类型 ALTER TABLE my_table CHANGE name myname double; -- 修改后历史数据为null 需要如下解决 ALTER TABLE my_table SET TBLPROPERTIES ('parquet.column.index.access' = '...

JAVA如何连接Hive

标签：   hive

     pom.xml <!-- https://mvnrepository.com/artifact/org.apache.hadoop/hadoop-common --> <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>.../version&.

10  
9  
8  
7  
6  
5  
4  
3  
2  
1  

推荐文章