”Hive“ 的搜索结果

     1.Hive概述 Hive是一个构建在Hadoop上的数据仓库框架。最初,Hive是由Facebook开发,后来移交由Apache软件基金会开发,并作为一个Apache开源项目。Hive具有以下特点: Hive是基于Hadoop的一个数据仓库工具,可以将...

     1.Hive基本概念 1.1Hive简介 1.1.1什么是Hive Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供类SQL查询功能。 1.1.2为什么使用Hive 1.)直接使用hadoop所面临的问题 ...

Hive

标签:   Hive

     Hive基本概念 ​ 是一个基于hadoop的数据仓库工具,可以将结构化数据映射成一张数据表,并提供类SQL的查询功能。 Hive的意义是什么 ​ 背景:hadoop是个好东西,但是学习难度大,成本高,坡度陡。 ​ 意义(目的)...

Hive和Spark

标签:   hive

     1. Hive简介 hive的定位是数据仓库,其提供了通过 sql 读写和管理分布式存储中的大规模的数据,即 hive即负责数据的存储和管理(其实依赖的是底层的hdfs文件系统或s3等对象存储系统),也负责通过 sql来处理和分析...

Hive数据类型

标签:   Hive

     Hive数据类型支持的类型原始数据类型注意DATE类型整数类型小数、Boolean、二进制文本类型时间类型类型转换隐式转换显示转换(CAST函数)复杂数据类型详解ARRAY和MAPSTRUCTUNION实例 支持的类型 hive支持两种数据...

jdbc连接Hive

标签:   hive

     jdbc连接Hive 1.使用sqoop将stu表导入到hive中 ​ 数据库表位于hadoop102上的test数据库 ​ bin/sqoop import \ --connect jdbc:mysql://hadoop102:3306/test \ --username root \ --password 000000 \ --table stu ...

Hive 体系架构

标签:   hive

     Hive 为C/S模式,其体系架构如下: Hive Hive 使用的数据在 HDFS 中,Hive 的 HQL 将转为 MR、Tez 或 Spark 后,在 Hadoop 集群上运行。 Hive 的三种运行模式:内嵌模式、本地模式、远程模式。 内嵌模式(Local/...

     MetaSore 是 Hive 元数据存储的地方。Hive 数据库、表、函数等的定义都存储在 MetaStore 中。根据系统配置方式,统计信息和授权记录也可以存储在这。Hive 或者其他执行引擎在运行时可以使用这些数据来确定如何解析,...

hive架构详解

标签:   hive

     hive是facebook开源,并捐献给了apache组织,作为apache组织的顶级项目(hive.apache.org)。 hive是一个基于大数据技术的数据仓库(DataWareHouse)技术,主要是通过将用户书写的SQL语句翻译成MapReduce代码,然后发布...

Hive命令行

标签:   Hive

     很多人会认为Hive命令行只是一个执行HQL语句的控制台,其实它没你想的那么简单,还有很多实用的用法,这里就简单介绍一下。 查看Hive的帮助文档 [[email protected] ~]$ hive -H usage: hive -d,--define <key=value&gt...

     hive是基于Hadoop构建的一套数据仓库分析系统,它提供了丰富的SQL查询方式来分析存储在Hadoop分布式文件系统中的数据:可以将结构化的数据文件映射为一张数据库表,并提供完整的SQL查询功能;可以将SQL语句转换为...

Hive调优

标签:   hive

     hive优化(数据倾斜) 问题描述: 1.倾斜: 小文件 join 大文件 内容倾斜 2.JOBS多 join union sub_query 3.count(distinct) 4.Task过多 解决方案:整体考虑 1.建模 分层=>轻量聚合 分区=>避免交换 ...

Hive删库

标签:   hive

      Error while processing statement: FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. InvalidOperationException(message:Database tpch_textfile is not empty. One or ...

Hive安装配置

标签:   hive

     前提条件: 1、 安装好hadoop2.7.3伪分布式环境(Linux环境); 2、安装好MySQL5.7(推荐使用) (Windows环境) ,允许mysql远程连接 3、并新建一个名为hive的...hadoop2.x需要下载hive-2.x.x,下载版本:apache-h

     Hive 远程连接配置 1、配置 hive-site.xml 中的内容 打开 hive-site.xml 搜索 hive.server2.thrift.bind.host 如果存在则修改 value 值为 本机 域名或 ip <property> <name>hive.server2.thrift.bind....

Hive动态分区

标签:   hive

     Hive动态分区一)hive中支持两种类型的分区:二)实战演示如何在hive中使用动态分区 一)hive中支持两种类型的分区: 静态分区SP(static partition) 动态分区DP(dynamic partition) 静态分区与动态分区的主要...

hive搭建

标签:   hive  hadoop  mysql

     step: 1.准备好hadoop环境 2.准备MySQL环境 (因为hive的元数据数据库是...4.安装hive并配置hive的安装环境 (解决架包冲突mv $HIVE_HOME/lib/log4j-slf4j-impl-2.10.0.jar $HIVE_HOME/lib/log4j-slf4j-impl-2.10..

     安装hive所需要的虚拟机环境为虚拟机安装有Hadoop并且集群成功,同时Hadoop需要在启动状态下,同时需要安装有mysql。不需要有zookeeper和HA,由于HA中含有大量进程,启动会占用很多资源,建议不要有HA 二、安装步骤...

Hive特点

标签:   hive特点

     Hive特点 1.针对海量数据的高性能查询和分析系统 由于 Hive 的查询是通过 MapReduce 框架实现的,而 MapReduce 本身就是为实现针对海量数据的高性能处理而设计的。所以 Hive 天然就能高效的处理海量数据。 与此同时...

Hive Catalog

标签:   hive  big data  hadoop

     什么是Hive Catalog 我们知道,Hive使用Hive Metastore(HMS)存储元数据信息,使用关系型数据库来持久化存储这些信息。所以,Flink集成Hive需要打通Hive的metastore,去管理Flink的元数据,这就是Hive Catalog的功能...

hive动态分区

标签:   hive

     因为hive是批处理系统,所以hive提供了一个动态分区功能,其可以基于查询参数的位置去推断分区的名称,从而建立分区。 静态分区与动态分区的主要区别在于静态分区是手动指定,而动态分区是通过数据来进行判断。详细...

Hive安装

标签:   hive  hive安装

     1、 Hive安装地址 2、 MySql安装 2.1 安装包准备 2.2 安装MySql 2.3 配置MySql 3、Hive安装部署 4 、Hive元数据配置到MySql 4.1 拷贝驱动 4.2 配置Metastore到MySql 5、 启动Hive 5.1 初始化元数据库 5.2...

Hive修改列名

标签:   hive

     -- 修改列名 表名 旧列名 新列名 新类型 ALTER TABLE my_table CHANGE name myname double; -- 修改后历史数据为null 需要如下解决 ALTER TABLE my_table SET TBLPROPERTIES ('parquet.column.index.access' = '...

JAVA如何连接Hive

标签:   hive

     pom.xml <!-- https://mvnrepository.com/artifact/org.apache.hadoop/hadoop-common --> <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>.../version&.

10  
9  
8  
7  
6  
5  
4  
3  
2  
1