maven依赖 spark sql,如何使用SparkSql和Hive为Maven创建pom.xml？_比较擅长理性皮的博客-程序员秘密

技术标签： maven依赖 spark sql

I have created a Maven Project for SparkSql and Hive connectivity and written the following example code:

SparkSession spark = SparkSession

.builder()

.appName("Java Spark Hive Example")

.master("local[*]")

.config("hive.metastore.uris", "thrift://localhost:9083")

.enableHiveSupport()

.getOrCreate();

try{

spark.sql("select * from health").show();

} catch(Exception AnalysisException) {

System.out.println("table not found");

}

I am using Spark 2.1.0 and Hive 1.2.1

For running the above code, I import the Jar files from the Spark folder and included it in the project. I haven't used Maven Pom.xml for this particular job. But when I am moving to the bigger clusters like on AWS, I need to run my JAR file.

I am not able to run as the Maven is not able to find the dependencies. So I thought of adding the dependencies. I tried this:

org.apache.spark

spark-core_2.10

2.1.0

org.apache.spark

spark-sql_2.10

1.2.1

org.apache.spark

spark-hive_2.10

1.2.1

But it didn't work and I am not able to see the output what previously I was getting through adding JAR files.

I want to know whether I did anything wrong, if yes then please suggest me what to do? Even as per Spark instructions from the documentation, how I can add the hive-site.xml and hdfs-site.xml with my project in pom.xml? Currently using IntelliJ.

Please let me know what I can do to resolve my issue?

解决方案

I see there is a mis-configuration of depencies.

In your maven dependency your spark-sql & spark-hive are of version 1.2.1 but spark-core is of version 2.1.0

Change all the dependencies to same version number and that should work

org.apache.spark

spark-core_2.10

2.1.0

org.apache.spark

spark-sql_2.10

2.1.0

org.apache.spark

spark-hive_2.10

2.1.0

本文链接：https://blog.csdn.net/weixin_34094525/article/details/118910432

原作者删帖不实内容删帖广告或垃圾文章投诉

智能推荐

java bulk_Elasticsearch Java High Level REST Client（Bulk API）_指南针丶的博客-程序员秘密

Bulk APIJava High Level REST Client提供了Bulk处理器来帮助处理批量请求。Bulk请求BulkRequest可以使用一个请求执行多个索引、更新和/或删除操作。它需要在批量请求中添加至少一个操作：BulkRequest request = new BulkRequest();request.add(new IndexRequest("posts").id("1")...

Fleury (弗罗莱) 算法通俗解释_弗罗特方法流程图_guomutian911的博客-程序员秘密

Fleury (弗罗莱) 算法通俗解释1.定义2.举例说明图2为连通图G，现利用Fleury算法求它的欧拉通路。（注意区分：欧拉通路、欧拉回路）其中一种欧拉通路如下：4 5 8 7 6 8 9 1 5 3 2 4 6，其搜索路径如下图所示：现在让我们来分析算法实现过程：假设我们这样走：4，6，8，5，此时在5处有三种选择（3，4，1

jQuery 动态实现表格添加一行，删除一行且第一行不能删除_bonnieju的博客-程序员秘密

&lt;!DOCTYPE html&gt;&lt;html lang="en"&gt;&lt;head&gt; &lt;meta charset="UTF-8"&gt; &lt;title&gt;table_add.html&lt;/title&gt; &lt;script type="text/javascript"

正则表达式 C++_std::regex_search_生活需要深度的博客-程序员秘密

若要判断一个输入的QQ号是否有效，你会如何处呢？首先你得分析一下其对应规则，依次列出：长度大于5，小于等于11；首位不能为0；是否为纯数字？规则既列，接着就该尝试实现了，那么用什么来表示字符串呢？在C++中，最容易想到的就是string了，其中提供了许多成员函数可以处理字符串，所以有了如下实现：std::string qq;std::cin >> qq;// 1. 判断位数是否合法if (qq.length() >= 5 && qq.leng

java的mqtt生产者和消费者的代码_消费mqtt 代码_itxiaoxd2020的博客-程序员秘密

java的mqtt生产者和消费者的代码

@apinote_新的Javadoc标签@ apiNote，@ implSpec和@implNote_cunhui1209的博客-程序员秘密

@apinote 如果您已经在使用Java 8，则可能会看到一些新的Javadoc标签： @apiNote ， @implSpec和@implNote 。他们怎么了？如果要使用它们，该怎么办？总览该帖子将快速查看标签的来源和当前状态。然后，它将解释它们的含义并详细说明如何将它们与IDE，Javadoc工具一起使用，以及如何通过Maven的Javadoc插件使用。我在GitHub上创...