技术标签: gis # geotrellis geotrellis 大数据
版本描述:geotrellis 2.3.3、scala:2.11.12、java 1.8 、hadoop3.0.0
目标:使用geotrellis中的pipeline模块进行栅格数据切片
创建一个普通的maven java项目即可
<properties>
<geotrellis.version>2.3.3</geotrellis.version>
<scala.version>2.11</scala.version>
<spark.version>2.4.0</spark.version>
</properties>
<dependencies>
<!-- https://mvnrepository.com/artifact/org.locationtech.geotrellis/geotrellis-raster -->
<dependency>
<groupId>org.locationtech.geotrellis</groupId>
<artifactId>geotrellis-raster_${
scala.version}</artifactId>
<version>${
geotrellis.version}</version>
</dependency>
<!-- https://mvnrepository.com/artifact/org.locationtech.geotrellis/geotrellis-spark -->
<dependency>
<groupId>org.locationtech.geotrellis</groupId>
<artifactId>geotrellis-spark_${
scala.version}</artifactId>
<version>${
geotrellis.version}</version>
</dependency>
<!-- https://mvnrepository.com/artifact/org.locationtech.geotrellis/geotrellis-proj4 -->
<dependency>
<groupId>org.locationtech.geotrellis</groupId>
<artifactId>geotrellis-proj4_${
scala.version}</artifactId>
<version>${
geotrellis.version}</version>
</dependency>
<!-- https://mvnrepository.com/artifact/org.locationtech.geotrellis/geotrellis-spark-pipeline -->
<dependency>
<groupId>org.locationtech.geotrellis</groupId>
<artifactId>geotrellis-spark-pipeline_${
scala.version}</artifactId>
<version>${
geotrellis.version}</version>
</dependency>
<dependency>
<groupId>org.apache.spark</groupId>
<artifactId>spark-core_${
scala.version}</artifactId>
<version>${
spark.version}</version>
</dependency>
</dependencies>
<build>
<plugins>
<plugin>
<groupId>org.apache.maven.plugins</groupId>
<artifactId>maven-shade-plugin</artifactId>
<executions>
<execution>
<phase>package</phase>
<goals>
<goal>shade</goal>
</goals>
<configuration>
<filters>
<filter>
<artifact>*:*</artifact>
<excludes>
<exclude>META-INF/*.SF</exclude>
<exclude>META-INF/*.DSA</exclude>
<exclude>META-INF/*.RSA</exclude>
</excludes>
</filter>
</filters>
<transformers>
<transformer
implementation="org.apache.maven.plugins.shade.resource.ManifestResourceTransformer">
<mainClass>core.OffLineRecommendHandle</mainClass>
</transformer>
<transformer
implementation="org.apache.maven.plugins.shade.resource.AppendingTransformer">
<resource>reference.conf</resource>
</transformer>
</transformers>
</configuration>
</execution>
</executions>
</plugin>
<plugin>
<groupId>org.scala-tools</groupId>
<artifactId>maven-scala-plugin</artifactId>
<version>2.15.2</version>
<executions>
<execution>
<goals>
<goal>compile</goal>
<goal>testCompile</goal>
</goals>
</execution>
</executions>
</plugin>
</plugins>
</build>
以上还增加了两个plugin,第一个是(maven-shade-plugin)是为了打包使用到,第二个是(maven-scala-plugin)java项目中编译scala支持插件。
我这里因为是要批量操作所以将输入输出作为参数传进来,pipeline是根据json的描述一步一步进行执行的,上一步的结果给下一步使用。
def insertTileToHdfs(implicit sc: SparkContext,input:String,output:String,layerName:String) = {
val maskJson: String =
"""
|[
| {
| "uri" : "{input}",
| "type" : "singleband.spatial.read.hadoop"
| },
| {
| "resample_method" : "nearest-neighbor",
| "type" : "singleband.spatial.transform.tile-to-layout"
| },
| {
| "crs" : "EPSG:3857",
| "scheme" : {
| "crs" : "epsg:3857",
| "tileSize" : 256,
| "resolutionThreshold" : 0.1
| },
| "resample_method" : "nearest-neighbor",
| "type" : "singleband.spatial.transform.buffered-reproject"
| },
| {
| "end_zoom" : 0,
| "resample_method" : "nearest-neighbor",
| "type" : "singleband.spatial.transform.pyramid"
| },
| {
| "name" : "{layerName}",
| "uri" : "{output}",
| "key_index_method" : {
| "type" : "zorder"
| },
| "scheme" : {
| "crs" : "epsg:3857",
| "tileSize" : 256,
| "resolutionThreshold" : 0.1
| },
| "type" : "singleband.spatial.write"
| }
|]
""".stripMargin
val maskJsonStr = maskJson.replace("{input}",input).replace("{output}",output).replace("{layerName}",layerName)
// parse the JSON above
val list: Option[Node[Stream[(Int, TileLayerRDD[SpatialKey])]]] = maskJsonStr.node
list match {
case None => println("Couldn't parse the JSON")
case Some(node) => {
// eval evaluates the pipeline
// the result type of evaluation in this case would ben Stream[(Int, TileLayerRDD[SpatialKey])]
node.eval.foreach {
case (zoom, rdd) =>
println(s"ZOOM: ${zoom}")
println(s"COUNT: ${rdd.count}")
}
}
}
}
主方法调用
def main(args: Array[String]): Unit = {
val conf =
new SparkConf()
// .setMaster("local") //本机跑起来这里就设置,要放到集群中跑就不用,后面打成jar包 spark-submit的时候在指定 --master yarn
.setAppName("Spark Tiler")
.set("spark.serializer", "org.apache.spark.serializer.KryoSerializer")
.set("spark.kryo.registrator", "geotrellis.spark.io.kryo.KryoRegistrator")
implicit val sc: SparkContext = SparkUtils.createSparkContext("IngestTestRasterSourceToHadoop",conf)
//tif数据源使用本地磁盘写如 “file:///d:/data/”
var sour = "file:/d:/data/atmors/sour/FJ-PM25/PM25-layer1.tif"
//瓦片保存地址,也是保存到hdfs中
var layers = "file:/d:/data/atmors/tiles/pm25/"
insertTileToHdfs(sc,input,layers,layername)
}
结果:
1.这种方式进行切片入库少了很多代码,比之前的方式好很多。
2.pipeline的文档可以看官方文档https://geotrellis.readthedocs.io/en/v3.5.1/guide/pipeline.html
3.需要多看文档,多理解,多尝试,别放弃,过程中可能会遇到pom依赖,导包、等各种问题,需要耐心,总有办法,无非就是多看点文档,别急。
4.欢迎互相学习,交流讨论,本人的微信:huangchuanxiaa。
文章浏览阅读162次。关注●点赞收藏并私信博主,免费领取项目源码哦~总体设计主要包括系统总体结构设计、系统数据结构设计、系统功能设计和系统安全设计等;详细设计主要包括模块实现的关键代码,系统数据库访问和主要功能模块的具体实现等。最后对系统进行功能测试,并对测试结果进行分析总结,及时改进系统中存在的不足,为以后的系统维护提供了方便,也为今后开发类似系统提供了借鉴和帮助。
文章浏览阅读3.1k次,点赞3次,收藏16次。一、什么是静态网站、动态网站?静态网站没有采用任何程序开发,是纯粹使用html语言写出的网站,网页文件名以html或htm结尾。原则上不会受到攻击入侵,但是也无法在网络上实时更新内容,就纯粹的是制作好的页面。动态网站目前的主要开发语言有ASP,JSP,PHP,ASP.NET在制作好之后,都有一个网站管理后台,当以管理员身份登陆时,可以对网站的内容进行增删操作,直接在网上进行这些操作,虽然它可以随时更新,但是速度较慢。并且需要区分的是,动态网站的动态指的是动态实时更新而非网站有动态画面。区分静态网站和动_用nignx发布网站和用tomcat部署
文章浏览阅读3.9k次。1、普通线程sleep的方式,可用于一般的轮询Pollingnew Thread(new Runnable() { @Override public void run() { while (true) { //todo ..._android 定时20个小时
文章浏览阅读2.7w次,点赞206次,收藏552次。因而我们引入模型预测控制(Model PredictiveControl)的概念,对于一般的离散化系统(因为实际计算机实现的控制系统都是离散的系统,连续系统离散化的方法在此不述)。在k时刻,我们可以测量或估计出系统的当前状态y(k),再通过计算得到的u(k),u(k+1),u(k+2)...u(k+j)得到系统未来状态的估计值y(k+1),y(k+2)...y(k+j);我们将预测估计的部分称为预测区间(Predictive Horizon),将控制估计的部分称为控制区间(Control Horizon)_dr_can
文章浏览阅读569次,点赞25次,收藏12次。其实很简单就下面这张图,含概了Android所有需要学的知识点,一共8大板块:架构师筑基必备技能Android框架体系架构(高级UI+FrameWork源码)360°Androidapp全方位性能调优设计思想解读开源框架NDK模块开发移动架构师专题项目实战环节移动架构师不可不学习微信小程序混合开发的flutterAndroid学习的资料我呢,把上面八大板块的分支都系统的做了一份学习系统的资料和视频,大概就下面这些,我就不全部写出来了,不然太长了影响大家的阅读。
文章浏览阅读387次,点赞12次,收藏4次。给定两个整数a和b (0 < a,b < 10,000),计算a除以b的整数商和余数。一行,包括两个整数a和b,依次为被除数和除数(不为零),中间用空格隔开。一行,包含两个整数,依次为整数商和余数,中间用一个空格隔开。示例:输入:15 2,输出:7 1_带余除法怎么写编程
文章浏览阅读140次。引言:目前金融业IT系统大多由业务部门或渠道进行竖井式建设,这种模式的好处是系统专业性强,但同时也给运营及IT管理部门带来分散性阵痛。那么如何在强监管与统一风控的形势下,实现统一管控、快速响应、应需而变、按期交付?中台架构就是在这种背景下应运而生。本文主要以某城商行基于BIIP实施的交易中台的实践案例展开分享,一起和大家探讨企业数字化转型中的背景、技术..._运营转型 业务中台
文章浏览阅读1.5k次。AWG 直径 面积 铜阻抗 (inch) (mm) (kcmil) (mm²) (Ω/km) (Ω/kFT) 0000 (4/0) 0.46 11.684 212 107 0.1608 0.04901 000 (3/0) 0.4096 10.404 168 85 0.202..._awg官方规范
文章浏览阅读2.8k次。论文来源:ICLR2019论文链接:pdf (openreview.net)_residual non-local attention networks for image restoration
文章浏览阅读153次。【代码】表达式计算。问题描述:编写程序,计算并输出如下表达式的值:y=其中a,x,y均为float类型,取值为3.1415926。输出结果要求保留小数点后3位。_serialprintln(a)的结果为
文章浏览阅读274次,点赞3次,收藏8次。【Android 详细知识点思维脑图(技能树)】其实Android开发的知识点就那么多,面试问来问去还是那么点东西。所以面试没有其他的诀窍,只看你对这些知识点准备的充分程度。so,出去面试时先看看自己复习到了哪个阶段就好。虽然 Android 没有前几年火热了,已经过去了会四大组件就能找到高薪职位的时代了。这只能说明 Android 中级以下的岗位饱和了,现在高级工程师还是比较缺少的,很多高级职位给的薪资真的特别高(钱多也不一定能找到合适的),所以努力让自己成为高级工程师才是最重要的。
文章浏览阅读7.4k次。前言:关于 FP-Growth 算法介绍请见:FP-Growth算法的介绍。 本文主要介绍 FP-tree 的构造算法,关于伪代码请查看上面的文章。上接:FP-Growth算法python实现;下接:FP-Growth算法之频繁项集的挖掘(python)。 正文:tree_builder.py\color{aqua}{tree\_builder.py}文件:#coding=utf-8import_利用fpgrowth算法对其构造一个fptree,树的最大高度