Python批量爬取高德AOI边界数据+GIS可视化(超详细)_获取网页中的高德室内边界-程序员宅基地

技术标签: Amap  AOI  POI  高德  Python  

一、需求

      爬取高德地图的AOI区域(如下)并进行可视化存储,且保留AOI的属性信息。

      

二、使用的工具:

       Python IDLE、记事本编辑器、ArcGIS 10.2、申请的高德开发者KEY(免费)。

三、实现分析及思路

      博主在浏览博客时得到了一个链接,能够根据aoi编号检索aoi信息:

https://ditu.amap.com/detail/get/detail?id=XXXX
感谢“万里写入胸怀间”大神的博客:https://blog.csdn.net/qq_37696858/article/details/81351725

     该链接能够返回丰富的AOI信息:

       

      AOI编号有两种途径获得:

    (1)使用API检索POI时,返回的POI编号(经验证,AOI编号与POI编号是一致的)如下图。

       

    (2)使用高德地图web版进行地点搜索时,点击单个POI,从当前网页的Url中提取,如下图。

            

     第二种方式最为简单便捷,但是无法实现批量的AOI提取,因此本文采用第一种方式进行AOI爬取。使用该方式会带来一些问题,例如,有些POI是不存在AOI区域的,比如厕所、大门等一些附属设施POI,但是AOI链接仍然会检索出信息来,只是不含有图形信息罢了,因此对是否含有AOI信息进行判断也十分重要。

四、编写代码:

import requests
import pandas as pd
import json
import time

#检索POI的URL
poiUrl="https://restapi.amap.com/v3/place/text?keywords=大学&city=青岛&output=JSON&offset=20&key={你的Key,不含大括号}&extensions=all&page="
#检索AOI的URL
aoiUrl="https://ditu.amap.com/detail/get/detail?id="
#用于储存POI数据
x=[]
#用于储存AOI数据
y=[]
#计数
num=0
#逐页POI检索,注意API限制
for page in range(1,7):
    #构造URL
    thisUrl1=poiUrl+str(page)
    #获取POI数据
    data1=requests.get(thisUrl1)
    #转为JSON格式
    s=data1.json()
    #解析JSON
    aa=s["pois"]
    #对每条POI进行读取
    for k in range(0,len(aa)):
        poiid=str(aa[k]["id"])
        #构造AOI的URL
        thisUrl2=aoiUrl+poiid
        #获取AOI数据
        data2=requests.get(thisUrl2)
        #转为JSON格式
        ss=data2.json()
        #解析JSON
        aaa=ss["data"]
        key=aaa["spec"]
        
        #判断AOI检索是否包含形状信息
        haveShp=0
        for item in key:
            if item=="mining_shape":  #有形状信息
                haveShp=1
        if haveShp==0:
            continue #若无则跳出本条POI检索
        #获取POI信息并存储
        pois1=aa[k]["name"]
        pois2=aa[k]["type"]
        pois3=aa[k]["address"]
        pois4=aa[k]["adname"]
        pois5=aa[k]["location"].split(",")
        x.append([poiid,pois1,pois2,pois3,pois4,float(pois5[0]),float(pois5[1])])

        #获取AOI信息并存储
        aoilocs=str(key["mining_shape"]["shape"])
        locs=aoilocs.split(';')
        order=0
        for i in range(0,len(locs)):
            loc=locs[i].split(',')
            lon=loc[0]
            lat=loc[1]
            y.append([poiid,pois1,pois2,pois3,pois4,order,lon,lat])
            order+=1
        num+=1
        print("爬取了 "+str(num)+" AOI数据")
        time.sleep(random.randint(0,5))  # 暂停0~3秒的整数秒,时间区间:[0,5]
#将数据结构化存储至规定目录的CSV文件中
c1 = pd.DataFrame(x)
c1.to_csv('E:/poi.csv',encoding='utf-8-sig')
c2 = pd.DataFrame(y)
c2.to_csv('E:/aoi.csv',encoding='utf-8-sig')

  注意:

    (1)aoi信息获取链接官方并没有完全开放,需谨慎使用,因此博主在代码里增加了较长的暂停时间,但可能仍然无法有效避免封IP的情况,需小心谨慎使用。

    (2)注意POI的检索是有限制的,可参考博主的另一篇博文:Python突破高德API限制完全爬取POI兴趣点数据

    (2)最终爬取下来的坐标是GCJ-02坐标系,若要对数据进行应用,需转换为WGS84坐标系,本文省略了该步骤。

  运行结果:

      即可在目标目录看到生成了两个文件poi.csv和aoi.csv,将它们的首行数据删除,如下:

      

      

五、数据可视化

       1、打开Arcmap,将生成的poi.csv和aoi.csv加入:

       

      2、对poi表右键,显示XY数据,并进行下图设置点击确定,并对aoi表也进行相似的操作如下图。

            

      3、之后可以看到生成了一堆poi和aoi点:

       

      4、之后对生成的两个要素点击右键,数据→导出数据,设置相关路径,保存为shp文件,如下图:

        

            

    5、打开ArcToolbox,找到数据管理工具→要素→点集转线,打开点集转线工具,将aoi点数据输入并进行以下设置:

    

    点击确定,发现AOI边界已见雏形:

       

   

     6、接下来将边界线转换为面文件,打开ArcToolbox,找到数据管理工具→要素→要素转面,打开要素转面工具,将aoi线数据输入并进行以下设置:

      

      点击确定,即可发现AOI区域已经生成。

      

      7、打开生成的面要素的属性表,发现属性信息已完全消失。接下来是使用上面生成的POI数据进行属性信息的找回,右键AOI面要素,点击连接和关联→连接,并进行如下设置:

        

          

      8、点击确定,在生成的要素中打开属性表,可以发现属性信息已找回:

     

    关于GIS可视化的步骤,博主觉得还是有些繁琐,如果大神们有更简单的方法欢迎交流~

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/Smart3S/article/details/88606789

智能推荐

程序员毕业五年他年薪百万,他月薪一万_一万工资的程序员c++-程序员宅基地

文章浏览阅读267次。工作五年是个分水岭,大部分程序员从初级工程师成长为中高级工程师,薪资较刚毕业时翻几番。同一个宿舍毕业的人有不同的发展轨道,有人年薪百万,有人仍在基层搬砖。小编采访几位工作五年的程序员,谈谈他们的现状。蒋远航:专注在一家公司里走技术管理路线,现不写代码专注撕逼,月薪2万蒋远航毕业后入职某二线互联网公司,月薪不到一万。头两年和其他程序员一样,写些基础性的业务代码。在大学身为班长的蒋..._一万工资的程序员c++

飛飛(四十一)建立一个Point类,包含数据成员x,y......._建立一个point类,包括坐标x,y二个成员变量。通过继承得到cube类,增加一个z坐标。实现求面积-程序员宅基地

文章浏览阅读7.3k次。嘿_建立一个point类,包括坐标x,y二个成员变量。通过继承得到cube类,增加一个z坐标。实现求面积和体积的方法。java

C++第五次上机实验其他作业_程序填空:#include <iostream> 5#include <string>usi-程序员宅基地

文章浏览阅读265次。项目1:程序填空#include#includeusing namespace std;class Person{ string name; //姓名 int age; //年龄public: Person(){} void setname(string na) { name=na; } void setage(int a) { age=a; }_程序填空:#include 5#include usi

boost.python入门教程 ----python 嵌入c++_python文件引入c++ 引入boost库-程序员宅基地

文章浏览阅读821次。http://www.cnblogs.com/rocketfan/archive/2009/11/15/1603400.htmlboost.python 中 python 嵌入c++ 部分,网上找到的中文资料似乎都有些过时了,如 boost.python学习笔记 http://edyfox.codecarver.org/html/boost_python.html在bo_python文件引入c++ 引入boost库

QNX screen使用介绍 第四章_qnx screen_set_window_property_iv-程序员宅基地

文章浏览阅读3.9k次。十、screen 剪辑缓冲区当根据需求只需要显示一个指定的区域时,如图所示,可以在一个大的缓冲区中剪辑一个特定的区域用于显示。注意,只能剪辑一个矩形设置窗口缓冲区和源尺寸 int src_size[2] = {1920, 720}; screen_set_window_property_iv(screen_window, SCREEN_PROPERTY_BUFFER_SIZE, src_size); screen_set_window_property_iv(scr.._qnx screen_set_window_property_iv

2.4G WLAN芯片 AR9341 学习笔记_ar9341芯片参数-程序员宅基地

文章浏览阅读7.8k次。【芯片概述】 AR9341是一款用于 2.4GHz 网络的 WLAN 平台芯片,CPU核为 MIPS 74Kc。芯片内置 MAC/PHY 模块,支持 20MHz/144Mbps 传输模式和 40MHz/300Mbps 传输模式,支持从 NOR flash 上启动。除此之外,AR9341还有很多其它内置模块,其系统框图如下:图1 AR9341系统框图 【Datashe_ar9341芯片参数

随便推点

java POI导出Excel表格升级_java poi升级-程序员宅基地

文章浏览阅读386次。java POI导出Excel表格升级1、导出效果:2、代码实现3、使用列子这次的代码是在上一篇文章的基础上加以修改得来,可以适应更多的场景。可以动态添加底部数据、合并自由合并列数1、导出效果:2、代码实现package com.paladin.monitor.tuil;import org.apache.poi.ss.usermodel.*;import org.apache.poi.ss.util.CellRangeAddress;import org.apache.poi.xssf._java poi升级

社区版IDEA怎么运行SSM项目_idea社区版可以运行ssm项目吗-程序员宅基地

文章浏览阅读5.2k次,点赞3次,收藏10次。社区版的idea,怎么运行ssm项目1.点击idea右上角的Edit...(下面的tomcat是待会需要配置的,配置成功会有的)2.点击左上角的加号,选择maven,点击创建3.按图标顺序:1.输入启动名(可随意)2.选择运行文件3.输入 tomcat7:run (这给7是版本,一定要记得是英文的冒号)4.点击apply(我这是已经点击过的,所有是灰色)5.点击ok4.选中刚刚做好的启动项,点击运行5.运行成功了最后:如果出现Discon..._idea社区版可以运行ssm项目吗

北京上海开车遇加塞,像个人行不行?!-程序员宅基地

文章浏览阅读2.2k次。贾浩楠 发自 凹非寺量子位 | 公众号 QbitAI全国最复杂的环路在哪里?上海内环。全年车流量最大的时间是何时?开学日。赶着送孩子上学,然后再赶去公司上班,一路拥堵,一把心酸,面对频繁加塞,脚累手累心累。难道,一天要这样开始吗?9月1日全国最堵开学日,上海内环路上,面对不友好的突然加塞,这辆车没有重刹,没有侵占侧边车道,没有争抢冒险,当然也没有碰撞。全程完美应对。△ 开学日上海内环加塞实测录像来...

XZ_iOS reloadData 刷新页面导致页面上移的问题解决_iphone7列表刷新向上偏移-程序员宅基地

文章浏览阅读1.1k次。仅仅是使用tableView.reloadData()这句代码,导致了下图:在不上滑tableView的情况下,点击全选,没有任何的问题,当滑动tableView的底部时,点击全选,tabelView发生了上移。最初的解决是想着刷新的时候不要动画,直接刷新,还是有问题:不过可以确定的是,确实是动画的原因导致的,最终解决:let reloadSet = Index..._iphone7列表刷新向上偏移

Android 音频数据流(1): 从 MediaPlayer 到 AudioTrack_non-offload offload-程序员宅基地

文章浏览阅读3.5k次,点赞8次,收藏42次。从上方时序图可以看出,`media_server` 进程启动时,`NuPlayerFactory` 实例被创建和添加到 `MediaPlayerFactory` 中。之后,当 APP 依次调用 `setDataSource()`、`prepare()` 和 `start()` 接口时,分别主要发生了这些事情:+ 调用 `setDataSource()` —— 创建对应的具体 `Source` 类实例、创建并配置 `BufferMonitor`;+ 调用 `prepare()` —— 创建对应的 `E_non-offload offload

四年级计算机教案模板,小学四年级下册信息技术教学设计 全册.doc-程序员宅基地

文章浏览阅读185次。小学四年级下册信息技术教学设计 全册PAGEPAGE 23小学信息技术教学设计(第一册)四 年级 信息技术 学科 设计者: 第 16 课时课题第16课 学习小助手——基本键的指法教学目标1、认识键盘结构、键盘的分区。2、掌握字母、符号的输入。3、让学生掌握记事本的使用。4、培养学生小组合作学习、协作学习的精神。5、结合本校实际,做好学生的环保教育。教材分析重..._小学教科版信息技术四年级下册 教学设计