技术标签: 爬虫 知识分享 python arduino raspberry pi
faust.cao–曹恒镇
由树莓派作为上位机,定时运行Python爬虫程序,将结果通过蓝牙发送给Arduino,Arduino接收到数据,将数据显示在1602LCD屏上,如果数据中显示会下雨,则亮起红色LED以提醒并(拓展:使用SIM900GSM模块,通过Arduino发信息给手机实时提醒。)
一:蓝牙配置
目前知道有2种方法:
A:完全通过Linux命令行完成
在python环境下使用“import bluetooth”如果报出错误信息“ImportError: No module named bluetooth”则说明没有安装相应的包,执行一下命令安装。
$sudo apt-get update
$sudo apt-get install bluetooth bluez python-bluez
进入蓝牙连接工具
$ bluetoothctl
[NEW] Controller B8:27:EB:D3:61:B0 raspberrypi [default]
[bluetooth]# agent on
Agent registered
[bluetooth]# default-agent
Default agent request successful
开始扫描周围蓝牙设备
[bluetooth]# scan on
Discovery started
[CHG] Controller B8:27:EB:D3:61:B0 Discovering: yes
[NEW] Device 98:14:01:10:C5:32 HC-05
连接蓝牙设备
[bluetooth]# pair 98:14:01:10:C5:32
Attempting to pair with 98:14:01:10:C5:32
[CHG] Device 98:14:01:10:C5:32 Connected: yes
Connected: yes
Request PIN code
[agent] Enter PIN code: 1234
[CHG] Device 98:14:01:10:C5:32 UUIDs:
00001101-0000-1000-8000-00805f9b34fb
[CHG] Device 98:14:01:10:C5:32 Paired: yes
Pairing successful
生成rfcomm0 文件(要用)
$ sudo rfcomm bind 0 98:14:01:10:C5:32
连接蓝牙设备后,会在树莓派的【/dev】目录中创建一个蓝牙设备的虚拟文件 /dev/rfcomm0
如果大家觉得这方法繁琐且难以记住,还有一种相对简答方法:
B:先通过桌面,再通过命令行
较新的树莓派桌面支持显示蓝牙设备,我们可以通过桌面操作连接蓝牙
升级安装蓝牙相关软件包
关键第三步用来更新桌面环境,我的桌面版本老,故要执行
$sudo apt-get update
$sudo apt-get upgrade -y
$sudo apt-get dist-upgrade -y
$sudo apt-get install pi-bluetooth bluez bluez-firmware blueman
找到桌面蓝牙图标
之后的操作和命令行一样:
先进入bluetoothctl
$ bluetoothctl
找到对应的蓝牙地址(这是会自动显示再桌面下已连接的蓝牙设备)
再退出
exit
最后生成rfcomm0 文件(要用)
$ sudo rfcomm bind 0 98:14:01:10:C5:32
二: python网络爬虫获取天气预报
首先导入python相应模块
INDEX:
Requests 是用Python语言编写,基于 urllib,采用 Apache2 Licensed 开源协议的 HTTP 库。它比 urllib 更加方便,可以节约我们大量的工作,完全满足 HTTP 测试需求。Requests 的哲学是以 PEP 20 的习语为中心开发的,所以它比 urllib 更加 Pythoner。更重要的一点是它支持 Python3Beautiful Soup提供一些简单的、python式的函数用来处理导航、搜索、修改分析树等功能。它是一个工具箱,通过解析文档为用户提供需要抓取的数据,因为简单,所以不需要多少代码就可以写出一个完整的应用程序。
Beautiful Soup自动将输入文档转换为Unicode编码,输出文档转换为utf-8编码。你不需要考虑编码方式,除非文档没有指定一个编码方式,这时,Beautiful Soup就不能自动识别编码方式了。然后,你仅仅需要说明一下原始编码方式就可以了。
Beautiful Soup已成为和lxml、html6lib一样出色的python解释器,为用户灵活地提供不同的解析策略或强劲的速度。serial 用于读串口的数据,使用非常的方便
time 处理与时间有关的操作,包括程序中断等
import requests
from bs4 import BeautifulSoup
import serial
from time import sleep#程序中断执行函数
如果导入出现困难,用linux命令行进行下载更新
法1:
$sudo apt-get install python-requests
法2:(前提是已经下载python pip 模块)
$sudo pip install python-requests
获得各城市天气预报网站函数
def get_url(city_name):#输入参数为城市名
url = 'http://www.weather.com.cn/weather/'
#打开存储对应城市对应网址地址的txt文档
with open('city.txt', 'r', encoding='UTF-8') as fs:
lines = fs.readlines()
#对文件读取遍历
for line in lines:
if(city_name in line):#发现城市名
code = line.split('=')[0].strip()#取得相应数字
return url + code + '.shtml'#加到网址地址后
raise ValueError('invalid city name')#未找到该城市
同路径下有个存储对应城市具体地址的txt文档
格式:
101010100=北京
101010200=海淀
网络爬虫获取地址中的内容
用简单的 requests 配合 BeautifulSoup 获取预报信息并保存。
下面两步根据链接地址把网页内容抓下来,然后进行解析,得到要保存的数据,返回的 content 是一个列表,每个元素是要保存的一行内容。
def get_content(url, data=None):
rep = requests.get(url)
rep.encoding = 'utf-8'
return rep.text
def get_data(htmltext, city):
content = []
bs = BeautifulSoup(htmltext, "html.parser")
body = bs.body
data = body.find('div', {
'id': '7d'})
ul = data.find('ul')
li = ul.find_all('li')
for day in li:
line = [city]
date = day.find('h1').string
line.append(date)
text = day.find_all('p')
line.append(text[0].string)
if text[1].find('span') is None:
temperature_H = None
else:
temperature_H = text[1].find('span').string.replace('℃', '')
temperature_L = text[1].find('i').string.replace('℃', '')
line.append(temperature_H)
line.append(temperature_L)
content.append(line)
return content
对所获得信息进行处理
def finds(strings):#中文字符串
#找相应中文
a=strings.find("雨",0)
b=strings.find("云",0)
c=strings.find("晴",0)
if a!=-1:
return 'r'#有雨发送‘r’
if b!=-1:
return 'c'#有云发送‘c’
if c!=-1:
return 's'#有阳发送‘s’
#对没有天气情况的返回为‘N’,result列表储存今明2天天气情况
if result[0][3]==None:
result[0][3]='N'
if result[0][4]==None:
result[0][4]='N'
if result[1][3]==None:
result[1][3]= 'N'
if result[1][4]==None:
result[1][3]='N'
三: 与Arduino下位机通信
#蓝牙串口虚拟文件
port='/dev/rfcomm0'
serial=serial.Serial(port,9600)#设置蓝牙波特率
for i in range(1,10):#多次发送保证发送成功
#调用serial.write()其在python3中只能一位一位发送,故将数据转为按位发送
serial.write(bytes(finds(result[0][2]),'UTF-8'))
#发送空格,分开各数据
serial.write(bytes(' ','UTF-8'))
serial.write(bytes(result[0][3],'UTF-8'))
serial.write(bytes(' ','UTF-8'))
serial.write(bytes(result[0][4],'UTF-8'))
serial.write(bytes(' ','UTF-8'))
serial.write(bytes(finds(result[1][2]),'UTF-8'))
serial.write(bytes(' ','UTF-8'))
serial.write(bytes(result[1][3],'UTF-8'))
serial.write(bytes(' ','UTF-8'))
serial.write(bytes(result[1][4],'UTF-8'))
serial.write(bytes(' ','UTF-8'))
serial.flushInput()#清除串口缓冲区
sleep(.8)#程序终止运行0.8s,太快CPU费劲,程序也容易卡,LCD也会有反应不过来,更新过快
一: 获得树莓派数据
在arduino中蓝牙与串口使用方法相同
void got ()
//收到蓝牙信号
{
if (Serial.available())
//不停读取发送的一个个位,最多会有16位数据
{
for (int i=0;i<16;i++)
{
a=Serial.read();
//将数据给数组
b[i]=a;
if (b[i]=='s')
//如果接收到要下雨信息,pin8至高电平,点亮红色LED提醒
{digitalWrite(9,HIGH);
}
if (b[i]=='r')
//如果接收到要天晴信息,pin9至高电平,点亮绿色LED
{digitalWrite(8,HIGH);
}
二:在LCD上显示
要导入”LiquidCrystal”库
这样2行便解决
# include <LiquidCrystal.h>
//设置光标位置
lcd.setCursor(i,2);
//写入字符串
lcd.print(b[i]);
三:数据更新
有2种不同的选择:
A:通过超声波传感器接收距离信息,如果距离小于某值,则说明有人来了,向树莓派发送信息,树莓派进行数据更新
获得距离
//超声波传感器输出端
# define 6 trig
//超声波传感器输入端
# define 6 trig
float cm;//存储探测距离
float temp;//存储高脉冲信号长度
void distance ()
{digitalWrite(trig,LOW);
delayMicroseconds(2);
digitalWrite(trig,HIGH);//给一个10us秒的高脉冲,激发传感器
delayMicroseconds(10);
digitalWrite(trig,LOW);
temp=float(pulseIn(echo,HIGH));//检测计算传感器发出后接受到的高脉冲时长,其正比于距离
cm=temp*17/1000;//公式换算}
}
循环loop函数中进行检测更新发数据给树莓派
void loop()
{ distance();//获得距离
if(cm<50)
{Serial.write(int(cm));//发送信息给树莓派
for (int i=0;i<11;i++)
{got();//多次获得数据,保证数据正确完整
lcd.setCursor(1,0);
lcd.print("today tomorrow");//写明今明两天
delay(800);}}//延时与树莓派相匹配
}
B:使用程序中断定时进行:
这也有2种方法:
a:使用python time 模块的sleep函数,执行中断一段时间,之后继续执行
例如我们让每3小时更新一下,只要加上”sleep(60*60*3)”并稍微改动即可
b:使用linux下的crontab工具,设置程序定时执行
打开在pi用户下的crontab
$sudo crontab -u pi -e
写下
7 0 * * * python weather2.py
11 0 * * * python weather2.py
16 0 * * * python weather2.py
20 0 * * * python weather2.py
其格式是:
hour minute day month year command
退出vim编辑器后,很重要的一点是一定要执行如下命令,否则无法执行
$sudo /etc/init.d/cron restart
则python程序将在7,11,16,20点执行
四:电路连接
不想用Fritzing画图了,直接写了
1.LCD-Arduino
将电位器换成1000Ω电阻,另一端接地
2.HC-SR04
trig-6
echo-7
3.HC-05
TX-RX
RX-TX
4.LED
红+-pin8
绿+-pin9
5.电源
考虑到盒子小体积,我使用了较小的9V电池,分别直接接IO口的VIN与GND,没有接电源接口,主要是缩小体积。
五:拓展短信通知(没钱买模块啊!树莓派一买就要吃土了!!还有关键Uno上只有一个RX,TX,得换arduino mega)
加个函数再调用就行
void sendSms(String phonecode ,String content)
{
//电话号码 ,短信内容
Serial3.println("AT+CMGS=\""+phonecode+"\"");
delay(500);//必须延时,不加延时可以自己看结果
Serial3.print(content);//短内容为content;
//不知为什么加这个?
Serial3.write(0x1A)
}
先是用杜邦线连接调试,然后花了一个下午多把电路焊在洞洞板上(布线自己还算满意,学长或许就不这么认为了…),然后偶然看到实验室的一个盒子大小刚好适合,便顺便把盒子改造了下,把他塞进去了,还不错。时间比较紧,焊接制作各过程都没拍照,关键是近期手机坏了,不能拍照!
最后给一张我用老手机拍的模糊的最终成品照:
大一下学期学的较乱,黑白道(软硬件)通吃,却都很不精,感觉有点不踏实,不过想想以后又不是靠这些吃饭(至少不大可能),觉得现在多了解些挺好,打好通识工科,为以后打基础吧,这学期从最初的stm32,到python与OpenCV图形处理,再到树莓派与linux,计划之后再学学电路基础,偏点硬件。
PS:
该项目是实验室二轮考核的题目,在匆忙之中将其完成,应该包含了大部分我学习的内容,还是比较综合的吧,可能偏简答了,但觉得实验室应该没人做过这个,应该算是较新的领域了,
相对比较实用(这也是我选择项目的主要考虑因素)。也是完成了,感觉满满的成就感 ,别人是难以体会的,一种自我价值实现与创造,按柏格森说法,就是”生命创造论”,—个人创造冲动与工具理性的结合而产生,或者说是二者之间的一种相互妥协,这或许是2者最好的归宿。。。
文章浏览阅读5.8k次。在大数据的发展当中,大数据技术生态的组件,也在不断地拓展开来,而其中的Hive组件,作为Hadoop的数据仓库工具,可以实现对Hadoop集群当中的大规模数据进行相应的数据处理。今天我们的大数据入门分享,就主要来讲讲,Hive应用场景。关于Hive,首先需要明确的一点就是,Hive并非数据库,Hive所提供的数据存储、查询和分析功能,本质上来说,并非传统数据库所提供的存储、查询、分析功能。Hive..._hive应用场景
文章浏览阅读496次。Zblog是由Zblog开发团队开发的一款小巧而强大的基于Asp和PHP平台的开源程序,但是插件市场上的Zblog采集插件,没有一款能打的,要么就是没有SEO文章内容处理,要么就是功能单一。很少有适合SEO站长的Zblog采集。人们都知道Zblog采集接口都是对Zblog采集不熟悉的人做的,很多人采取模拟登陆的方法进行发布文章,也有很多人直接操作数据库发布文章,然而这些都或多或少的产生各种问题,发布速度慢、文章内容未经严格过滤,导致安全性问题、不能发Tag、不能自动创建分类等。但是使用Zblog采._zblog 网页采集插件
文章浏览阅读2.4k次,点赞2次,收藏2次。restUI页面提交1.1 添加上传jar包1.2 提交任务job1.3 查看提交的任务2. 命令行提交./flink-1.9.3/bin/flink run -c com.qu.wc.StreamWordCount -p 2 FlinkTutorial-1.0-SNAPSHOT.jar3. 命令行查看正在运行的job./flink-1.9.3/bin/flink list4. 命令行查看所有job./flink-1.9.3/bin/flink list --all._flink定时运行job
文章浏览阅读1k次,点赞2次,收藏6次。这个项目是基于STM32的LED闪烁项目,主要目的是让学习者熟悉STM32的基本操作和编程方法。在这个项目中,我们将使用STM32作为控制器,通过对GPIO口的控制实现LED灯的闪烁。这个STM32 LED闪烁的项目是一个非常简单的入门项目,但它可以帮助学习者熟悉STM32的编程方法和GPIO口的使用。在这个项目中,我们通过对GPIO口的控制实现了LED灯的闪烁。LED闪烁是STM32入门课程的基础操作之一,它旨在教学生如何使用STM32开发板控制LED灯的闪烁。_嵌入式stm32闪烁led实验总结
文章浏览阅读63次。本文介绍了安装和部署Debezium的详细步骤,并演示了如何将Debezium服务托管到systemctl以进行方便的管理。本文将详细介绍如何安装和部署Debezium,并将其服务托管到systemctl。解压缩后,将得到一个名为"debezium"的目录,其中包含Debezium的二进制文件和其他必要的资源。注意替换"ExecStart"中的"/path/to/debezium"为实际的Debezium目录路径。接下来,需要下载Debezium的压缩包,并将其解压到所需的目录。
文章浏览阅读4.4k次。需求:在诗词曲文项目中,诗词整篇朗读的时候,文章没有读完会因为屏幕熄灭停止朗读。要求:在文章没有朗读完毕之前屏幕常亮,读完以后屏幕常亮关闭;1.权限配置:设置电源管理的权限。
文章浏览阅读2.3k次。目标检测简介、评估标准、经典算法_目标检测
文章浏览阅读6.3k次,点赞4次,收藏9次。实训时需要安装SQL server2008 R所以我上网上找了一个.exe 的安装包链接:https://pan.baidu.com/s/1_FkhB8XJy3Js_rFADhdtmA提取码:ztki注:解压后1.04G安装时Microsoft需下载.NET,更新安装后会自动安装如下:点击第一个傻瓜式安装,唯一注意的是在修改路径的时候如下不可修改:到安装实例的时候就可以修改啦数据..._sqlserver 127 0 01 无法连接
文章浏览阅读7.4k次。1. Object.keys(item); 获取到了key之后就可以遍历的时候直接使用这个进行遍历所有的key跟valuevar infoItem={ name:'xiaowu', age:'18',}//的出来的keys就是[name,age]var keys=Object.keys(infoItem);2. 通常用于以下实力中 <div *ngFor="let item of keys"> <div>{{item}}.._js 遍历对象的key
文章浏览阅读2.2w次,点赞51次,收藏310次。粒子群算法求解路径规划路径规划问题描述 给定环境信息,如果该环境内有障碍物,寻求起始点到目标点的最短路径, 并且路径不能与障碍物相交,如图 1.1.1 所示。1.2 粒子群算法求解1.2.1 求解思路 粒子群优化算法(PSO),粒子群中的每一个粒子都代表一个问题的可能解, 通过粒子个体的简单行为,群体内的信息交互实现问题求解的智能性。 在路径规划中,我们将每一条路径规划为一个粒子,每个粒子群群有 n 个粒 子,即有 n 条路径,同时,每个粒子又有 m 个染色体,即中间过渡点的_粒子群算法路径规划
文章浏览阅读353次。所谓稳健的评估指标,是指在评估的过程中数据的轻微变化并不会显著的影响一个统计指标。而不稳健的评估指标则相反,在对交易系统进行回测时,参数值的轻微变化会带来不稳健指标的大幅变化。对于不稳健的评估指标,任何对数据有影响的因素都会对测试结果产生过大的影响,这很容易导致数据过拟合。_rar 海龟
文章浏览阅读607次,点赞2次,收藏7次。–基于STM32F103ZET6的UART通讯实现一、什么是IAP,为什么要IAPIAP即为In Application Programming(在应用中编程),一般情况下,以STM32F10x系列芯片为主控制器的设备在出厂时就已经使用J-Link仿真器将应用代码烧录了,如果在设备使用过程中需要进行应用代码的更换、升级等操作的话,则可能需要将设备返回原厂并拆解出来再使用J-Link重新烧录代码,这就增加了很多不必要的麻烦。站在用户的角度来说,就是能让用户自己来更换设备里边的代码程序而厂家这边只需要提供给_value line devices connectivity line devices