selenium新闻爬取_selnium获取百度新闻_厨师长爱炼丹的博客-程序员宅基地

# encoding: utf-8
from selenium import webdriver
import time
import pandas as pd

# 人工设定抓取页数
page_max = 10

# 设置访问网址
url = 'http://news.baidu.com/'

# 浏览器驱动本地存放路径
driver_path = ''  # 火狐

# 运行驱动
driver = webdriver.Firefox(executable_path=driver_path)

# 访问
driver.get(url)

# 输入搜索关键词
input_keyword = driver.find_element_by_xpath("//input[@class='word']")
input_keyword.click()
keyword = '新冠疫情'
input_keyword.send_keys(keyword)

# 点击搜索按钮
button_search = driver.find_element_by_xpath("//input[@id='s_btn_wr']")
button_search.click()

page_count = 0
all_title_list = []
all_time_list = []
while page_count < page_max:

    titles_list = driver.find_elements_by_xpath("//h3[@class='news-title_1YtI1']")
    for news_title in titles_list:
        print(news_title.text)
        all_title_list.append(news_title.text)

    time_list = driver.find_elements_by_xpath("//span[@class='c-color-gray2 c-font-normal']")
    for news_time in time_list:
        print(news_time.text)
        all_time_list.append(news_time.text)

    button_next = driver.find_element_by_xpath("//a[@class='n']")
    button_next.click()
    page_count += 1

df_save = pd.DataFrame(columns=['title', 'time'])
df_save['title'] = all_title_list
df_save['time'] = all_time_list
df_save.to_csv('news.csv')

本文链接：https://blog.csdn.net/hahadesu/article/details/123473494

原作者删帖不实内容删帖广告或垃圾文章投诉

智能推荐

centos7安装mysql5.6-程序员宅基地

环境CentOS 7.1 (64-bit system)MySQL 5.6.24CentOS 安装参考：http://www.waylau.com/centos-7-installation-and-configuration/依赖MySQL 依赖 libaio，所以先要安装 libaioyum search libaio # 检索相关信息yum ins..._安装mysql出现1:perl-pod-simple-3.28-4.el7.noarch: [errno 256] no more mirror

轻松实现一个Python+Selenium的自动化测试框架_selenium+python自动化框架-程序员宅基地

Selenium是一个基于浏览器的自动化测试工具，它提供了一种跨平台、跨浏览器的端到端的web自动化解决方案。Selenium主要包括三部分：Selenium IDE、Selenium WebDriver 和Selenium Grid。Selenium IDE：Firefox的一个扩展，它可以进行录制回放，并把录制的操作以多种语言（例如java、python等）的形式导出成测试用例。Selenium WebDriver：提供Web自动化所需的API，主要用作浏览器控制、页面元素选择和调试。_selenium+python自动化框架

豆瓣新API地址：douban.uieee.com_http://t.yushu.im/v2/movie-程序员宅基地

以电影检索为例旧版豆瓣api地址：https://api.douban.com/v2/movie/subject/24753810新版豆瓣api地址：https://douban.uieee.com/v2/movie/subject/24753810_http://t.yushu.im/v2/movie

数组越界和数组溢出_c语言数组的越界和溢出-程序员宅基地

(78条消息) 第六章 C语言数组_C语言数组的越界和溢出_qq_43205256的博客-程序员宅基地_c语言溢出和越界_c语言数组的越界和溢出

Java基础之String和正则表达式_java string 正则表达-程序员宅基地

StringString类即被final修饰的不可变字符串类，java中的字符串常量都是此类的实例。创建方式和区别一般有两种创建方式：String str = "hello!";JVM首先在堆中的String常量池中查找是否已存在"hello!"常量，存在则直接将新建的栈中的str引用指向此常量；不存在则先创建该常量并将其放进常量池中，使str指向此常量。 2. Str..._java string 正则表达

servlet初体验-程序员宅基地

在WEB项目中创建一个servlet类，只需要继承HttpServlet类，并且重写dopost或doget方法，在类前面加上注释@WebServlet("/url")，这个类就是servlet类。注释指明了访问路径，及链接的地址,<a href=url>,就能跳转到servlet类执行相关的方法。servlet装载，及把servlet加载到服务器中，有三种情况se...