技术标签: 布隆过滤 java redis Redisson
之前这边有写过关于布隆过滤器过滤器的安装使用,但是这次使用使用jrebloom来实现,
jrebloom目前只提供一个maven依赖供我们使用。
考虑到后续代码维护,bug的修复。使用redisson来做布隆过滤器是更加安全做法。
下面是关于布隆过滤器的使用:
布隆过滤器的原理、redis布隆过滤器的安装和使用
<!-- https://mvnrepository.com/artifact/org.redisson/redisson -->
<dependency>
<groupId>org.redisson</groupId>
<artifactId>redisson</artifactId>
<version>3.11.2</version>
</dependency>
2、关于redis的配置
redis配置:
#客户端超时时间单位是毫秒 默认是2000
redis.timeout=10000
#最大空闲数
redis.maxIdle=300
#连接池的最大数据库连接数。设为0表示无限制,如果是jedis 2.4以后用redis.maxTotal
#redis.maxActive=600
#控制一个pool可分配多少个jedis实例,用来替换上面的redis.maxActive,如果是jedis 2.4以后用该属性
redis.maxTotal=2000
#最大建立连接等待时间。如果超过此时间将接到异常。设为-1表示无限制。
redis.maxWaitMillis=1000
redis.nodes=192.168.25.128:7000,192.168.25.128:7001,192.168.25.128:7002,192.168.25.128:7003,192.168.25.128:7004,192.168.25.128:7005,192.168.25.128:7006,192.168.25.128:7007
3、配置文件的书写
@Configuration
@PropertySource("classpath:conf/redis.properties")
public class RedisConfig {
@Value("${redis.nodes}")
private String clusterNodes;
@Bean
public RedissonClient getBloomFilter(){
Config config = new Config();
ClusterServersConfig clusterServersConfig = config.useClusterServers();
String[] cNodes = clusterNodes.split(",");
//分割出集群节点
for (String node : cNodes) {
clusterServersConfig.addNodeAddress("redis://" + node);
}
return Redisson.create(config);
}
}
4、service的的代码
public interface RedissonBloomFilterService {
/**
* 初始化一个布隆过滤器
*
* @param key key
* @param expireDate 过期时间长度
* @param timeUnit 过期时间单位
* @return 是否创建成功
*/
boolean initNewFilter(String key, Long expireDate, TimeUnit timeUnit, long expectedInsertions, double falseProbability);
/**
* 添加value到今天布隆过滤器
* @param key key
* @param value 需要添加到过滤器的值
* @return 是否添加成功
*/
boolean add(final String key, final String value);
/**
* 添加value到今天布隆过滤器
* @param key key
* @param list 需要添加到过滤器的值
* @return 是否添加成功
*/
boolean add(final String key, final List<String> list);
/**
* 判断对应key是否有value值
* @param key key
* @param value 对应key的value值
* @return 应key是否有value值
*/
boolean containsValue(final String key, final String value);
/**
* 查看是否存在key值
* @param key key
* @return 是否有key值
*/
boolean containKey(final String key);
}
实现类:
@Slf4j
@Service
public class RedissonBloomServiceImpl implements RedissonBloomFilterService {
public static String prefix = "redission_bf_";
private static DateTimeFormatter formatter = DateTimeFormatter.ofPattern("yyyyMMdd");
private static final int TIME_FORMAT_LENGTH = 8;
@Resource
private RedissonClient redissonClient;
/**
* 1、第一层的key为传入key值
* 2、第二次key为 prefix + key+20200718
*/
private Map<String, ConcurrentHashMap<String, RBloomFilter>> bloomFilterMap = new ConcurrentHashMap<>();
@Override
public synchronized boolean initNewFilter(String key, Long expireDate, TimeUnit timeUnit, long expectedInsertions, double falseProbability) {
String timeFormatter = formatter.format(LocalDateTime.now());
RBloomFilter<String> bloomFilter = redissonClient.getBloomFilter(prefix + timeFormatter + key);
//初始化布隆过滤器
boolean isSuccess = bloomFilter.tryInit(expectedInsertions, falseProbability);
if (isSuccess) {
//设置过期时间
bloomFilter.expire(expireDate, timeUnit);
//设置过期监听器
bloomFilter.addListener(new ExpiredObjectListener() {
@Override
public void onExpired(String key) {
log.info("onExpired callback running key is {}", key);
if (key.startsWith(prefix)) {
String firstKey = key.substring(prefix.length() + TIME_FORMAT_LENGTH);
ConcurrentHashMap<String, RBloomFilter> map = bloomFilterMap.get(firstKey);
if (Objects.isNull(map)) {
log.warn("listener callback key is empty key is {}", key);
return;
}
map.remove(key);
}
}
});
}
ConcurrentHashMap<String, RBloomFilter> map = bloomFilterMap.computeIfAbsent(key, (k) -> {
return new ConcurrentHashMap<String, RBloomFilter>(4);
});
map.put(prefix + timeFormatter + key, bloomFilter);
isSuccess = true;
return isSuccess;
}
@Override
public boolean add(String key, String value) {
String timeFormatter = formatter.format(LocalDateTime.now());
ConcurrentHashMap<String, RBloomFilter> map = bloomFilterMap.get(key);
if (Objects.isNull(map)) {
log.error("add name key one value is null, name is {},value is {}", key, value);
return false;
}
RBloomFilter rBloomFilter = map.get(prefix + timeFormatter + key);
if (Objects.isNull(rBloomFilter)) {
log.error("add name key one value is null, name is {},redis key is {},value is {}", key, prefix + timeFormatter + key, value);
return false;
}
return rBloomFilter.add(value);
}
@Override
public boolean add(String key, List<String> list) {
String timeFormatter = formatter.format(LocalDateTime.now());
ConcurrentHashMap<String, RBloomFilter> map = bloomFilterMap.get(key);
if (Objects.isNull(map)) {
log.error("add name key list value is null, name is {}", key);
return false;
}
RBloomFilter rBloomFilter = map.get(prefix + timeFormatter + key);
if (Objects.isNull(rBloomFilter)) {
log.error("add name key list value is null, name is {},redis key is {}", key,prefix + timeFormatter + key);
return false;
}
list.forEach(value -> rBloomFilter.add(value));
return true;
}
@Override
public boolean containsValue(String key, String value) {
ConcurrentHashMap<String, RBloomFilter> map = bloomFilterMap.get(key);
if (Objects.isNull(map)) {
log.error("containsValue key is exist, key is {}", key);
return false;
}
for (Map.Entry<String, RBloomFilter> entry : map.entrySet()) {
if (entry.getValue().contains(value)) {
return true;
}
}
return false;
}
@Override
public boolean containKey(String key) {
return bloomFilterMap.containsKey(key);
}
}
测试类:(这里的测试,有关于已经存在值的判断)
@Test
public void testRedissonBloom() throws InterruptedException {
//创建过滤器
redissonBloomFilterService.initNewFilter("bloomkey1", 60L, SECONDS, 50, 0.1);
redissonBloomFilterService.initNewFilter("bloomkey2", 60L, SECONDS, 50, 0.1);
for (int i = 0; i < 50; i++) {
redissonBloomFilterService.add("bloomkey1", "" + i);
if (i > 30) {
redissonBloomFilterService.add("bloomkey2", "" + i);
}
}
int j1 = 0;
int j2 = 0;
for (int i = 0; i < 100; i++) {
boolean exists = redissonBloomFilterService.containsValue("bloomkey1", "" + i);
if (exists) {
System.out.println("bloomkey1有误判" + (++j1) + "i是" + i);
}
boolean exists2 = redissonBloomFilterService.containsValue("bloomkey2", "" + i);
if (exists2) {
System.out.println("bloomkey2" +
"有误判" + (++j2) + "i是" + i);
}
}
CountDownLatch beginCount = new CountDownLatch(1);
beginCount.await();
}
文章浏览阅读8.6k次。一、Linux记录用户登录信息文件1 /var/run/utmp----记录当前正在登录系统的用户信息;2 /var/log/wtmp----记录当前正在登录和历史登录系统的用户信息;3 /var/log/btmp:记录失败的登录尝试信息。二、命令用法1.命令last,lastb---show a listing of la_怎么记录linux设备 发声的登录和登出
文章浏览阅读167次。摘要:1. 简介 2. 公园迷宫漫步 3. 无线迷宫与最短(不加权)路径问题 4. 强连通分量1. 简介在计算机科学裡,树的遍历(也称为树的搜索)是圖的遍歷的一种,指的是按照某种规则,不重复地访问某种樹的所有节点的过程。具体的访问操作可能是检查节点的值、更新节点的值等。不同的遍历方式,其访问节点的顺序是不一样的。两种著名的基本遍历策略:深度优先搜索(DFS) 和 广度优先搜索(B...
文章浏览阅读591次。提起报表,大家会觉得即熟悉又陌生,好像常常在工作中使用,又似乎无法准确描述报表。今天我们来一起了解一下什么是报表,报表的结构、构成元素,以及为什么需要报表。什么是报表简单的说:报表就是通过表格、图表等形式来动态显示数据,并为使用者提供浏览、打印、导出和分析的功能,可以用公式表示为:报表 = 多样的布局 + 动态的数据 + 丰富的输出报表通常包含以下组成部分:报表首页:在报表的开..._activereports.net 实现查询报表功能
文章浏览阅读6.6k次。最近实验室需要用Cadence,这个软件的安装非常麻烦,每一次配置都要几个小时,因此打算把Cadence装进Docker。但是Cadence运行时需要GUI,要对Docker进行一些配置。我们实验室的服务器运行的是Ubuntu18.04,默认桌面GNOME,Cadence装进Centos的Docker。安装Ubuntu18.04服务器上安装Ubuntu18.04的教程非常多,在此不赘述了安装..._docker xrdp ubuntu
文章浏览阅读1.8k次,点赞2次,收藏2次。首先导入头文件#import 导入头文件后创建几个相机必须实现的对象 /** * AVCaptureSession对象来执行输入设备和输出设备之间的数据传递 */ @property (nonatomic, strong) AVCaptureSession* session; /** * 输入设备 */_ios avcapturestillimageoutput 兼容性 ios17 崩溃
文章浏览阅读982次。按照OracleDocument中的描述,v$sysstat存储自数据库实例运行那刻起就开始累计全实例(instance-wide)的资源使用情况。 类似于v$sesstat,该视图存储下列的统计信息:1>.事件发生次数的统计(如:user commits)2>._oracle v$sysstat视图
文章浏览阅读7.6k次,点赞2次,收藏9次。我最近做SPA项目开发动态树的时候一直遇到以下错误:当我点击文章管理需要跳转路径时一直报NavigationDuplicated {_name: “NavigationDuplicated”, name: “NavigationDuplicated”}这个错误但是当我点击文章管理后,路径跳转却是成功的<template> <div> 文章管理页面 <..._navigationduplicated {_name: 'navigationduplicated', name: 'navigationduplic
文章浏览阅读3.9k次。版本VoiceEngine 4.1.0舒适噪音生成(comfort noise generator,CNG)是一个在通话过程中出现短暂静音时用来为电话通信产生背景噪声的程序。#if defined(WEBRTC_ANDROID) || defined(WEBRTC_IOS)static const EcModes kDefaultEcMode = kEcAecm;#elsestati..._webrtc aecm 杂音
文章浏览阅读6.3k次,点赞9次,收藏19次。医学成像原理与图像处理一:概论引言:本系列博客为医学成像原理与图像处理重要笔记,由于是手写,在此通过扫描录入以图片的形式和电子版增补内容将其进行组织和共享。前半部分内容为图像处理基础内容,包括图像的灰度级处理、空间域滤波、频率域滤波、图像增强和分割等;后半部分内容为医学影象技术,包括常规胶片X光机、CR、DR、CT、DSA等X射线摄影技术、超声成像技术、磁共振成像(MRI)技术等。本篇主要内容是概论。_医学成像与图像处理技术知识点总结
文章浏览阅读591次,点赞13次,收藏10次。notepad++ v8.5.3 安装插件,下载进度为0_nodepa++
文章浏览阅读2.1w次。用spark执行SQL保存到Hive中: hiveContext.sql("insert overwrite table test select * from aaa")执行完成,没报错,但是核对结果的时候,发现有几笔数据超出指定范围(实际只包含100/200)最终排查到是ret_pay_remark 字段包含换行符,解决方案:执行SQL中把特殊字符替换掉regexp_replace(..._hive sql \n
文章浏览阅读520次,点赞10次,收藏8次。印象笔记05:如何打造更美的印象笔记超级笔记本文介绍印象笔记的具体使用,如何打造更美更实用的笔记。首先想要笔记更加好看和实用,我认为要使用超级笔记。所谓超级笔记就是具有很多便捷功能的笔记。_好的印象笔记怎么做的