【译】在BigCache缓存中存储空接口_big-cache-程序员宅基地

技术标签: Gopher  golang  服务端开发  

前言

终于结束了两个月的找工作战役,前前后后面试了几十场,结果不是很理想,但是也还不错。经过这次换工作,我的感慨颇多,深刻感到自己最近2年多过于懈怠,成长缓慢。痛定思痛,今后一定要在一个领域深耕下去,提升自己的专业能力。Golang是我目前和接下来一段时间内的主要工作语言,遂决定在Golang的领域做深,做强,成为Golang专家,矢志不渝。

今天在Go中文社区看到翻译小组,个人一直对翻译英文文档颇感兴趣,因此决定翻译一篇文章。


原文地址:

Storing Empty Interfaces in BigCache

https://dev.to/calebschoepp/storing-empty-interfaces-in-bigcache-1b33

译文

本文也发表在我的个人博客

博客

https://calebschoepp.com/blog

在近期的工作中,我被安排给我们的一个Golang服务加缓存。这个特殊的服务的功能是给新来的请求提供一个接口鉴权用的键。所以对于每一个请求,即使使用相同的键,这个服务也产生了一次额外的数据库请求来验证键的合法性。这可不太妙。实现这个缓存最后比我刚开始预想的要更困难。

在做了一些调研和工程师们的详细的讨论后,我们得出了BigCache(大缓存)最适合我们的需要的结论。

这是个陷阱。在BigCache中的set方法的格式是Set(key string, entry []byte) error。这个方法希望使用者存储一个字节切片。不过,我们想要存储的是一个用多个字段来表示API接口键的结构体。这一次我们可以只存储实际的键的字节。但是这只不过是延迟解决这个问题而已。我们需要像其他Golang缓存实现的定义,Set(key, entry interface{})。这样我们就可以存储我们想存的任何类型了。

这个问题最明显的解决方案是序列化。如果我们能把一个实体结构体序列化成一个字节切片,那么我们就可以存储任何东西了。如果我们想使用我们存储的结构体元素,我们可以从缓存中获取字节切片,然后反序列化。序列化结构体既重要又简单,在Golang中有一些可用的编码库供使用。不过,现在让人头疼的问题来了。当我们反序列化字节时,语言本身如何才能知道结构体有哪些字段,并且如何把对应的数据填充进去呢?最后发现了encoding/gob, 这是Golang 特有的序列化库,就有这个能力。

强烈推荐你去阅读Rob Pike发表的一篇讨论Gob的博客;那是一个很好的文章。简单来说,Gob是Go语言原生的序列化数据方法,此外他也有序列化接口类型的能力。为了实现这个功能,你需要在序列化你的类型前,用一个合适的命名注册函数来注册你的类型。最后我被卡在这了,因为我发现任何register()的代码示例,都会注册一个具体的结构体或者接口标识;我需要他能注册一个任意的接口类型。尽管有一些混乱,但是我发现在Go语言的原生中也可以实现。

// 大部分代码示例这样做
type foo struct {
   bar string
}

gob.register(foo{})

// 我需要的并且发现可行
var type interface{} // 可以是任何类型
gob.register(type)

全部合到一起

由于存储任意的结构体成字节的问题解决了,接下来我就展示我怎么把它们放到一起的。首先我们想要一个缓存使用的接口,系统中其他部分可以相互作用。对于一个简单的缓存系统,我们不需要比get和set更多的方法了。

type Cache interface {
   Set(key, value interface{}) error
   Get(key interface{}) (interface{}, error)
}

现在我们来定义BigCache的实现,兑现上面的接口设计。首先我们需要一个结构体承载缓存的数据,并且给它配备对应的方法。你也可以在结构体里加入其他的东西,比如一些指标。

type bigCache struct {
   cache *bigcache.BigCache
}

接下来是get和set方法的实现。两个方法都断言键key是字符串类型。这里,get和set方法是互相对照的。一个是序列化数据并且存储数据。另一个是读取数据并且反序列化。

func (c *bigCache) Set(key, value interface{}) error {
   // 断言key属于字符串类型
   keyString, ok := key.(string)
   if !ok {
      return errors.New("a cache key must be a string")
   }

   // 序列化value成字节
   valueBytes, err := serialize(value)
   if err != nil {
      return err
   }

   return c.cache.Set(keyString, valueBytes)
}

func (c *bigCache) Get(key interface{}) (interface{}, error) {
   // 断言key属于字符串类型
   keyString, ok := key.(string)
   if !ok {
      return nil, errors.New("a cache key must be a string")
   }

   // 读取被存在字节序列里的value
   valueBytes, err := c.cache.Get(keyString)
   if err != nil {
      return nil, err
   }

   // 反序列化字节切片里的value
   value, err := deserialize(valueBytes)
   if err != nil {
      return nil, err
   }

   return value, nil
}

最后encoding/gob序列化逻辑。在使用register()之外,在Go语言里这是标准的序列化数据方法。

func serialize(value interface{}) ([]byte, error) {
   buf := bytes.Buffer{}
   enc := gob.NewEncoder(&buf)
   gob.Register(value)

   err := enc.Encode(&value)
   if err != nil {
      return nil, err
   }

   return buf.Bytes(), nil
}

func deserialize(valueBytes []byte) (interface{}, error) {
   var value interface{}
   buf := bytes.NewBuffer(valueBytes)
   dec := gob.NewDecoder(buf)

   err := dec.Decode(&value)
   if err != nil {
      return nil, err
   }

   return value, nil
}

并且对应在BigCache里面管理存储的interface{}接口值。现在我团队负责的服务效率更高了一些。漂亮!如果你正在寻找一个更详细的实现,不妨看看我的摘要。

如果你喜欢本文,那么请移步我的博客查看其他内容。


写在后面

文章翻译完了,难度不大,比较好理解。其中有些不是很优雅的地方,欢迎大佬们指点。也欢迎喜欢技术的朋友关注我的公众号,交流技术,交流生活与人生感悟。

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/xu070111119/article/details/106564139

智能推荐

hive(一)hive的安装与基本配置_hive安装与配置详解-程序员宅基地

文章浏览阅读2.7w次,点赞24次,收藏283次。一、前提:安装hive所需要的虚拟机环境为虚拟机安装有Hadoop并且集群成功,同时Hadoop需要在启动状态下,同时需要安装有mysql。不需要有zookeeper和HA,由于HA中含有大量进程,启动会占用很多资源,建议不要有HA二、安装步骤:1、上传jar包至/usr/local/soft将hive-3.1.2上传到虚拟机中的/usr/local/soft目录下2、解压并重命名tar -zxvf apache-hive-3.1.2-bin.tar.gz# 重命名mv ap_hive安装与配置详解

浅谈Java NIO

了解Java NIO

Redis底层数据结构之quicklist

QuickList是由多个 ziplist 组成的双向链表,每个 ziplist 存储一定数量的元素。优点:结合了 ziplist 和双向链表的优点,既节省空间,又提升了修改操作的性能。使用场景: 在列表键元素较多或包含较大元素时使用。ziplist补充(ziplist缺点-链式扩容&级联更新)当一个entry被插入的时候,我们需要设置下一个entry中的prevlen字段为新插入entry的长度。

设计模式- 单例模式(Singleton)结构|实现方式|优缺点|场景

单例模式(Singleton Pattern)是一种创建型设计模式,其目标是在整个应用程序中确保一个类只有一个实例,并提供一个全局访问点来获取这个实例。这种模式常用于那些需要严格控制全局唯一且共享访问点的场景,如数据库连接池、缓存管理器、日志记录器等

【Linux】进程的地址空间

这种行为是不建议的,因为进程内的数据量很大,并且也不是所有的数据都需要修改,更加浪费空间与时间。我们知道代码是只读的,子进程会继承父进程的数据,但是数据应该是可以修改的,那子进程修改数据不应该影响父进程的数据,所以子进程和父进程的g_val不能是同一个变量。可以看出,起初子进程和父进程都认为g_val值为100,且g_val地址相同,但当一段时间后子进程修改g_val的值后,子进程检测到的g_val值确实是修改后的值,但是父进程检测到的g_val确实修改前的值。在32位平台下,程序的地址空间大小为1G。

matlab timesat,timesat软件怎么装怎么用-程序员宅基地

文章浏览阅读1.3k次。timesat软件怎么装怎么用?一起来看看吧一、TimeSat 3.1软件安装;本文讲解TimeSat 3.1软件在Windows和Matlab平台的安装。1、打开Matlab 2011,点击菜单中的File→Set Path,如下如下图所示的对话框,点击Add with Subfolders,定位到TimeSat3.1所在的位置,点击确定。2、打开Matlab命令窗口Command Window..._timesat

随便推点

10大Firefox浏览器必备插件[转]-程序员宅基地

文章浏览阅读595次。Firefox浏览器是 目前最好用的浏览器产品,当微软IE浏览器因为安全问题补丁不断,当Google Chrome浏览器因为云计算太超前而生不逢时,Firefox就成了最好的选择。但是,没装插件的Firefox就如同不穿衣服的美女,上网冲浪总觉得 少点什么。所以,再此整理并隆重推荐10大Firefox浏览器必备插件,这些插件源自于Mozilla官方附加组件网站,都经过实际测试并使用半年以上,适用范..._火狐十大必用插件

解决Could not find com.android.tools.build:aapt2:3.2.0问题-程序员宅基地

文章浏览阅读4.9k次,点赞2次,收藏4次。前言:在导入一个demo出现该问题,问题点是Android studio3.2版本以后,AAPT2 (Android Asset Packaging Tool 2)的源代码就是谷歌的Maven存储库。要使用AAPT2,请确保构建中有一个谷歌()依赖项gradle文件如下:buildscript { repositories { jcenter() ma..._could not find com.android.tools.build:aapt2:3.2.0-4818971.

关于雪球网数据的爬取_vba雪球数据抓取-程序员宅基地

文章浏览阅读1.6k次。import jsonimport requestsheaders={ # 'Accept': '*/*', # 'Accept-Encoding': 'gzip, deflate, br', # 'Accept-Language': 'zh-CN,zh;q=0.9,en;q=0.8', # 'Connection': 'keep-alive', 'C..._vba雪球数据抓取

数据格式之Json及JsonCpp静态库文件的生成与使用_使用jsoncpp库生成另一个库-程序员宅基地

文章浏览阅读713次,点赞2次,收藏3次。本篇文章通过JsonCpp静态库文件的生成和简单的使用示例,来让大家初步了解一下数据格式中的Json_使用jsoncpp库生成另一个库

1、EureKa-server组件使用-客户端启动报错_eureka注册时为什么要导入web依赖-程序员宅基地

文章浏览阅读122次。Eurek-client 客户端需要增加依赖<dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-web</artifactId></dependency>_eureka注册时为什么要导入web依赖

【Odoo16前端源码分析】env变量_odoo16修改前端代码-程序员宅基地

文章浏览阅读583次。所以,在this.component实例内部的方法中,this.env中的属性会包含更多属性。但是View没有构造函数,无法接收构造传参,就有父类Component来接管。this.component是视图类C的实例,C一般是类View。1 env变量的创建。3 传给组件节点实例。_odoo16修改前端代码

推荐文章

热门文章

相关标签