笔记内容来自多本书籍、学术资料、白皮书及ChatGPT等工具,经由自己阅读后整理而成。
相关研究表明,联邦迁移学习不需要主服务器作为各参与方间的协调者,旨在让模型具备举一反三能力,在各参与方样本空间以及特征空间均存在较少交叉信息的情况下,使用迁移学习算法互助地构建模型,可解决标签样本少和数据集不足的问题,例如,某国电商平台与其他国家银行间的数据迁移场景,联邦迁移学习可以很好地解决数据交流问题。联邦迁移学习模式使用某参与方在当前迭代中已训练好的模型参数,迁移到另外一个参与方上,协助其进行新一轮模型训练。联邦迁移学习的主要步骤如下:
(1)参与方根据自身数据集,构建本地模型,获得数据表征,以及一组中间结果,加密后发送给其他参与方;
(2)其他参与方利用接收到的中间结果计算模型的加密梯度和损失值,加入掩码后发给原参与方,解密并更新各自的模型。
不断重复以上的步骤,直至损失函数收敛。在此过程中,相当于每个参与方都利用了其他参与方的当前模型和数据潜在的表征来更新各自的本地模型,买现了迁移学习的联邦模式,即联邦迁移学习。一般而言,联邦迁移学习还可以分为以下几种:
基于样本的联邦迁移学习
各参与方通过有选择地调整用于训练的样本权重来减少不同参与方样本之间分布的差异性,协同地训练得到一个联邦迁移模型。
基于特征的联邦迁移学习
通过最小化不同参与方之间的样本分布差异性或特征差异性来协同学习一个共同的特征空间,并以此特征空间来降低分类类别数或回归误差来实现联邦迁移模型的构建。
基于参数的联邦迁移学习
各参与方利用其他参与方的模型信息或先验关系来初始化或更新本地模型,以此借鉴其他参与方的数据表征和知识。
基于相关性的联邦迁移学习
对不同参与方的知识或特征空间进行相关性映射,并按照相关性顺序来利用其他参与方的知识映射更新本地模型,以此借鉴更多的知识。
总之,相较于传统的迁移学习,联邦迁移学习最大的特点是:基于多参与方的数据表征进行建模,但各参与方的原始数据不允许流向其他参与方,有效保护用户数据的隐私性和安全性。
除此之外,还有基于 Python 实现的视觉横向联邦开源框架 FedVision、基于 TensorFlow 的 TFF 框架、百度公司的 PaddleFL 框架、华控青交的 PrivPy 隐私计算平台、MesaTEE 安全计算平台 Teaclave、Conclave 查询系统、……
上面所述的横向联邦学习,典型案例是手机的输入法预测技术和视觉目标检测技术。纵向联邦学习中,典型案例则是银行和电商平台联合训练的推荐系统。企业之间多以纵向联邦学习的方式为主。
总的来说,联邦学习未来的发展可着眼于以下几个方面:
面向资源受限场景的应用研究
联邦学习的本质是一个分布式机器学习框架,网络通信是分布式节点间共同训练机器学习模型的重要基础,然而以边缘计算为代表的资源受限生产环境普遍存在。网络连接状态直接影响通信效率,需要设计灵活的本地模型更新方式、部分联邦学习参与方的选择机制、负载容错机制、模型压缩方法、模型协同训练方式,以解决存储、计算、网络连接、续航能力等资源受限带来的应用问题。
面向云边端一体化的联邦学习
由于 5G 通信、边缘计算等技术的发展,云边端一体化架构已成为信息技术服务的趋势;同时,泛在连接的终端促使大量异构终端接入联邦学习体系;如何高效融合资源,改进联邦学习的架构、机制、模式是重要的研究方向。
联邦学习的数据建模
数据联邦学习面临大量跨设备、非均匀、非独立同分布数据,需要在保证准确性和公平性前提下解决异构数据建模的非凸优化问题;同时,深入研究元学习和多任务学习等方法有助于数据的统计异质性建模。此外,基于异构数据的联邦学习要提升共享模型训练过程的收敛性。
严格的隐私安全
造成数据孤岛的一个重要原因就是数据隐私安全限制,而联邦学习可为各参与方提供数据隐私保护,将私有数据保留在本地。然而这需要在更精细级别上定义隐私,例如,本地或全局级别的隐私,以保证不同场景下联邦学习模型的准确性。此外,可以通过区块链的共识机制解决联邦学习参与方间的信任问题,建立最小信任模型。
合理的激励机制
在企业之间的联邦学习合作落地进程中,设计一个合理的、被广泛认可的纵向联邦学习激励机制,让参与到联邦建模的设备能获得额外的汇报,是迫切的需求,有着重要的商业意义。
与区块链联合
联邦学习旨在创造价值,而区块链旨在表示和转移价值。有以下两种基本结合方式,即攻击溯源和收益分配。第一种结合是利用区块链的记录不可被篡改的特性,对联邦学习合作方可能面临的恶意攻击进行追溯和惩罚。例如,多个参与方进行联邦学习的同时,部署区块链用于记录联邦学习的数据指纹(包括建模样本、推理样本、交互信息),而对应的原始数据存储于参与方本地。当发现有样本遭受恶意攻击时,由参与方或者第三方组成调查组,依据区块链记录的指纹对原始数据进行核验。第二种结合是利用区块链的价值表示和转移功能,对联邦学习服务所创造的价值进行记账和收益分配。例如,多个参与方进行联邦学习的同时,部署区块链用于记录服务的接口调用日志指纹、各个参与方的贡献、该服务所产生的收益,并通过智能合约自动将收益分配给各个参与方。
关于联邦学习,除了以上提及的横向联邦学习、纵向联邦学习和联邦迁移学习,还可以扩展延伸以下两个方向:
2023年10月份新开了一个GitHub账号,里面已放了一些密码学,隐私计算电子书资料了,之后会整理一些我做过的、或是我觉得不错的论文复现、代码项目也放上去,欢迎一起交流!Ataraxia-github
文章浏览阅读1k次。通过使用ajax方法跨域请求是浏览器所不允许的,浏览器出于安全考虑是禁止的。警告信息如下:不过jQuery对跨域问题也有解决方案,使用jsonp的方式解决,方法如下:$.ajax({ async:false, url: 'http://www.mysite.com/demo.do', // 跨域URL ty..._nginx不停的xhr
文章浏览阅读2k次。关于在 Oracle 中配置 extproc 以访问 ST_Geometry,也就是我们所说的 使用空间SQL 的方法,官方文档链接如下。http://desktop.arcgis.com/zh-cn/arcmap/latest/manage-data/gdbs-in-oracle/configure-oracle-extproc.htm其实简单总结一下,主要就分为以下几个步骤。..._extproc
文章浏览阅读1.5w次。linux下没有上面的两个函数,需要使用函数 mbstowcs和wcstombsmbstowcs将多字节编码转换为宽字节编码wcstombs将宽字节编码转换为多字节编码这两个函数,转换过程中受到系统编码类型的影响,需要通过设置来设定转换前和转换后的编码类型。通过函数setlocale进行系统编码的设置。linux下输入命名locale -a查看系统支持的编码_linux c++ gbk->utf8
文章浏览阅读750次。今天准备从生产库向测试库进行数据导入,结果在imp导入的时候遇到“ IMP-00009:导出文件异常结束” 错误,google一下,发现可能有如下原因导致imp的数据太大,没有写buffer和commit两个数据库字符集不同从低版本exp的dmp文件,向高版本imp导出的dmp文件出错传输dmp文件时,文件损坏解决办法:imp时指定..._imp-00009导出文件异常结束
文章浏览阅读143次。当下是一个大数据的时代,各个行业都离不开数据的支持。因此,网络爬虫就应运而生。网络爬虫当下最为火热的是Python,Python开发爬虫相对简单,而且功能库相当完善,力压众多开发语言。本次教程我们爬取前程无忧的招聘信息来分析Python程序员需要掌握那些编程技术。首先在谷歌浏览器打开前程无忧的首页,按F12打开浏览器的开发者工具。浏览器开发者工具是用于捕捉网站的请求信息,通过分析请求信息可以了解请..._初级python程序员能力要求
文章浏览阅读7.6k次,点赞2次,收藏6次。@Service标注的bean,类名:ABDemoService查看源码后发现,原来是经过一个特殊处理:当类的名字是以两个或以上的大写字母开头的话,bean的名字会与类名保持一致public class AnnotationBeanNameGenerator implements BeanNameGenerator { private static final String C..._@service beanname
文章浏览阅读6.9w次,点赞73次,收藏463次。1.前序创建#include<stdio.h>#include<string.h>#include<stdlib.h>#include<malloc.h>#include<iostream>#include<stack>#include<queue>using namespace std;typed_二叉树的建立
文章浏览阅读7.1k次。在Asp.net上使用Excel导出功能,如果文件名出现中文,便会以乱码视之。 解决方法: fileName = HttpUtility.UrlEncode(fileName, System.Text.Encoding.UTF8);_asp.net utf8 导出中文字符乱码
文章浏览阅读2.1k次,点赞4次,收藏23次。第一次实验 词法分析实验报告设计思想词法分析的主要任务是根据文法的词汇表以及对应约定的编码进行一定的识别,找出文件中所有的合法的单词,并给出一定的信息作为最后的结果,用于后续语法分析程序的使用;本实验针对 PL/0 语言 的文法、词汇表编写一个词法分析程序,对于每个单词根据词汇表输出: (单词种类, 单词的值) 二元对。词汇表:种别编码单词符号助记符0beginb..._对pl/0作以下修改扩充。增加单词
文章浏览阅读773次。我在使用adb.exe时遇到了麻烦.我想使用与bash相同的adb.exe shell提示符,所以我决定更改默认的bash二进制文件(当然二进制文件是交叉编译的,一切都很完美)更改bash二进制文件遵循以下顺序> adb remount> adb push bash / system / bin /> adb shell> cd / system / bin> chm..._adb shell mv 权限
文章浏览阅读6.8k次,点赞12次,收藏125次。1. 单目相机标定引言相机标定已经研究多年,标定的算法可以分为基于摄影测量的标定和自标定。其中,应用最为广泛的还是张正友标定法。这是一种简单灵活、高鲁棒性、低成本的相机标定算法。仅需要一台相机和一块平面标定板构建相机标定系统,在标定过程中,相机拍摄多个角度下(至少两个角度,推荐10~20个角度)的标定板图像(相机和标定板都可以移动),即可对相机的内外参数进行标定。下面介绍张氏标定法(以下也这么称呼)的原理。原理相机模型和单应矩阵相机标定,就是对相机的内外参数进行计算的过程,从而得到物体到图像的投影_相机-投影仪标定
文章浏览阅读2.2k次。文章目录Wayland 架构Wayland 渲染Wayland的 硬件支持简 述: 翻译一篇关于和 wayland 有关的技术文章, 其英文标题为Wayland Architecture .Wayland 架构若是想要更好的理解 Wayland 架构及其与 X (X11 or X Window System) 结构;一种很好的方法是将事件从输入设备就开始跟踪, 查看期间所有的屏幕上出现的变化。这就是我们现在对 X 的理解。 内核是从一个输入设备中获取一个事件,并通过 evdev 输入_wayland