SoterOne:高效分布式管理系统

OKX欧易app

OKX欧易app

欧易交易所app是全球排名第一的虚拟货币交易所,注册领取6万元盲盒礼包!

APP下载   官网注册

SoterOne使用一种新的分布式管理系统来结合联邦学习过程和SoterOne生态系统,我们称之为SoterOneService。在本次的专利中,我们介绍了SoterOneService的细节和创新。

1. 联邦学习

联邦学习是一种机器学习技术,它可以在不交换原始数据的情况下跨多个参与方训练数据模型。这有助于在多方之间连接数据,同时保护隐私。然而,联邦学习运行时仍然只在一些领域内,并没有完全向公众开放。

对公众开放面临的挑战是:

1)公众是分散的,可能会报告不正确的信息。对于具有未知执行环境的参与方,没有很好的解决方案来调度联合学习作业;2)公众对数据使用的限制更大;3)面对更多的公众用户,需要一个去中心化的、分布式的管理系统。由于单点资源和故障隐患,恶意行为检测器也需要去中心化。

2. SoterOneService及其功能

SoterOneService的开发旨在为联邦学习提供一个分布式管理系统,该系统可供公众使用,有助于探索数据在不同方面的潜力。该管理系统可以惩罚那些报告不正确信息的恶意或欺诈的公众当事人,并满足不同公众用户的不同隐私要求。

SoterOneService引入了一个信誉反馈机制来鼓励参与方报道正确的信息。信誉分的定义公式如下所示:

Q是信誉更新函数。管理体系、质量控制反馈和现有的信誉评分都会对更新的评分做出贡献。信誉评分公开显示,供QC日后参考。此外,在调度查询时,管理系统检测到的不正确的资源配置文件也将被取消优先级。

另外,SoterOneService是一个自然分布式系统,其中每个组件都可以被拆分成微服务,并且可以水平扩展。

SoterOneService管理系统有四大职责:

1.节点管理2.数据集元数据管理3.查询管理4.资源管理

3. SoterOneService的工作细节

如图所示:

A.节点管理(NodeManager9):参与联邦学习过程的所有各方(DO3、MPC4和QC5)都由管理系统管理。他们的个人资料需要被注册和维护。

QC是从用户界面启动联邦学习过程的客户。他们使用加密的RESTfulAPI6与构建在管理系统顶部的网络服务通信。他们可以首先从数据集/MPC目录中选择所需的数据集和MPC节点来启动联邦学习过程,然后通过上传模型和数据配置来构造联邦学习查询;最后开始学习过程。

DO/MPC是联邦学习过程中的数据和计算资源所有者。他们将运行由平台提供并可执行的二进制文件,并使用加密的RPC7与平台进行通信。这些二进制文件将自己注册到平台,并定期向管理系统发送心跳信号,报告它们的活跃度和资源使用快照。

一旦DO/MPC/QC完成了所有工作并且决定离开平台,他们可以在平台注销,其所有敏感信息都会被清洗和移除。

由于隐私问题,个体只能访问自己拥有的资源。所有请求都将进行权限验证,如果权限设置不正确,则可能会被管理系统阻止。

B.数据集元数据管理(DatasetmetadataManager10):数据集元数据将由其数据所有者(DO)通过CLI上传,并由管理系统聚合。在上传过程中,所有敏感数据都将被屏蔽。一旦上传,管理系统将以各种方式对其进行分组和过滤,以帮助QC确定最适合其查询的数据集。通过适当的分组,该平台还将探索更多的联邦成员学习机会,并吸引更多的QC在该平台上进行尝试。

数据集/MPC目录也将由管理系统显示。它不仅将显示数据集元数据,还将跟踪数据集和MPC的使用统计信息,包括选择次数、成功/失败率和作业历史记录等。

C.查询管理(QueryManager11):联邦学习查询将由QC发起,然后由管理系统管理。管理系统将为选定的节点分配任务,监控整个任务集群,并将成功/失败状态返回给QC。如果任务失败,管理系统将启动故障恢复过程来恢复作业。如果作业无法恢复,管理系统将启动清理过程。查询管理流程如下:

1.QC向管理系统提交查询。2.管理系统验证查询中包含的节点(MPC、DO和数据集兼容性)的可用性。将查询状态设置为“querydispatched”,并通过广播信道8广播消息。典型的广播通信信道可以是P2P网络和区块链。3.当DO/MPC看到广播的“QueryDispatched”消息时,它们将与其他参与者连接并启动查询执行过程。4.查询过程开始后,管理系统将不参与联邦学习过程。它只监视节点的活动性并等待结果。5.一旦管理系统收到最终结果,管理系统将通知QC,并在ξ后开始清理过程,通过向所有实体广播“查询清理”消息。所有与查询相关的信息都将在DO/MPCs中删除或删除。只有管理系统会存储查询统计信息以及最终的查询结果。6.如果MPC在学习过程中崩溃,管理系统将选择不同的MPC并广播“queryMPCUpdated”消息,其中包含旧MPC和新MPC,以便切换连接。a.新的MPC是根据MPC的活力,版本和信誉来选择的。7.如果DO在学习过程中崩溃,管理系统将通过通信通道直接广播“查询失败”消息。所有接收消息的各方都将启动内部清理进程。8.如果在此过程中管理系统崩溃,则各方将继续执行查询,直到

本站所有软件信息均由用户上传发布,版权归原著所有。如有侵权/违规内容,敬请来信告知邮箱:764327034@qq.com,我们将及时撤销! 转载请注明出处:https://czxurui.com/zx/41651.html

打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2023年08月03日
下一篇 2023年08月03日

相关推荐

  • Web3初创公司Immix完成270万美元种子轮融资,MassMutual Ventures领投

    CoinON消息,据 Tech in Asia 报道,Web3 初创公司 Immix 完成 270 万美元种子轮融资,MassMutual Ventures 领投,Ripple 参投。这些资金将用于开发 Immix 的交易平台并提高其做市产

    2023-09-13 18:00:44
    29 0
  • 「金色财经」AMC俱乐部DAO系统今日正式上线

    「金色财经」据官方消息,AMC俱乐部DAO系统今天正式上线。AMC俱乐部DAO系统利用区块链技术和人工智能工具,实现社区俱乐部开放、公平、公正的管理体系,通过Club、NFT投票系统和人工智能管理系统,实现俱乐部的发展。AIMetaClub

    2023-08-31 20:00:08
    24 0
  • 企业云盘的文件管理系统简介

    现在许多大型公司已经习惯使用企业云盘来进行文件管理,但仍有一些企业对这种文件管理系统不太熟悉。下面我将简单介绍一下企业云盘的作用。一、高效管理数字资产数字资产在当今社会也是一种重要的资产,甚至比实物资产更重要。企业云盘的文件管理系统使得对这

    2023-08-11 18:00:17
    19 0
  • 湖南“崀霞湘溢”公司:从直销梦到特大传销案

    最近,中新观察在中国裁判文书网上注意到一则《刑事判决书》(2020)湘0922刑初183号。据该《刑事判决书》显示,桃江县人民检察院以桃检刑诉(2020)197号起诉书指控被告人高某远、黄某麟、曹某喜犯组织、领导传销活动罪,于2020年7月

    2023-08-06 09:01:10
    21 0
  • 波卡生态龙头:SoterOne之路

    点击上方蓝字关注我隐私保护是Web3.0的核心,是区块链发展的核心愿景。由于数据具有很强的可复制性,所以针对隐私数据,现在一般的做法是不予共享。但是,这样的数据没办法很好的被利用,这极大的降低了数据价值。隐私保护需要能在公共网络(场合)共享

    2023-08-04 05:01:32
    19 0
  • 雄安新区借助区块链高质量发展

    区块链技术在智慧城市与数字城市建设过程中发挥着重要作用。它为城市数据的可信流转提供了低成本、高效的解决方案,成为智能城市建设的基石。在雄安新区的建设中,区块链已经深度融入,并发挥着重要的作用。雄安集团通过建立区块链资金管理平台、雄信平台、区

    2023-07-16 23:00:30
    18 0

发表回复

8206
验证码

评论列表(0条)

    暂无评论

ok交易所
已有100万用户加入ok交易所

立即下载