耗时 11 ms,总记录数 11419 更新时间 2019-05-23 04:21:46

  • 分布式框架之ZooKeeper系列(一) _我要知道_郭雄飞

    分布式框架之ZooKeeper系列(一)

    [摘要]一、服务注册中心介绍分布式服务框架部署在多台不同的机器上。例如服务A是订单相关的处理服务,服务B是订单的客户的相关信息服务。此时有个需求需要在服务A中获取订单客户的信息。如下图:此时就面临以下几个问题:1、集群A中的服务调用者如何发现集群B中的服务提供者。2、集群A中的服务调用者如何选择集群B中的某一台服务提供者去调用。3、集群B中某台机器下线,集群A怎么避免下次调用不在使用这台掉线的机器?4、集
  • Dubbox分布式框架 _我要知道_郭雄飞

    Dubbox分布式框架

    [摘要]一:简介:前身是阿里巴巴的一个开源的项目,后来停止维护,由当当网继续维护,它致力于rpc远程的调度方案.是一个服务框架二:执行原理图:节点角色说明:·Provider:暴露服务的服务提供方。·Consumer:调用远程服务的服务消费方。·Registry:服务注册与发现的注册中心。·Monitor:统计服务的调用次调和调用时间的监控中心。·Container:服务运行容器。调用关系说明:·0.服务
  • 美团分布式服务通信框架及服务治理系统OCTO _我要知道_郭雄飞

    美团分布式服务通信框架及服务治理系统OCTO

    [摘要]一、什么是OCTO定义:OCTO是美团的分布式服务通信框架及服务治理系统,属于公司级基础设施,目前尚未开源。目标:为公司所有业务提供统一的服务通信框架,使业务具备良好的服务运营能力,轻松实现服务注册、服务自动发现、负载均衡、容错、灰度发布、调用数据可视化等,持续提升服务高可用性、服务运维效率。类比:美团点评内部类似的框架还有pigeon(已开源,https://github.com/dianpin
  • “若干分布式事务框架”与“我的偏见” _我要知道_郭雄飞

    “若干分布式事务框架”与“我的偏见”

    [摘要]本文来谈谈我对若干分布式事务框架的看法,只谈设计时导致无法轻易改变的硬伤(或者说我的偏见),其优点应该已表现在其文档中,不再赘述。至于我的偏见能不能成为你的偏见,请自行思考核实,仅供大家选型时开拓思路使用。靶子以下我略有了解的框架将成为靶子:TransactionsEssentials(atomikos免费版)tcc-transactionByteTCChmilytx-lcnGTSEasyTran
  • “分布式”学习与项目总结 _我要知道_郭雄飞

    “分布式”学习与项目总结

    [摘要]所谓“当局者迷,旁观者清”,当我迷惑于当前知识的时候,证明我正平行于或低于该知识平面高度去学习这些知识,结果只有一个——“混乱”。因为自身没有一个高层次的“纲”让自己清晰且逻辑地“收编”和“汇总”这些知识,也许“知识焦虑”就这么来的。在管理层面上,面对矩阵型组织架构上X轴(项目经理)与Y轴(职能经理)平面上的矛盾,我会通过高层次的“目标共性”来一致性项目经理和职能经理的共同目标,让“矛盾”转化“合
  • 服务器架构框架 _我要知道_郭雄飞

    服务器架构框架

    [摘要]注:以下是一些服务器开发时常见框架的汇总,其中的排名是根据本人熟悉程度排序,不代表任何官方排名,详细性能比较请参考所提供的博客通道。1.负载均衡服务器硬件类F5BIG-IP负载均衡器基于简单的Web管理界面,具有负载均衡、应用交换、会话交换、状态监控、智能网络地址转换、通用持续性、响应错误处理、IPv6网关、高级路由等很多功能Array新一代L4-L7应用交付控制器,Web应用加速器高性能SSLV
  • 聊聊分布式开发 Spring Cloud

    [摘要]概述本文章只是简单介绍了微服务开发的一些关键词,如果需要知道具体实现和可以评论留言我会及时的增加连接写出具体实现(感觉没人看就没写具体实现)。持续更新中。。。。。。SpringCloud和Dubbo的区别Dubbo的定位始终是一款基于传输层(TCP)的RPC框架,RPC(RemoteProcedureCall)通信过程在传输层中完成(HTTP通信在应用层完成),所以RPC调用方式需要服务端与客户端
  • 在.NET Core中使用Exceptionless分布式日志收集框架 _我要知道_郭雄飞

    在.NET Core中使用Exceptionless分布式日志收集框架

    [摘要]一.Exceptionless简介Exceptionless是一个开源的实时的日志收集框架,它可以应用在基于ASP.NET,ASP.NETCore,WebApi,WebForms,WPF,Console,MVC等技术栈的应用程序中,并且提供了Rest接口可以应用在Javascript,Node.js中。它将日志收集变得简单易用并且不需要了解太多的相关技术细节及配置。在以前,我们做日志收集大多使用L
  • 分布式架构的基石,简单的 RPC 框架实现(JAVA)

    [摘要]RPC架构RPC的全称是RemoteProcedureCall,它是一种进程间通信方式。允许像调用本地服务一样调用远程服务。1.RPC框架原理RPC框架的目标就是让远程过程(服务)调用更加简单、透明,RPC框架负责屏蔽底层的传输方式(TCP或者UDP)、序列化方式(XML、JSON、二进制)和通信细节。框架使用者只需要了解谁在什么位置,提供了什么样的远程服务接口即可,开发者不需要关心底层通信细节和
  • day01_品优购电商项目_01_走进电商分布式框架-Dubbox品优购-框架搭建逆向工程品牌列表展示常见错误_用心笔记 _我要知道_郭雄飞

    day01_品优购电商项目_01_走进电商分布式框架-Dubbox品优购-框架搭建逆向工程品牌列表展示常见错误_用心笔记

    [摘要]课程目标目标1:了解电商行业特点以及理解电商的模式目标2:了解整体品优购的架构特点目标3:能够运用Dubbox SSM搭建分布式应用目标4:搭建工程框架,完成品牌列表后端代码1.走进电商1.1电商行业分析  近年来,中国的电子商务快速发展,交易额连创新高,电子商务在各领域的应用不断拓展和深化、相关服务业蓬勃发展、支撑体系不断健全完善、创新的动力和能力不断增强。电子商务正在与实体
  • 聊聊分布式事务 _我要知道_郭雄飞

    聊聊分布式事务

    [摘要]这次使用分布式事务框架过程中了学习了一些分布式事务知识,所以本文我们就来聊聊分布式事务那些事。首先我们先回顾下什么是事务。事务什么是事务?这个作为后端开发,日常开发中只要与数据库有交互,肯定就会使用过事务。现在摘抄一段wiki的解释,解释下什么是事务。是数据库管理系统执行过程中的一个逻辑单位,由一个有限的数据库操作序列构成数据库系统具有事务特性,这是其有别与文件系统重要特性。传统的文件系统,如果正
  • zabbix分布式监控部署--技术流ken _我要知道_郭雄飞

    zabbix分布式监控部署--技术流ken

    [摘要]前言zabbixproxy可以代替zabbixserver检索客户端的数据,然后把数据汇报给zabbixserver,并且在一定程度上分担了zabbixserver的压力.zabbixproxy可以非常简便的实现了集中式、分布式监控.zabbixproxy使用场景:监控远程区域设备监控本地网络不稳定区域当zabbix监控上千设备时,使用它来减轻server的压力简化zabbix的维护zabbixp
  • 200行代码,7个对象——让你了解ASP.NET Core框架的本质 _我要知道_郭雄飞

    200行代码,7个对象——让你了解ASP.NET Core框架的本质

    [摘要]2019年1月19日,微软技术(苏州)俱乐部成立,我受邀在成立大会上作了一个名为《ASP.NETCore框架揭秘》的分享。在此次分享中,我按照ASP.NETCore自身的运行原理和设计思想创建了一个“迷你版”的ASP.NETCore框架,并且利用这个“极简”的模拟框架阐述了ASP.NETCore框架最核心、最本质的东西。整个框架涉及到的核心代码不会超
  • 分布式 - 分布式系统的特点 _我要知道_郭雄飞

    分布式 - 分布式系统的特点

    [摘要]20世纪60年代,IBM研发了System360架构大型机,与同时期的波音707、福特汽车誉为商业三大成就,凭借其卓越的性能和良好的稳定性,开启了大型机的时代,诞生了非常多的集中式系统,采用单机架构,有非常好的单机处理能力。然而,大型机的高性能也伴随着高成本,包括购买成本和运维成本,对运维人员的要求非常之高,需要掌握大型机紧密设计的技术细节。并且购买成本也是极其昂贵,起步几百万刀,甚至更高,只有政
  • 分布式事务业界主流方案 _我要知道_郭雄飞

    分布式事务业界主流方案

    [摘要]一句话总结:分布式事务业界主流方案:两阶段提交方案(包括XA方案和TCC方案)、消息队列方案。1、两阶段提交方案1.1XA方案XA协议流程可以查看作者另一篇“2PC两阶段提交协议”,XA方案是资源层的两阶段提交,通常应用于多数据库操作的场景,如Mysql5.5版本以上Innodb引擎原生支持XA。应用层可搭配SpringJTA对接数据库XA,开发人员即可无需处理多库事务,交给框架和DB处理。1.2
  • 分布式定时器的一些解决方案 _我要知道_郭雄飞

    分布式定时器的一些解决方案

    [摘要]前言之前写SpringBoot时,有简单介绍过分布式定时器的一些思路(SpringBoot|第二十二章:定时任务的使用)。原来的项目本身使用dubbo实现了一个简单的实现,目前项目迁移至SpringCloud后,原来的就不适用了,但基本原理都是差不多的,都是集中管理需要调用的api及调度等相关信息。故本篇会简单介绍下一些常见的分布式定时器的实现方案,还会编写一个基于http调用的统一调度项目,实现
  • 分布式系统监视zabbix讲解二之邮件报警通知--技术流ken _我要知道_郭雄飞

    分布式系统监视zabbix讲解二之邮件报警通知--技术流ken

    [摘要]概述在上一篇博客《分布式系统监视zabbix讲解一技术流ken》中已经详细讲解了如何安装zabbix,本篇博客将详细讲解如何使用zabbix监控另外一台主机,并实现email报警通知机制。首先我们需要创建一个需要被监控的主机,并设置相应的监控项。当监控项收集了数据后,触发器会根据异常状态触发报警。根据一些报警机制,它也会通知我们一些重要的事件,而不需要我们直接在Zabbix前端进行查看。这就是通知
  • 跟繁琐的命令行说拜拜!Gerapy分布式爬虫管理框架来袭! _我要知道_郭雄飞

    跟繁琐的命令行说拜拜!Gerapy分布式爬虫管理框架来袭!

    [摘要]背景用Python做过爬虫的小伙伴可能接触过Scrapy,GitHub:https://github.com/scrapy/scrapy。Scrapy的确是一个非常强大的爬虫框架,爬取效率高,扩展性好,基本上是使用Python开发爬虫的必备利器。如果使用Scrapy做爬虫,那么在爬取时,我们当然完全可以使用自己的主机来完成爬取,但当爬取量非常大的时候,我们肯定不能在自己的机器上来运行爬虫了,一个好
  • 分布式事务框架Seata及EasyTransaction架构的比对思考 _我要知道_郭雄飞

    分布式事务框架Seata及EasyTransaction架构的比对思考

    [摘要]本文将会对比Seata与EasyTransaction两个分布式事务的一些高层设计,相信大家会有收获。Seata的概述Seata(曾用名Fescar,开源版本GTS)是阿里的开源分布式事务框架,其RoadMap中指出了其希望与社区合作重新构建出一个全面的分布式事务框架。关于Seata的相关介绍可以看这里,本文不再赘述。虽然其后续路线有所调整,但整体适用。https://github.com/sea
  • 自己动手实现分布式任务调度框架 _我要知道_郭雄飞

    自己动手实现分布式任务调度框架

    [摘要]前段时间,公司要改造现有的单节点调度为分布式任务调度,然后就研究了目前市面上主流的开源分布式任务调度框架,用起来就一个感觉:麻烦!特别是之前在一个类里写了好多个调度任务,改造起来更加麻烦。我这人又比较懒,总感觉用了别人写好的工具还要改一大堆,心里就有点不舒服。于是我就想自己写一个框架,毕竟自己觉得分布式任务调度在所有分布式系统中是最简单的,因为一般公司任务调度本身不可能同时调度海量的任务,很大的并
  • 002.AnyCast技术浅析 _我要知道_郭雄飞

    002.AnyCast技术浅析

    [摘要]一常见通信方式1.1UniCastAnyCastUniCast,即单播,指网络中一个节点与另一个节点之间需要建立一个单独的数据通道,从一个节点发出的信息只被一个节点收到,这种传送方式称为单播。即网络中从源向目的地转发单播流量的过程,IP地址与节点(主机)一一对应,单播流量地址唯一。每个节点必须分别对需要访问的节点发送单独的查询,而被访问节点必须向每个访问节点发送所申请的数据包拷贝。1.2Multi
  • Zookeeper系列二:分布式架构详解、分布式技术详解、分布式事务 _我要知道_郭雄飞

    Zookeeper系列二:分布式架构详解、分布式技术详解、分布式事务

    [摘要]一、分布式架构详解1、分布式发展历程1.1单点集中式特点:App、DB、FileServer都部署在一台机器上。并且访问请求量较少1.2应用服务和数据服务拆分特点:App、DB、FileServer分别部署在独立服务器上。并且访问请求量较少1.3使用缓存改善性能特点:数据库中频繁访问的数据存储在缓存服务器中,减少数据库的访问次数,降低数据库的压力1.4应用服务器集群特点:多台应用服务器通过负载均衡
  • 教你从头写游戏服务器框架 _我要知道_郭雄飞

    教你从头写游戏服务器框架

    [摘要]本文由云 社区发表作者:韩伟前言大概已经有差不多一年没写技术文章了,原因是今年投入了一些具体游戏项目的开发。这些新的游戏项目,比较接近独立游戏的开发方式。我觉得公司的“祖传”服务器框架技术不太适合,所以从头写了一个游戏服务器端的框架,以便获得更好的开发效率和灵活性。现在项目将近上线,有时间就想总结一下,这样一个游戏服务器框架的设计和实现过程。这个框架的基本运行环境是Linux,采用C 编写。为了
  • 分布式系统原理之cap理论 _我要知道_郭雄飞

    分布式系统原理之cap理论

    [摘要]1.1CAP理论的含义Cap理论表示在分布式系统中一致性(C)、可用性(A)和分区容错性(P)最多只能同时满足两个。一致性:客户端更新数据成功后,在任意时刻,在系统任意对外提供服务的节点,读取到的数据都是最新写入的数据。(强一致性)。可用性:当系统出现异常时,仍能对外提供服务。分区容错:当出现网络分区时,系统的容错能力(机器之间出现网络故障,不能正常通信)。证明cap理论:有两台机器M1和M2,为
  • Redis之分布式锁

    [摘要]目录一、加锁原因二、原子操作三、分布式锁四、分布式锁常见问题一、加锁原因在一些比较高并发的业务场景,经常听到通过加锁的方法实现线程安全。下面简单介绍一下1.1加锁方式数据库锁数据库本身提供了锁机制,比如乐观锁、悲观锁等等。下面给出我之前写的一篇博客,介绍一下mysql数据库的锁机制Mysql的锁机制单体环境Java线程层面,Java的jdk本身就提供了,比如synchronized和Reentra
  • 原分布式系列——分布系统的一些技术 _我要知道_郭雄飞

    原分布式系列——分布系统的一些技术

    [摘要]版权声明:本文为博主-阿飞云原创文章,未经博主不可转载,谢谢!这一个系列会总结和整理自己在公司使用的技术和一些比较流行的分布式系统用的技术!这一个系列的学习会一直持续,让自己成长,让自己走出舒适区!看过这一句话:大部分的害怕是多数是因为懒惰!!!分布式系统服务:zookeeper,Dubbo分布式缓存系统服务:memcached,redis在路上,少年,不卑不亢!
  • 快速上手多机多卡的分布式tensorflow _我要知道_郭雄飞

    快速上手多机多卡的分布式tensorflow

    [摘要]终于又有时间和成果拿出来和大家分享,实在不容易,之前由于临时更换任务加上入职事情多断更了很久,现在主要在做一些KG和KGQA方面的工作。今天要和大家分享的是最近在工作中实现的分布式tensorflow。(BTW打个广告~NLP和DL讨论欢迎加群~二维码在末尾~)理论在这里就不详细介绍了,说说对一些概念自己的理解吧:(1)task->server->cluster:这里其实应该也是分布式
  • spring分布式事务学习笔记(1) _我要知道_郭雄飞

    spring分布式事务学习笔记(1)

    [摘要]此文已由作者夏昀授权网易云社区发布。欢迎访问网易云社区,了解更多网易技术产品运营经验。分布式事务对性能有一定的影响,所以不是最佳的解决方案,能通过设计避免最好尽量避免。分布式事务(Distributedtransactions),也称作XA事务(XA是一个协议的名字),在spring中被称作globaltransaction,是指一个事务会涉及到不同的事务资源,比如不同的数据库,消息队列。事务资源
  • 分布式系统理论概述 _我要知道_郭雄飞

    分布式系统理论概述

    [摘要]分布式系统是什么分布式系统:一个硬件或软件组件分布在不同的网络计算机上,彼此之间仅仅通过消息传递进行通信和协调的系统这是分布式系统,在不同的硬件,不同的软件,不同的网络,不同的计算机上,仅仅通过消息来进行通讯与协调这是他的特点,更细致的看这些特点又可以有:分布性、对等性、并发性、缺乏全局时钟、故障随时会发生。分布性既然是分布式系统,最显著的特点肯定就是分布性,从简单来看,如果我们做的是个电商项目,
  • Redis的分布式锁

    [摘要]一、锁的作用当多线程执行某一业务时(特别是对数据的更新、新增)等操作,可能就会出现多个线程对同一条数据进行修改。其最终的结果一定与你期望的结果“不太一样”,这就与需要一把锁来控制线程排排队了-java内部为我们提供了解决方案,可以使用synchronized或Lock等方式来实现。但是在生产过程中,因为性能的关系,多数公司都会采用多台服务器来搭建”分布式”。一条请求过来之后,不一定会打到哪台服务器