耗时 16 ms,总记录数 11955 更新时间 2019-04-19 17:41:37

  • 分布式框架之ZooKeeper系列(一) _我要知道_郭雄飞

    分布式框架之ZooKeeper系列(一)

    [摘要]一、服务注册中心介绍分布式服务框架部署在多台不同的机器上。例如服务A是订单相关的处理服务,服务B是订单的客户的相关信息服务。此时有个需求需要在服务A中获取订单客户的信息。如下图:此时就面临以下几个问题:1、集群A中的服务调用者如何发现集群B中的服务提供者。2、集群A中的服务调用者如何选择集群B中的某一台服务提供者去调用。3、集群B中某台机器下线,集群A怎么避免下次调用不在使用这台掉线的机器?4、集
  • 分布式事务框架Seata及EasyTransaction架构的比对思考 _我要知道_郭雄飞

    分布式事务框架Seata及EasyTransaction架构的比对思考

    [摘要]本文将会对比Seata与EasyTransaction两个分布式事务的一些高层设计,相信大家会有收获。Seata的概述Seata(曾用名Fescar,开源版本GTS)是阿里的开源分布式事务框架,其RoadMap中指出了其希望与社区合作重新构建出一个全面的分布式事务框架。关于Seata的相关介绍可以看这里,本文不再赘述。虽然其后续路线有所调整,但整体适用。https://github.com/sea
  • 美团分布式服务通信框架及服务治理系统OCTO _我要知道_郭雄飞

    美团分布式服务通信框架及服务治理系统OCTO

    [摘要]一、什么是OCTO定义:OCTO是美团的分布式服务通信框架及服务治理系统,属于公司级基础设施,目前尚未开源。目标:为公司所有业务提供统一的服务通信框架,使业务具备良好的服务运营能力,轻松实现服务注册、服务自动发现、负载均衡、容错、灰度发布、调用数据可视化等,持续提升服务高可用性、服务运维效率。类比:美团点评内部类似的框架还有pigeon(已开源,https://github.com/dianpin
  • 200行代码,7个对象——让你了解ASP.NET Core框架的本质 _我要知道_郭雄飞

    200行代码,7个对象——让你了解ASP.NET Core框架的本质

    [摘要]2019年1月19日,微软技术(苏州)俱乐部成立,我受邀在成立大会上作了一个名为《ASP.NETCore框架揭秘》的分享。在此次分享中,我按照ASP.NETCore自身的运行原理和设计思想创建了一个“迷你版”的ASP.NETCore框架,并且利用这个“极简”的模拟框架阐述了ASP.NETCore框架最核心、最本质的东西。整个框架涉及到的核心代码不会超
  • 自己动手实现分布式任务调度框架 _我要知道_郭雄飞

    自己动手实现分布式任务调度框架

    [摘要]前段时间,公司要改造现有的单节点调度为分布式任务调度,然后就研究了目前市面上主流的开源分布式任务调度框架,用起来就一个感觉:麻烦!特别是之前在一个类里写了好多个调度任务,改造起来更加麻烦。我这人又比较懒,总感觉用了别人写好的工具还要改一大堆,心里就有点不舒服。于是我就想自己写一个框架,毕竟自己觉得分布式任务调度在所有分布式系统中是最简单的,因为一般公司任务调度本身不可能同时调度海量的任务,很大的并
  • “若干分布式事务框架”与“我的偏见” _我要知道_郭雄飞

    “若干分布式事务框架”与“我的偏见”

    [摘要]本文来谈谈我对若干分布式事务框架的看法,只谈设计时导致无法轻易改变的硬伤(或者说我的偏见),其优点应该已表现在其文档中,不再赘述。至于我的偏见能不能成为你的偏见,请自行思考核实,仅供大家选型时开拓思路使用。靶子以下我略有了解的框架将成为靶子:TransactionsEssentials(atomikos免费版)tcc-transactionByteTCChmilytx-lcnGTSEasyTran
  • Dubbox分布式框架 _我要知道_郭雄飞

    Dubbox分布式框架

    [摘要]一:简介:前身是阿里巴巴的一个开源的项目,后来停止维护,由当当网继续维护,它致力于rpc远程的调度方案.是一个服务框架二:执行原理图:节点角色说明:·Provider:暴露服务的服务提供方。·Consumer:调用远程服务的服务消费方。·Registry:服务注册与发现的注册中心。·Monitor:统计服务的调用次调和调用时间的监控中心。·Container:服务运行容器。调用关系说明:·0.服务
  • Zookeeper系列二:分布式架构详解、分布式技术详解、分布式事务 _我要知道_郭雄飞

    Zookeeper系列二:分布式架构详解、分布式技术详解、分布式事务

    [摘要]一、分布式架构详解1、分布式发展历程1.1单点集中式特点:App、DB、FileServer都部署在一台机器上。并且访问请求量较少1.2应用服务和数据服务拆分特点:App、DB、FileServer分别部署在独立服务器上。并且访问请求量较少1.3使用缓存改善性能特点:数据库中频繁访问的数据存储在缓存服务器中,减少数据库的访问次数,降低数据库的压力1.4应用服务器集群特点:多台应用服务器通过负载均衡
  • 经典MVC框架技术-struts2基础知识

    [摘要]Struts2框架简介struts2框架是在struts1和webwork技术的基础上,进行合并的全新框架,struts2以Webwork为核心,采用拦截器来处理用户的请求,这样的设计使得业务逻辑控制器与servletAPI完全分离,所以struts2可以理解为Webwork的更新产品。StrutsMVC模式MVC全名ModelViewController是模型,视图,控制器的缩写,是用于将业务逻
  • 服务器架构框架 _我要知道_郭雄飞

    服务器架构框架

    [摘要]注:以下是一些服务器开发时常见框架的汇总,其中的排名是根据本人熟悉程度排序,不代表任何官方排名,详细性能比较请参考所提供的博客通道。1.负载均衡服务器硬件类F5BIG-IP负载均衡器基于简单的Web管理界面,具有负载均衡、应用交换、会话交换、状态监控、智能网络地址转换、通用持续性、响应错误处理、IPv6网关、高级路由等很多功能Array新一代L4-L7应用交付控制器,Web应用加速器高性能SSLV
  • 分布式系列七: 分布式事务理论

    [摘要]分布式系列七:分布式事务理论事务是将一组操作作为一个整体执行,这组操作要么成功,要么失败,不存在部分成功的情况,分布式事务是为了解决在分布式环境下各节点之间的数据一致性问题.数据库本地事务事务四大特性:原子性(Atomicity):事务的一组操作要么全部执行成功,要么其中有失败后回退到初始状态.不存在部分执行部分失败的状态.回退是通过事务的回滚机制(Rollback)完成.一致性(Consiste
  • “分布式”学习与项目总结 _我要知道_郭雄飞

    “分布式”学习与项目总结

    [摘要]所谓“当局者迷,旁观者清”,当我迷惑于当前知识的时候,证明我正平行于或低于该知识平面高度去学习这些知识,结果只有一个——“混乱”。因为自身没有一个高层次的“纲”让自己清晰且逻辑地“收编”和“汇总”这些知识,也许“知识焦虑”就这么来的。在管理层面上,面对矩阵型组织架构上X轴(项目经理)与Y轴(职能经理)平面上的矛盾,我会通过高层次的“目标共性”来一致性项目经理和职能经理的共同目标,让“矛盾”转化“合
  • 分布式架构的基石,简单的 RPC 框架实现(JAVA)

    [摘要]RPC架构RPC的全称是RemoteProcedureCall,它是一种进程间通信方式。允许像调用本地服务一样调用远程服务。1.RPC框架原理RPC框架的目标就是让远程过程(服务)调用更加简单、透明,RPC框架负责屏蔽底层的传输方式(TCP或者UDP)、序列化方式(XML、JSON、二进制)和通信细节。框架使用者只需要了解谁在什么位置,提供了什么样的远程服务接口即可,开发者不需要关心底层通信细节和
  • 在.NET Core中使用Exceptionless分布式日志收集框架 _我要知道_郭雄飞

    在.NET Core中使用Exceptionless分布式日志收集框架

    [摘要]一.Exceptionless简介Exceptionless是一个开源的实时的日志收集框架,它可以应用在基于ASP.NET,ASP.NETCore,WebApi,WebForms,WPF,Console,MVC等技术栈的应用程序中,并且提供了Rest接口可以应用在Javascript,Node.js中。它将日志收集变得简单易用并且不需要了解太多的相关技术细节及配置。在以前,我们做日志收集大多使用L
  • 聊聊分布式事务 _我要知道_郭雄飞

    聊聊分布式事务

    [摘要]这次使用分布式事务框架过程中了学习了一些分布式事务知识,所以本文我们就来聊聊分布式事务那些事。首先我们先回顾下什么是事务。事务什么是事务?这个作为后端开发,日常开发中只要与数据库有交互,肯定就会使用过事务。现在摘抄一段wiki的解释,解释下什么是事务。是数据库管理系统执行过程中的一个逻辑单位,由一个有限的数据库操作序列构成数据库系统具有事务特性,这是其有别与文件系统重要特性。传统的文件系统,如果正
  • Swift:一个基于.NET Core的分布式批处理框架

    [摘要]Swift是什么从文章的标题可知:此Swift非Apple那个Swift,只是考虑这个词的含义比较适合。Swift是一个基于.NETCore的分布式批处理框架,支持将作业分割后分发到多台服务器并行处理,可成倍提升大量数据的处理速度。GitHub地址:https://github.com/bosima/Swift原理Swift作业处理分为3步:分割作业、执行任务、合并结果。Swift由多个成员节点组
  • 大数据技术 - 分布式文件系统 HDFS 的设计 _我要知道_郭雄飞

    大数据技术 - 分布式文件系统 HDFS 的设计

    [摘要]本章内容介绍下Hadoop自带的分布式文件系统,HDFS即HadoopDistributedFilesystem。HDFS能够存储超大文件,可以部署在廉价的服务器上,适合一次写入多次读取的场景。但HDFS不适合低延迟,存储大量小文件以及修改文件内容的场景。HDFS应用比较广泛,如:MR任务、Spark任务、Hive数据仓库以及Hbase数据库,它们的底层存储都可以基于HDFS。本章将介绍HDFS集
  • zabbix分布式监控部署--技术流ken _我要知道_郭雄飞

    zabbix分布式监控部署--技术流ken

    [摘要]前言zabbixproxy可以代替zabbixserver检索客户端的数据,然后把数据汇报给zabbixserver,并且在一定程度上分担了zabbixserver的压力.zabbixproxy可以非常简便的实现了集中式、分布式监控.zabbixproxy使用场景:监控远程区域设备监控本地网络不稳定区域当zabbix监控上千设备时,使用它来减轻server的压力简化zabbix的维护zabbixp
  • 聊聊分布式开发 Spring Cloud

    [摘要]概述本文章只是简单介绍了微服务开发的一些关键词,如果需要知道具体实现和可以评论留言我会及时的增加连接写出具体实现(感觉没人看就没写具体实现)。持续更新中。。。。。。SpringCloud和Dubbo的区别Dubbo的定位始终是一款基于传输层(TCP)的RPC框架,RPC(RemoteProcedureCall)通信过程在传输层中完成(HTTP通信在应用层完成),所以RPC调用方式需要服务端与客户端
  • day01_品优购电商项目_01_走进电商分布式框架-Dubbox品优购-框架搭建逆向工程品牌列表展示常见错误_用心笔记 _我要知道_郭雄飞

    day01_品优购电商项目_01_走进电商分布式框架-Dubbox品优购-框架搭建逆向工程品牌列表展示常见错误_用心笔记

    [摘要]课程目标目标1:了解电商行业特点以及理解电商的模式目标2:了解整体品优购的架构特点目标3:能够运用Dubbox SSM搭建分布式应用目标4:搭建工程框架,完成品牌列表后端代码1.走进电商1.1电商行业分析  近年来,中国的电子商务快速发展,交易额连创新高,电子商务在各领域的应用不断拓展和深化、相关服务业蓬勃发展、支撑体系不断健全完善、创新的动力和能力不断增强。电子商务正在与实体
  • JavaMVC框架之SpringMVC _我要知道_郭雄飞

    JavaMVC框架之SpringMVC

    [摘要]欢迎查看Java开发之上帝之眼系列教程,如果您正在为Java后端庞大的体系所困扰,如果您正在为各种繁出不穷的技术和各种框架所迷茫,那么本系列文章将带您窥探Java庞大的体系。本系列教程希望您能站在上帝的角度去观察(了解)Java体系。使Java的各种后端技术在你心中模块化;让你在工作中能将Java各个技术了然于心;能够即插即用。本章我们来一起了解Java的MVC框架之SpringMVC。Java语
  • 分布式架构:并发重复请求和幂等场景技术实现总结 _我要知道_郭雄飞

    分布式架构:并发重复请求和幂等场景技术实现总结

    [摘要]概念重复请求是指一个请求因为某些原因被多次提交,场景简述如下:1)用户快速多次点击按钮2)Nginx失败重试机制3)服务框架失败重试机制4)MQ消息重复消费5)第三方支付支付成功后,因为异常原因导致的多次异步回调;幂等性是指同样的请求参数,多次请求返回的结果相同。一般是因为重复请求导致的重复操作等,但重复请求不只包含并发时的重复请求还包括并并发情况下的业务重试。基本原理实现幂等需要两个条件1、同一
  • 从壹开始前后端分离【 .NET Core2.0  Vue2.0 】框架之十三 || DTOs 对象映射使用,项目部署Windows Linux完整版 _我要知道_郭雄飞

    从壹开始前后端分离【 .NET Core2.0 Vue2.0 】框架之十三 || DTOs 对象映射使用,项目部署Windows Linux完整版

    [摘要]代码已上传Github Gitee,文末有地址番外:时间真快,今天终于到了系统打包的日子,虽然项目还是有很多问题,虽然后边还有很多的内容要说要学,但是想着初级基本的.NetCore用到的基本至少就这么多了(接口文档,项目框架,持久化ORM,依赖注入,AOP,分布式缓存,CORS跨域等等),中高级的,比如在Linux高级发布,Nginx代理,微服务,Dockers等等,这个在以后的更新中会慢慢提到,
  • 跟繁琐的命令行说拜拜!Gerapy分布式爬虫管理框架来袭! _我要知道_郭雄飞

    跟繁琐的命令行说拜拜!Gerapy分布式爬虫管理框架来袭!

    [摘要]背景用Python做过爬虫的小伙伴可能接触过Scrapy,GitHub:https://github.com/scrapy/scrapy。Scrapy的确是一个非常强大的爬虫框架,爬取效率高,扩展性好,基本上是使用Python开发爬虫的必备利器。如果使用Scrapy做爬虫,那么在爬取时,我们当然完全可以使用自己的主机来完成爬取,但当爬取量非常大的时候,我们肯定不能在自己的机器上来运行爬虫了,一个好
  • 从壹开始前后端分离【 .NET Core2.0  Vue2.0 】框架之十二 || 三种跨域方式比较,DTOs(数据传输对象)初探 _我要知道_郭雄飞

    从壹开始前后端分离【 .NET Core2.0 Vue2.0 】框架之十二 || 三种跨域方式比较,DTOs(数据传输对象)初探

    [摘要]更新反馈1、博友@落幕残情童鞋说到了,Nginx反向代理实现跨域,因为我目前还没有使用到,给忽略了,这次记录下,为下次补充。此坑已填2、老张:跨域的姊妹篇——《三十三║⅖种方法实现完美跨域》代码已上传Github Gitee,文末有地址今天忙着给小伙伴们提出的问题解答,时间上没把握好,都快下班了,赶紧发布:书说上文《从壹开始前后端分离【.NETCore2.0 Vue2.0】
  • .Net Core应用框架Util介绍(一) _我要知道_郭雄飞

    .Net Core应用框架Util介绍(一)

    [摘要]距离上次发文,已经过去了三年半,这几年技术更新节奏异常迅猛,.Net进入了跨平台时代,前端也被革命性的颠覆。回顾2015年,正当我还沉迷于JQuery EasyUi的封装时,突然意识到技术已经过时。JQuery在面对更加复杂的UI需求时显得力不从心,EasyUi虽然组件比较完善,但界面风格老旧,响应速度慢,且是收费商业产品,在一个商业产品上投入精力封装并不划算,所以我果断弃坑了。然后开始封装JQu
  • 教你从头写游戏服务器框架 _我要知道_郭雄飞

    教你从头写游戏服务器框架

    [摘要]本文由云 社区发表作者:韩伟前言大概已经有差不多一年没写技术文章了,原因是今年投入了一些具体游戏项目的开发。这些新的游戏项目,比较接近独立游戏的开发方式。我觉得公司的“祖传”服务器框架技术不太适合,所以从头写了一个游戏服务器端的框架,以便获得更好的开发效率和灵活性。现在项目将近上线,有时间就想总结一下,这样一个游戏服务器框架的设计和实现过程。这个框架的基本运行环境是Linux,采用C 编写。为了
  • Storm框架:Storm整合springboot _我要知道_郭雄飞

    Storm框架:Storm整合springboot

    [摘要]我们知道Storm本身是一个独立运行的分布式流式数据处理框架,Springboot也是一个独立运行的web框架。那么如何在Strom框架中集成Springboot使得我们能够在Storm开发中运用Spring的Ioc容器及其他如SpringJpa等功能呢?我们先来了解以下概念:Storm主要的三个Component:Topology、Spout、Bolt。Topology作为主进程控制着spout
  • 分布式事务业界主流方案 _我要知道_郭雄飞

    分布式事务业界主流方案

    [摘要]一句话总结:分布式事务业界主流方案:两阶段提交方案(包括XA方案和TCC方案)、消息队列方案。1、两阶段提交方案1.1XA方案XA协议流程可以查看作者另一篇“2PC两阶段提交协议”,XA方案是资源层的两阶段提交,通常应用于多数据库操作的场景,如Mysql5.5版本以上Innodb引擎原生支持XA。应用层可搭配SpringJTA对接数据库XA,开发人员即可无需处理多库事务,交给框架和DB处理。1.2
  • Hadoop Hbase分布式集群架构“完全篇” _我要知道_郭雄飞

    Hadoop Hbase分布式集群架构“完全篇”

    [摘要]本文收录在Linux运维企业架构实战系列前言:本篇博客是博主踩过无数坑,反复查阅资料,一步步搭建,操作完成后整理的个人心得,分享给大家~~~1、认识Hadoop和Hbase1.1hadoop简单介绍Hadoop是一个使用java编写的Apache开放源代码框架,它允许使用简单的编程模型跨大型计算机的大型数据集进行分布式处理。Hadoop框架工作的应用程序可以在跨计算机群集提供分布式存储和计算的环境