wxyfighting的博客
wxyfighting · 共 432 篇文章
Facebook优化分享后记
周六,参加完SD大会,Facebook的蒋博士被邀请到杭州的淘宝做一次技术分享。由于没有参加北京的velocity大会,上海的SD大会蒋博士的内容又由于时间问题被压缩的变形,所以周六无论如何都去听一次。原定10点开始的会议,9点50分诺大的淘宝培训室就没有座位了,后续不断地还有同学涌入,当然我看了一下,集团的每个子公司的人都有,各种岗位的人都有,其实今天的优化分享主要还是侧重于前端,而那么多人来听,我觉得和我来的出发点一样:“技术不分领域和语言,设计触类旁通”。 这里只是记录自己的一些学习理解和体会,其中的思考一些是自己看的清楚的,一些还是比较迷惑的,因为毕竟不是做前端的,欢迎讨论,具体的内…
2013-05-07 09:10 · 评论(0)
星巴克REST案例分析(转载自InfoQ)
作者 Jim Webber, Savas Parastatidis & Ian Robinson 译者 徐涵 发布于 2008年12月3日 下午7时28分 社区 SOA 主题 工作流/业务流程管理 , REST 标签 设计准则 , 模式 , Web服务 我们已习惯于在大型中间件平台(比如那些实现CORBA、Web服务协议栈和J2EE的平台)之上构建分布式系统了。在这篇文章里,我们将采取另一种做法:我们把支撑Web运行的协议和文档格式视为一种应用平台,一种可通过轻量级中间件访问的平台。我们通过一个简单的客户-服务交互的例子,展示了Web在应用集成中的作用。在这篇文章里,我们以Web为主要设计理…
2013-05-07 09:10 · 评论(0)
Spring事务管理的失效和Proxy类型的DataSource
Spring事务管理的失效和Proxy类型的DataSource 在服务框架中,我们由于需要将DataSource作为第三方服务暴露给其他模块(此处是十分不推荐的,因为如果作为服务那么首先就要求该服务没有状态),因此就采用Jdk的Proxy来实现虚拟DataSource暴露给其他模块以及第三方。 环境: 采用ASF(基于SCA服务框架的应用服务框架)暴露DataSource作为第三方服务,其他模块的Ibatis的SqlMapClient和Spring的TransactionManager都注入了这个Proxy类型的DataSource。 问题: 发现Spring注入DataSource的Pr…
2013-05-07 09:10 · 评论(0)
程序员良性循环工作模式
什么事情都有良性循环和恶性循环,工作也是一样。程序员这份工作更是如此,特别是你如果和我一样未来只想走P的道路。 昨天晚上老大给我发了一个邮件,关于规划部门最近在规划阿软的未来技术发展,希望能够提供关于分布式计算的一些想法和Feature,最近也接触和实践了一点,就写了一点自己的想法。老大很惊讶我那么快就回了邮件,其实在我看来还是和我读书的时候老师常说的,“机会总是给有准备的人”,就算中五百万也需要有承受的心理。 因此今天想把自己的一些工作经验分享一下,画了一个程序员良性循环的图。 解释一下按照正常的人来安排工作计划,不是说拖沓的去故意拉长工作安排,只是按照普通正常开发工作量来安排。按照非正常…
2013-05-07 09:09 · 评论(0)
“软”负载均衡学习点滴
Author :岑文初 Email: wenchu.cenwc@alibaba-inc.com Blog: http://blog.csdn.net/cenwenchu79 Date: 2009-5-26 目录 需求转而学习 “软”负载均衡 LVS(Linux Virtual Server) Virtual Server三种模式介绍 Virtual Server三种模式的比较 Virtual Server三种模式实践 三种模式下的简单压力测试 HA-Proxy HA-Proxy安装和使用 HA-Proxy的压力测试结果 “软”负载学习心得 需求转而学习 很多时候不少做开发的同学都认为技术更新…
2013-05-07 09:09 · 评论(0)
复习Amazon Dynamo设计的一点分享
Author:文初 Email: wenchu.cenwc@alibaba-inc.com Blog: http://blog.csdn.net/cenwenchu79 什么是Dynamo? Dynamo是Amazon的高效Key-Value存储基础组件(类似于现在被广泛应用的Memcached Cache),当前被用于Amazon很多系统中作为状态管理组件。在2007年年底Amazon的CTO就写了一篇介绍Dynamo设计的文章,今年年底又在日志中提出了对于那篇文章的一个补充:“Eventual consistency”。这也让我再次仔细的去回顾了一下Dynamo的设计思想,其中很多设计技…
2013-05-07 09:09 · 评论(0)
Local Cache的小TIP
今天组里的同学和我谈起local cache的一点需求,希望考虑在性能和业务上找到平衡点应该怎么考虑实现。下午给他的意见可能还是有点问题,回家稍微整理了一下,说出来也可以激发大家的讨论,觉得现在local cache + 远端cache是提高性能的必备,所以如何做好local cache 很有讲究。 由于有网络传输带来的性能损失(包括连接数并发限制),很多大请求量系统都会考虑做部分本地缓存。但本地缓存最大的问题就是数据同步,如果让集中式存储(cache,queue)来通知只会增加复杂度,因此通常最简单的方式就是根据业务数据的敏感度设置不同长短的本地失效时间。但现在如果要设置一个较短的有效期(…
2013-05-07 09:09 · 评论(0)
memcached全面剖析–4. memcached的分布式算法
发表日:2008/7/23 作者:长野雅广(Masahiro Nagano) 原文链接: http://gihyo.jp/dev/feature/01/memcached/0004 前几次的文章在这里: 第1次: http://tech.idv2.com/2008/07/10/memcached-001/ 第2次: http://tech.idv2.com/2008/07/11/memcached-002/ 第3次: http://tech.idv2.com/2008/07/16/memcached-003/ 我是Mixi的长野。 第2次 、 第3次 由前坂介绍了memcached的内部情况…
2013-05-07 09:08 · 评论(0)
分布式计算开源框架Hadoop入门实践(一)
在SIP项目设计的过程中,对于它庞大的日志在开始时就考虑使用任务分解的多线程处理模式来分析统计,在我从前写的文章《Tiger Concurrent Practice --日志分析并行分解设计与实现》中有所提到。但是由于统计的内容暂时还是十分简单,所以就采用Memcache作为计数器,结合MySQL就完成了访问控制以及统计的工作。然而未来,对于海量日志分析的工作,还是需要有所准备。现在最火的技术词汇莫过于“云计算”,在Open API日益盛行的今天,互联网应用的数据将会越来越有价值,如何去分析这些数据,挖掘其内在价值,就需要分布式计算来支撑海量数据的分析工作。 回过头来看,早先那种多线程,多任…
2013-05-07 09:08 · 评论(0)
Memcache Hash算法值得探索的内容
集团内部很多团队都使用Memcache来提高应用性能,最近的一次工作汇报中提及了Memcache的Hash算法需要研究来满足一些需求,同时提高Memcache的利用效率。讨论了一下最后自己总结了这么几点是对Hash算法需要着重考虑的。 问题: 1.存储数据如何均匀分散。如何把数据尽可能的散开存储,这样对于Memcache的可扩展性才会有充分利用,试想如果算法每次都会把数据定向到某几台机器,那么就会导致集群机器之间利用率的不均衡,无法发挥出集群效应。 2.增减机器减小对原有数据存取的影响。由于业务量的增长势必需要对后端的服务器有所扩容,但是增加或者减少机器如何尽可能小的影响已有的缓存数据,这点…
2013-05-03 09:45 · 评论(0)
memcached完全剖析–1. memcached的基础
发表日:2008/7/2 作者:长野雅广(Masahiro Nagano) 原文链接: http://gihyo.jp/dev/feature/01/memcached/0001 我是 mixi株式会社 开发部系统运营组的长野。 日常负责程序的运营。从今天开始,将分几次针对最近在Web应用的可扩展性领域 的热门话题memcached,与我公司开发部研究开发组的前坂一起, 说明其内部结构和使用。 memcached是什么? memcached 是以 LiveJournal 旗下 Danga Interactive 公司的 Brad Fitzpatric 为首开发的一款软件。现在已成为 mixi…
2013-05-03 09:45 · 评论(0)
memcached全面剖析–2.理解memcached的内存存储
下面是《memcached全面剖析》的第二部分。 发表日:2008/7/9 作者:前坂徹(Toru Maesaka) 原文链接: http://gihyo.jp/dev/feature/01/memcached/0002 我是 mixi株式会社 研究开发组的前坂徹。 上次 的文章介绍了memcached是分布式的高速缓存服务器。 本次将介绍memcached的内部构造的实现方式,以及内存的管理方式。 另外,memcached的内部构造导致的弱点也将加以说明。 Slab Allocation机制:整理内存以便重复使用 最近的memcached默认情况下采用了名为Slab Allocator的机…
2013-05-03 09:45 · 评论(0)
关于Memcached Cache是集中式还是分布式的
Memcached是一种集中式Cache,支持分布式横向扩展。这里需要有点说明,很多开发者觉得Memcached是一种分布式Cache,但是其实Memcached服务端本身是单实例的,只是在客户端实现过程中可以根据存储的主键作分区存储,而这个区就是Memcached服务端的一个或者多个实例,如果将客户端也囊括到Memcached中,那么可以部分概念上说是集中式的。其实回顾一下集中式的构架,无非两种情况:1.节点均衡的网状(JBoss Tree Cache),利用JGroup的多播通信机制来同步数据。2.Master-Slaves模式(分布式文件系统),由Master来管理Slave,如何选择…
2013-05-03 09:44 · 评论(0)
Web请求异步处理降低依赖风险
Author:文初 Email: wenchu.cenwc@alibaba-inc.com Blog: http://blog.csdn.net/cenwenchu79 问题凸现: 年关到了,商家忙着促销,网站忙着推广,阿里软件的服务集成平台也面临第一次多方大规模的压力考验,根据5.3版本的压力测试结果,估算了一下现有的推广会带来的压力,基本上确定了服务集成平台年底不需要扩容。SA为了保险起见还是通过请求方式来做定时的心跳检测,保证服务集成平台的可靠性。结果旺旺推广开始的第一天,SA的报警短信就在几个忙时段不停的发告警,但是察看生产环境的服务器状况以及应用状况也看不出有什么问题,开始怀疑是否…
2013-05-03 09:43 · 评论(0)
Web服务请求异步化介绍(实践篇)
在概念篇介绍完以后,开始实际的对TOP开始做技术改造。(这篇东西更像是对短期工作的总结和汇报,写的不是很详实,后续会有一个ppt来深化异步化的一些思想)下面将第一阶段的工作做个总结,第一阶段主要做了以下几个方面的事情: 1.典型taobao后台应用(主要是用到了多个内部组件)的Jetty迁移。 2.TOP管道化体系的异步改造。 3.测试不同容器不同模式下的应用处理能力,并通过数据得出结论。 一.应用迁移及容器部署 这次迁移主要的工作就是在服务框架的迁移,服务框架内部是小的OSGI容器,和当初在阿软做服务平台一样,当时是SCA容器,道理都一样,如何打通SCA和OSGI与应用服务器,主要涉及的就…
2013-05-02 10:22 · 评论(0)