wxyfighting的博客
wxyfighting · 共 432 篇文章
Web服务请求异步化介绍(概念篇)
前话 在前面的文章中,先给出了Web服务请求异步处理的压力测试报告,从数据角度描述了支持Web请求异步化的容器在不同并发用户下的处理能力及性能消耗。本文从概念的角度对于应用系统异步化,Web服务请求异步化和Web请求异步化规范及实现三方面做一个介绍,为系统异步化改造做好基础准备。(同样,文中大部分都是个人意见和想法,非完全正确,欢迎讨论) 应用系统异步化 Web服务请求异步化也是应用系统异步化的一种,因此首先谈一下对于应用系统异步化的一些看法和认识。 随着系统不断积累和发展,系统模块化是必然趋势,而模块之间的耦合性和依赖会直接影响系统的稳定性和可用性,因此系统异步化概念就产生了。异步化和其他…
2013-05-02 10:22 · 评论(0)
PipeComet测试
PipeComet这个支持长连接,异步请求事件处理框架做了测试也快有5天了,这里做一个简单的总结,但这个文档中的数字不能作为最终容量的定论,后续还会在优化后有进一步的测试。同时这个文档更倾向于分享过程中的遇到的一些问题,可以避免走一样的弯路。 测试环境: 1台部署了Jetty Web容器作为PipeComet服务端。 2台windows测试机部署了两个LoadRunner,作为压力测试客户端。(一个用于建立大量长连接,一个用于产生http请求模拟外部事件激发数据片段下发) 服务端配置如下: Xen虚拟机,5核(2.40 GHz),8G内存。 Jetty 7.1.6版本,jdk 1.6.0_2…
2013-05-02 10:21 · 评论(0)
耗内存应用优化实际案例
这里分享的是一个分布式分析系统的Master内存消耗状况的优化,有些比较特定的优化未必适用于其他系统,但是从这一系列优化过程中,应该能带给其他系统在做设计时提前考虑一点优化点。 下面先描述一下背景,看了背景可以对后续的优化点可以比较清楚一些,注意,部分设计仅适用于大量计算中,会牺牲可维护性来换取性能提升。最后一点优化应该是比较有通用性意义的。 背景: 开放平台每天产生大量的调用日志,希望能够从海量日志中即时的去分析业务指标和系统运行状况。当前实现的是类似MapReduce的设计,不过Master与Slave之间是松耦合的关系,比传统的MapReduce更利于扩展和即时分析(当然和Hadoop…
2013-05-02 10:21 · 评论(0)
基于管道化和事件驱动模型的Web请求处理(二)
这篇文章将会从问题,技术背景,设计实现,代码范例这些角度去谈基于管道化和事件驱动模型的Web请求处理。建议从头看,能够从概念上更多的去理解和碰撞,其中的一些描述和例子也许不是很恰当,也希望得到更多的反馈。 业务架构设计: 基于上述问题,通过两步走来解决。首先采用支持打破传统http request生命周期管理的Web容器(很多人说可以自己写,其实Web容器写起来并不是最麻烦的,如何做好兼容和照顾好每一个细节才是漫长发展的道路)。其次在容器新的线程生命周期管理基础上封装业务框架,为开发者屏蔽底层异步化和事件驱动模式带来的复杂流程管理内容。 Pipe Service Framework: 基础管…
2013-05-02 10:21 · 评论(0)
对同学性能优化总结的一点回复
写这篇文章的目的是希望能够分享给一些处于技术上升阶段的同学,更快找到技术分享关键所在。(当然自己能力有限,有些内容也就自己根据自己实际情况来思考) 记得这两届淘宝技术大学分享的时候,都有同学问我,能说清楚技术这件事情是自己天生的能力还是后天培养的,如果是后天培养的,那么靠什么方式提升自己。我把技术人员成长分了个类:1.会解决问题的。2.会分析问题的。3.会总结问题的。4.会深化思考的。5.会分享的。 最基本的就是解决问题,不论是否有有效手段,只要解决问题就算完事。慢慢的,会解决问题的人会考虑更多,会去分析根源,不会头痛医头,脚痛医脚,那就开始分析问题,渐渐的解决问题之前会先分析,在动手,做完…
2013-05-02 10:21 · 评论(0)
Pipe Comet
概述 PipeComet是在解决开放平台一系列问题的过程中不断演化的基于Jetty Continuation(Servlet 3容器也适用)的代码框架。先看看下面一张图中四个场景的演变: 1.Servlet 3以前,一次http请求就由一个容器线程完成全部处理,容器线程的生命周期取决于整个业务处理的时间(如果后端有依赖系统,例如DB,集中式缓存,外部系统service),由此可见,并发处理请求的数量在容器线程池有限的条件下,直接用容器线程数量/rt(响应时间)即可得到。而容器线程是否真的需要有那么久的生命周期?在整个事务处理过程中是否可以被回收,等到需要时在申请? 2.第一部分描述中,最根本…
2013-05-02 10:20 · 评论(0)
如何避免重构带来的危险
重构代码很危险,它会给测试工作增加巨大的负担。除非你的程序需要重构,一定不要轻易重构代码。我这里所说的并不是把一个for循环改成while 循环,或把一个StringBuffer改成StringBuilder,我说的是大动作,例如重写一个方法,一个函数,甚至整个类或包。如果你缺乏对一 个方法或一个类的了解,那你重构它的条件就不充分。即使你有一个天才的计划,你也需要和团队一起设计其中重大的修改。 当属于下列情况时,你不该重构 对于你来说,它的逻辑看起来过于复杂,你没有花时间去分析它。 你不理解为什么前任程序员要这样编写。 你着手的是一个很重要的系统,而且时间很紧。 你是团队里的新成员,或新接触…
2013-05-02 10:19 · 评论(0)
8种常见的Java不规范代码
在工作上,我最近对一个现有的Java项目代码进行了清理。完成之后,我发现了一些反复出现的不规范代码。所以,我把它们整理成了一个列表出来分享给我的同行希望能引起注意并改善代码的质量和可维护性。 这个列表不区分顺序,全部来自一些代码质量检查工具,如 CheckStyle , FindBugs 和 PMD 。 在Eclipse中格式化源代码并管理import语句 Eclipse提供了自动格式化源代码和管理import语句的功能(并移除未使用的语句)。你可以使用下面的快捷键来使用这些功能。 Ctrl + Shift + F– 格式化源代码。 Ctrl + Shift + O– 管理import语句并…
2013-05-02 10:19 · 评论(0)
java.net.SocketException四大异常解决方案
java.net.SocketException如何才能更好的使用呢?这个就需要我们先要了解有关这个语言的相关问题。希望大家有所帮助。那么我们就来看看有关java.net.SocketException的相关知识。 第1个异常是java.net.BindException:Address already in use: JVM_Bind。 该异常发生在服务器端进行new ServerSocket(port)(port是一个0,65536的整型值)操作时。异常的原因是以为与port一样的一个端口已经被启动,并进行监听。此时用netstat –an命令,可以看到一个Listending状态的端口…
2013-05-02 10:19 · 评论(0)
应用架构设计“防火”经验分享
Author :岑文初(淘宝花名:放翁) Email: fangweng@taobao.com Blog: http://blog.csdn.net/cenwenchu79 Date: 2009-08-26 刚从阿软到淘宝不久,现在主要负责TOP平台的技术框架设计,同时要肩负“救火”和“防火”的工作,也需要培养团队的同学能够有“防火”意识,减少“救火”次数,因此今天下午花了一点时间,也没于写任何的PPT,就直接将自己想的起来的一些自己认为应用架构设计“防火”知识做了一下事例分享,这里也想记录下来给更多的同学分享一下,当然很多都是老生常谈的常识,但是有时候不经意就会忘记一些血的教训。 资源是有…
2013-05-02 10:19 · 评论(0)
高效代码审查的十个经验
代码审查(Code Review)是软件开发中常用的手段,和QA测试相比,它更容易发现和架构以及时序相关等较难发现的问题,还可以帮助团队成员提高编程技能,统一编程风格等。 1. 代码审查要求团队有良好的文化 团队需要认识到代码审查是为了提高整个团队的能力,而不是针对个体设置的检查“关卡”。 “A的代码有个bug被B发现,所以A能力不行,B能力更好”,这一类的陷阱很容易被扩散从而影响团队内部的协作,因此需要避免。 另外,代码审查本身可以提高开发者的能力,让其从自身犯过的错误中学习,从他人的思路中学习。如果开发者对这个流程有抵触或者反感,这个目的就达不到。 2. 谨慎的使用审查中问题的发现率作为…
2013-05-02 10:18 · 评论(0)
优秀的程序 vs. 糟糕的程序
优秀的程序可以使复杂的东西看起来很简单;糟糕的程序让原本简单的东西变得复杂。 优秀的程序不需要加以说明;糟糕的程序需要大量注释。 优秀的程序编写时需要更多时间,但未来花费的时间却更少;糟糕的程序往往花费较少的时间,但会在未来浪费掉更多时间。 优秀的程序需要考虑当前和未来的需求;糟糕的程序只侧重于现在,在未来可能无法正常工作。 优秀的程序非常易于维护;糟糕的程序难以维护。 优秀的程序有更长的生命周期,甚至应用范围超出预期;糟糕的程序在其工作范围之外几乎无法使用。 优秀的程序如同良好的习惯,其影响将持续很长一段时间,几乎可以永久地解决问题;糟糕的程序如同止痛药,其效果只有很短的时间,解决问题大多…
2013-05-01 09:36 · 评论(0)
优秀的程序 vs. 糟糕的程序
优秀的程序可以使复杂的东西看起来很简单;糟糕的程序让原本简单的东西变得复杂。 优秀的程序不需要加以说明;糟糕的程序需要大量注释。 优秀的程序编写时需要更多时间,但未来花费的时间却更少;糟糕的程序往往花费较少的时间,但会在未来浪费掉更多时间。 优秀的程序需要考虑当前和未来的需求;糟糕的程序只侧重于现在,在未来可能无法正常工作。 优秀的程序非常易于维护;糟糕的程序难以维护。 优秀的程序有更长的生命周期,甚至应用范围超出预期;糟糕的程序在其工作范围之外几乎无法使用。 优秀的程序如同良好的习惯,其影响将持续很长一段时间,几乎可以永久地解决问题;糟糕的程序如同止痛药,其效果只有很短的时间,解决问题大多…
2013-05-01 09:36 · 评论(0)
oracle正则表达式
oracle的正则表达式(regular expression)简单介绍 目前,正则表达式已经在很多软件中得到广泛的应用,包括*nix(Linux, Unix等),HP等操作系统,PHP,C#,Java等开发环境。 Oracle 10g正则表达式提高了SQL灵活性。有效的解决了数据有效性, 重复词的辨认, 无关的空白检测,或者分解多个正则组成 的字符串等问题。 Oracle 10g支持正则表达式的四个新函数分别是:REGEXP_LIKE、REGEXP_INSTR、REGEXP_SUBSTR、和REGEXP_REPLACE。 它们使用POSIX 正则表达式代替了老的百分号(%)和通配符(_)字…
2013-05-01 09:35 · 评论(0)
xx项目代码规范与项目质量
从以往各种的经验来看,一个优秀的产品或项目,经过千锤百炼,成为一个内涵丰富的宝藏:文档、代码、设计、bug的fix和各种思想的火花,都沉淀下来,变成了很多人长期的资产和营养。在这个过程中,项目的质量是长期稳定的。但是一个一般的项目,由于各种因素,开始就质量一般,后来又各种曲折,最终项目质量会从开始的一般水平,很快的下降,收敛到一个非常低得水准。在这个过程中,文档和设计开始残缺,代码开始腐朽,散发着我们常说的bad smell的味道。那么如何防止这个变坏的过程呢?一是项目一开始就要按照一个简单高效的方式实施一些规范:代码风格、命名、注释等等,约束概念和形式上的一致性;二是制定较高的质量目标:u…
2013-05-01 09:35 · 评论(0)