2011 年文章归档
共 26 篇文章
如何精确地测量java对象的大小-底层instrument API
关于java对象的大小测量,网上有很多例子,大多数是申请一个对象后开始做GC,后对比前后的大小,不过这样,虽然说这样测量对象的大小是可行的,不过未必是完全准确的,因为过程中包含对象本身的开销,也许你运气好,正好能碰上,差不多,不过这种测试往往显得十分的笨重,因为要写一堆代码才能测试一点点东西,而且只能在本地测试玩玩,要真正测试实际的系统的对象大小这样可就不行了,本文说说java一些比较偏底层的知识,如何测量对象大小,java其实也是有提供方法的。注意:本文的内容仅仅针对于 Hotspot VM ,如果你以前不知道jvm的对象大小怎么测量,而又很想知道,跟我一步一步做一遍你就明白了。 首先,我…
2011-12-13 22:18
Beatles小记-分布式数据流分析框架(二)
Author:放翁(文初) Email: fangweng@taobao.com Mblog:weibo.com/fangweng Blog: http://blog.csdn.net/cenwenchu79/ 局部设计 首先要说明的是,这部分内容和第一篇不同,必须对照代码看才会理解其中的含义,光看设计实现会比较难懂其中所说的细节点。代码: https://github.com/cenwenchu/beatles IComponent: 做系统就像搭积木一样,这些组件最后都会拼装起来,而积木往往由于内部机制可定制化需要config,同时组合在一起的积木往往会有一个传递的Config(可以认为…
2011-12-09 16:32
Beatles小记-分布式数据流分析框架(一)
Author:放翁(文初) Email: fangweng@taobao.com Mblog:weibo.com/fangweng Blog: http://blog.csdn.net/cenwenchu79/ 概述 重要:全文内容都是参照这个源码地址内容所写,因此两边对着看会更清晰明了: https://github.com/cenwenchu/beatles 这篇小记主要处于两方面考虑:首先,希望打破一提到海量数据分析,就只有hadoop基础上的一系列工具,更多的时候很多企业需要的是更轻量的设计(办喜酒杀猪杀鸡未必都要用一把刀),因此将开放平台基础分析组件重构版本beatles的设计写出…
2011-12-07 16:30
系统架构-性能篇章2(系统拆分2-问题)
在文章《 系统架构-性能篇章2(系统拆分1) 》有提及到过关于系统在什么情况下会拆分,拆分的目之类的问题,本文会阐述一些关于拆分过程中遇到的各种各样的常见问题进行分析,和上一个文章中提及到的一样,讲解的目录如下: 1、负载均衡设备的问题。 2、不同系统之间的通信问题。 3、数据写入和查找的问题。 4、跨数据库事务问题。 5、跨数据库序列问题。 6、不同应用的本地缓存问题。 7、系统之间的直接依赖和间接依赖问题。 8、独立模块面临的单点问题。 9、各类批量分组、切换、扩展的问题。 10、统一监控和恢复问题。 进入正题: 一、负载均衡设备的问题: 负载均衡设备就是当系统被拆分为多个节点进行发布后…
2011-11-15 22:59
java小技巧-关于乱码的那些个破事
这篇文章说难不难,说简单不简单,其实更多的在乎与经验,不过就本文来说,我更多的想阐述为什么会产生乱码,什么情况下会产生乱码,然后如何去解决乱码,对于有哪些乱码情况非常多,并不一定是那一种情况导致的,清楚了过程和原理,那么乱码都不在乎是什么大问题: 本文纲要: 1、乱码的来源与本质。 2、什么时候会产生乱码? 3、如何分析乱码和解决乱码? 4、我所遇到过的乱码情况。 第一部分:乱码的来源与本质: 其实,乱码的来源要追溯到语言文字在计算机中的表达方法了,也就是在计算机中存储和显示过程中,计算机本身并不识别文字,而只是识别数字本身,所以对文字的存储和显示以及转换我们都需要一个编码的过程,在常见的阿…
2011-10-30 19:54
Java基础小技巧回顾--关于String点点滴滴
其实本文非常简单,不过有很多朋友经常问,网上很多例子也写个大概,很多人也只是知道和大概,就本文而来读起来非常的轻松,不过算是一些小技巧;但是我们的程序中相信用得最多的就是char数组和byte[]数组,而String就是由char[]数组组成的,一般情况下我们就可以认为String用得是最多的对象之一。 有关Sring的空间利用率方面,这里不想多说,只能说很低很低,尤其是你定义的String长度很短的时候,简直利用率不好说;在前序的一篇文章中说明了关于java的对象空间申请方法以及对象在JVM内部如何做对其的过程,就能较为明确的知道一个String是多么的浪费空间;本文就不在多提及这方面的问…
2011-10-10 19:35
系统架构-性能篇章2(系统拆分1)
系统为什么拆分? 系统做大了,并发量无法扛得住,如何做? 业务做复杂了,单个应用中不能个性化,如何做? 模块和逻辑对各类资源开销非常特殊,如何做? 。。。。。。 拆分、拆分、再拆分。 由 全世界用一个系统表达全世界所有的企业和公司的业务开始,注定系统做大后必然拆分的走向,也就是一个大力士无法完成成千上万群众所能做到的一件大事,高集 成度的硬件和软件解决方案,为传统企业提供较为完善的解决方案,并在这种程度上是可以节约成本,高端机和高端存储的解决方案,当达到一个成本的交叉点后,随着数据量以及并发量的不断上升,其解决方案的成本也会随之直线上涨。 如何拆分?拆分后有什么后果,是其中一个问题? 首先我…
2011-09-30 21:25
细节优化提升资源利用率
细节优化提升资源利用率 Author: 放翁(文初) Email: fangweng@taobao.com Mblog:weibo.com/fangweng 这里通过介绍对于淘宝开放平台基础设置之一的TOPAnalyzer的代码优化,来谈一下对于海量数据处理的Java应用可以共享的一些细节设计(一个系统能够承受的处理量级别往往取决于细节,一个系统能够支持的业务形态往往取决于设计目标)。 先介绍一下整个TOPAnalyzer的背景,目标和初始设计,为后面的演变做一点铺垫。 开放平台从内部开放到正式对外开放,逐步从每天几千万的服务调用量发展到了上亿到现在的15亿,开放的服务也从几十个到了几百个,…
2011-09-23 13:54
系统架构-性能篇章1(应用系统性能2-OOM&参数配置)
对于JVM的内存写过的文章已经有点多了,而且有点烂了,不过说那么多大多数在解决OOM的情况,于此,本文就只阐述这个内容,携带一些分析和理解和部分扩展内容,也就是JVM宕机中的一些问题,OK,下面说下OOM的常见情况(本文基于jdk 1.6系列版本来编写,其余的版本未必完全适用): 第一类内存溢出,也是大家认为最多,第一反应认为是的内存溢出,就是堆栈溢出: 那什么样的情况就是堆栈溢出呢?当你看到下面的关键字的时候它就是堆栈溢出了: java.lang.OutOfMemoryError: ......java heap space..... 也就是当你看到heap相关的时候就肯定是堆栈溢出了,此…
2011-09-14 21:35
系统架构-性能篇章1(应用系统性能1)
在前面的文章中,说了很多JVM和数据库方面的东西,我所描述的内容大多偏重于技术本身,和实际的业务系统结合的比较少,本文开始进入实际的系统设计中应当注意的方方面面(文章偏重于访问量高,但是每次访问量并不是很大的系统),而偏重点在于性能和效率本身,由于这个知识涉及的基础和面很广,所以建议是先看下以前写的内容或自己有一定的基础来才开始接触比较好,另外本文也不能诠释性能的关键,从一个应用系统前端到后端涉及的部分非常多,本文也只会说明其中一部分,后续的部分我们再继续说;下面我们想一下一个web应用绝大部分请求的整个过程:client发出请求->server开始响应并创建请求对象及反馈对象->如果没有用…
2011-08-19 20:09
JVM第三篇(简单demo)
本来写完前面两篇JVM,已经不再想写这类似的东西,因为很多知识点很难吃透,即使写出来也很难让人理解,即使理解还不如看官方资料,不过还是鼓起勇气写下这篇文章,本文主要是demo去理解一些JVM的内存知识,版本为hotspot的1.6.24版本,不过本文不讲指令,只是模拟一些东西,类似于出题目,和大家一起来做下;本文几个简单实验不能说明所有问题,仅仅是分享一下理解JVM的内在和一些不可告人的秘密,以及告诉分享一些方法,以后可以自己做实验去扩展。 1、首先来模拟一个简单的溢出,代码很简单,我们也把GC的过程拿出来看看: import java.util.*; public class Hello …
2011-08-19 16:21
两个开放平台内部组件开放
周末分享中两个项目内容已经发布到了淘蝌蚪: http://t.cn/a0mcep 和 http://t.cn/a0mceC 里面代码,demo和文档都放在了svn里面,直接下载下来看即可,晚些时间我在确认本地编译是否可以,以为现在都是淘宝环境里面,我稍后找一台干净的外部机器拉下来看看。
2011-07-12 11:52
认识JVM--第二篇-java对象内存模型
前一段写了一篇《认识JVM》,不过在一些方面可以继续阐述的,在这里继续探讨一下,本文重点在于在heap区域内部对象之间的组织关系,以及各种粒度之间的关系,以及JVM常见优化方法,文章目录如下所示: 1、回顾--java基础的对象大概有哪些特征 2、上一节中提到的Class加载是如何加载的 3、一个对象放在内存中的是如何存放的 4、调用的指令分析 5、对象宽度对其问题及空间浪费 6、指令优化 正文如下: 1、回顾--java基础的对象大概有哪些特征? 相信学习过java或者叫做面向对象的人至少能说出面向对象的三大特征:封装、继承、多态,在这里我们从另一个角度来看待问题,也就是从设计语言的角度来…
2011-07-03 23:57
CometPipe数据发送一点改动
CometPipe数据发送一点改动 Author:放翁(文初) 场景: 前提:长连接推送 (每个请求会话时间保持较久)**。**在事件驱动模式下,多线程可能同时完成任务并通过Http长连接下发数据,对于Response需要有一定的并发保护。 第一版 增加一个lock,获得以后才可以使用Response。 每个线程的处理流程:get lock à use response àrelease lock。 在同一个通道的事件大量并发产生的时候,由于use response比较“重”,使得大量线程生命周期加大(顺序的获取锁),上下文切换频繁,系统load较高。 第二版(现在的版本) 去掉lock,为…
2011-06-23 12:18
慢连接&LazyParser
慢连接&LazyParser Author:放翁(文初) Mail:fangweng@taobao.com Tblog:weibo.com/fangweng 这里要从实际的测试中给Web应用开发者一个比较直观的关于慢连接优化的建议。 测试目标: 1. 证明慢连接对于Java的应用容器的影响。 2. 不同前端反向代理服务器对于慢连接的处理差异。 3. 如何利用LazyParser的方式来优化慢连接请求(特别是大数据量的一些异常请求的处理) 测试部署环境描述: Apache服务器(2.2.19版本)配置基本没变,增加了http proxy模块作为反向代理。 Nginx服务器(1.0.4版本)配置…
2011-06-20 23:44
认识JVM--第一篇-对象分配&回收算法
本来标题党想写成《深入JVM》,不过不太敢写,我想一小篇博客我想还不足以说明JVM,在本文中,会就我所知给大家介绍JVM的很多内部知识,概念会相对较粗,因为太细的内容要写,这里肯定写不出来;本文主要偏重理论,没有什么实践,中间除一些官方资料外,还有部分自身的理解,所以请大家不要完全信任本文内容;另外本文会有一小部分纠正以前一篇文章对于intern()使用方法的错误,本文会在其中说明使用错误的原因,大致文章内容有以下几个部分: 1、JVM虚拟内存组成及操作系统地址表 2、新生成对象在HeapSize是如何变化的 3、虚拟机如何定义回收算法 4、JVM占用的空间除HeapSize还会占用什么,O…
2011-06-18 16:26
PipeComet测试
看这篇小分享前请务必先看看这个: http://blog.csdn.net/cenwenchu79/archive/2011/05/27/6450427.aspx PipeComet这个支持长连接,异步请求事件处理框架做了测试也快有5天了,这里做一个简单的总结,但这个文档中的数字不能作为最终容量的定论,后续还会在优化后有进一步的测试。同时这个文档更倾向于分享过程中的遇到的一些问题,可以避免走一样的弯路。 测试环境: 1台部署了Jetty Web容器作为PipeComet服务端。 2台windows测试机部署了两个LoadRunner,作为压力测试客户端。(一个用于建立大量长连接,一个用于产生…
2011-06-09 00:03
PipeComet演示文档与demo下载
PipeComet演示文档与demo下载: http://ishare.iask.sina.com.cn/f/15717498.html?w =
2011-05-27 16:24
Pipe Comet
Author:fangweng (文初) Email: fangweng@taobao.com Blog: http://blog.csdn.net/cenwenchu79/ Mblog: http://weibo.com/fangweng 概述 PipeComet 是在解决开放平台一系列问题的过程中不断演化的基于Jetty Continuation(Servlet 3容器也适用)的代码框架。先看看下面一张图中四个场景的演变: 1. Servlet 3以前,一次http请求就由一个容器线程完成全部处理,容器线程的生命周期取决于整个业务处理的时间(如果后端有依赖系统,例如DB,集中式缓存,外部…
2011-05-27 16:20
系统架构-基础篇-(高性能基础建设说明与选型条件)
本文牵扯的面积可能会比较泛,或者说比较大,在这个层面很多人也有自己的见解,所以我这也仅仅是抛砖引玉,结合前面讲述的一些基础技术,从思想中阐述更为深入的架构思想基础,因为最好的架构思想是架构师结合实际情况思考出来最适合的架构,这里仅仅说明下一些常用的原理和思想,主要包含的内容有(内容很泛,所以都是简单阐述入门知识,具体后续深入探讨): 1、app切分集群组扩展 2、app集群组负载均衡 3、Memcached原理 4、db cache应用 5、db存储类型以及存储cache说明 6、存储条带思想 7、数据库集群 8、数据库分布式存储 9、数据库容灾备份以及监控 10、nosql思想 11、无锁…
2011-05-15 05:27