ITeye博客

wxyfighting的博客

wxyfighting · 共 432 篇文章

Hadoop基本流程与应用开发

分布式计算开源框架Hadoop入门实践(三) Hadoop基本流程 相关厂商内容 优化您的数据库与时间,实现更高性能 还记得Delphi么?Embarcadero携ER/Studio、RAD Studio XE和HTML5 Builder重装上阵 一个图片太大了,只好分割成为两部分。根据流程图来说一下具体一个任务执行的情况。 在分布式环境中客户端创建任务并提交。 InputFormat做Map前的预处理,主要负责以下工作: 验证输入的格式是否符合JobConfig的输入定义,这个在实现Map和构建Conf的时候就会知道,不定义可以是Writable的任意子类。 将input的文件切分为逻辑上…

2013-05-08 09:27 · 评论(0)

Hadoop中的集群配置和使用技巧

分布式计算开源框架Hadoop入门实践(二) 其实参看Hadoop官方文档已经能够很容易配置分布式框架运行环境了,不过这里既然写了就再多写一点,同时有一些细节需要注意的也说明一下,其实也就是这些细节会让人摸索半天。Hadoop可以单机跑,也可以配置集群跑,单机跑就不需要多说了,只需要按照Demo的运行说明直接执行命令即可。这里主要重点说一下集群配置运行的过程。 环境 7台普通的机器,操作系统都是Linux。内存和CPU就不说了,反正Hadoop一大特点就是机器在多不在精。JDK必须是1.5以上的,这个切记。7台机器的机器名务必不同,后续会谈到机器名对于MapReduce有很大的影响。 部署考…

2013-05-08 09:27 · 评论(0)

在路上---基于SCA规范的应用服务框架成长记(五)

原本应该继续写前期的设计和实现的,不过第一期ASF的结束,需要做一些总结和后续的规划,因此先写了这个ppt,作为前期的一个大致总结和后期工作的规划。 大纲 §ASF特质 §ASF特质带来的优点 §ASF实现总览图 §ASF优点的技术体现 §ASF二期需求功能点概述及实现估时 §ASF未来趋势展望 ASF特质 §基于业务组件的模块化开发 §SOA §无关实现的扩展接入框架 ASF特质带来的优点 §基于业务组件的模块化开发 Ø降低模块间耦合(面向接口交互,降低协同开发进度依赖性和屏蔽非设计性变更影响) Ø提高模块的可重用性(模块边界清晰,便于复用,降低开发成本) Ø降低后期维护成本(系统规模日趋…

2013-05-08 09:26 · 评论(0)

Web Service 、WS-Security、Java和.net的互通(在路上-基于SCA规范的应用服务框架成长记之四)

Web Service、WS-Security、Java和.net的互通 和第三部分同样,这部分内容其实应该在后面才对,不过当前工作既然做了,也需要写下来分享,那么就提前插队到成长记录当中吧。看了这篇文章以后,可能给人的感觉是有点偏离服务框架的内容。的却,如果纯粹从技术方面来说,这部分应该不属于服务框架范畴。拿杭州作个例子,杭州是全国唯一一个景点不但不涨价,反而免门票的地方,原因何在,无非是管理者看得远,景点的门票收益看得到,但是是小头,免去门票带来的商机那才是金矿。框架其实也是这样,如果客户用起来不方便,甚至都不能用,那么框架再好,也会有人笑话你是个高高在上的理论主意者,这种框架适合于教学…

2013-05-08 09:26 · 评论(0)

再谈OSGI,SCA, 服务框架

兄弟公司新来的BlueDavy同学正好是我过去OSGI起步时的间接导师(看了他的《OSGI进阶》和一些实际的使用经验分享),中午第一次在网上遇到,谈了一会儿,下午有一点时间正好去看了看他新的三篇文章,关于OSGI,SCA,服务框架的文章,有一些自己的体会,在这儿也分享一下,自己对于OSGI也就入门性的了解,所以分析的未必到位,也只能说投石问路了^_^,不过很是期待后面彼此的合作和交流。 OSGI -->SCA 在去年的3,4月份,平台需要做一次重构,前端框架不列入第一次重构范围,重构的重点在于后端整体框架的重构和服务框架的设计与实现。对于服务框架这部分,前期的需求主要是希望能够为将来的模块化…

2013-05-08 09:26 · 评论(0)

OOM和JVM配置优化(一)

OOM这个缩写就是Java程序开发过程中让人最头痛的问题:Out of Memory。在很多开发人员的开发过程中,或多或少的都会遇到这类问题,这类问题定位比较困难,往往需要根据经验来判断可能出现问题的代码。原因主要是两个:对象没有被释放(多种情况引起,往往是比较隐蔽的引用导致被Hold而无法被回收)。另一种就是真的Memory不够用了,需要增加JVM的Heap来满足应用程序的需求。最近有同事发的关于解决OOM的问题,让我了解了原来OOM除了在JVM Heap不够时会发生,在Native Heap不够的时候也会发生,同时JVM Heap和Native Heap存在着相互影响和平衡的关系,因此就…

2013-05-08 09:26 · 评论(0)

OOM和JVM配置优化(二)

JVM优化配置 这里首先要说明的是这里提到的JVM是Sun的HotSpot JVM 5和以上的版本。性能优化在应用方面可以有很多手段,包括Cache,多线程,各种算法等等。通常情况下是不建议在没有任何统计和分析的情况下去手动配置JVM的参数来调整性能,因为在JVM 5以上已经作了根据机器和OS的情况自动配置合适参数的算法,基本能够满足大部分的情况,当然这种自动适配只是一种通用的方式,如果说真的要达到最优,那么还是需要根据实际的使用情况来手动的配置各种参数设置,提高性能。 JVM能够对性能产生影响的最大部分就是对于内存的管理。从jdk 1.5以后内存管理和分配有了很多的改善和提高。 内存分配以…

2013-05-08 09:26 · 评论(0)

SCA服务框架扩展实践

业务组要求ASF提供多种方式的远程服务访问,兼顾性能和跨平台的不同需求,因此在原有的Web Service的SCA发布及绑定的功能外,集成了Hessian,用以发布和访问内部服务(安全性和跨平台要求不高,性能要求较高的服务)。在文中将要讲的就是如何将一个外部的开源项目集成到基于SCA规范实现的服务框架中。 注:ASF(Application Service Framework)是基于Tuscany作为解析内核,再次封装和扩展的符合SCA规范的服务框架,SCA基本元数据解析依赖于Tuscany内核部分,组件解析组装以及扩展根据SCA规范实现。 设计与实现 根据需求并且结合SCA的extend规…

2013-05-08 09:26 · 评论(0)

Style of WebService: REST vs. SOAP

在SOA的基础技术实现方式中WebService占据了很重要的地位,通常我们提到WebService第一想法就是SOAP消息在各种传输协议上交互。近几年REST的思想伴随着SOA逐渐被大家接受,同时各大网站不断开放API提供给开发者,也激起了REST风格WebService的热潮。 在收到新需求Email之前,我对REST的理解仅仅是通过半懂不懂的看了Fielding的REST博士论文,说实话当时也就是希望了解这么一个新概念,对于其内部的思想只是很肤浅的了解了一下。 ASF的最新需求就是可能需要实现REST风格的WebService集成,因此不得不好好的去看看REST的真正思想含义以及当前各…

2013-05-08 09:26 · 评论(0)

在路上---基于SCA规范的应用服务框架成长记(一)

每个人在人生的不同阶段都在成长,父母们为自己记录了过去的成长历程,自己也在成年以后记录着自己的成长历程。程序员或者架构师都有着自己的“孩子”,不论自己的孩子是好是坏,都为自己的孩子有一点成绩而激动不已。现在的我也正在培育着一个自己的“孩子”,虽然在它成长过程中我要付出很多,但是看着它的成长,让我觉得所有的付出都是值得的。因此通过这种方式,记录下它的成长,记录下遇到的种种困难和解决之道,为自己也为其他程序员架构师在培育“孩子”的过程中提供可能有帮助的一些信息。 一.初涉SCA 阿里新子公司成立,我也从业务开发组调动到了平台架构组,平台架构组当时的职责就是完善XPlatform来支持多个业务产品…

2013-05-08 09:25 · 评论(0)

在路上---基于SCA规范的应用服务框架成长记(二)

二.背上铺盖带上干粮SCA服务框架之路启程 记得我在推广SCA规范的时候,常常和Spring作比较,Spring广为流传很大的一点就是在于它的IOC理念,SCA中也很彻底贯彻了这点(这点应该是个趋势,包括OSGI等等开源框架),但是也正是这个理念,在实际运用当中会带来困扰。当开发系统越来越大,一个工厂里面的bean组装复杂度不断增加,庞大的spring bean factory就好比一个大锅子,越来越多配置交织在一起,最终模块与模块之间无法分割,架构师虽然规划了很好的目录结构以及配置文件,但是在运行期的结构依然是耦合性极强,难以分割的业务模块逻辑团。这样的系统所面临的问题就像当初OO要解决的…

2013-05-08 09:25 · 评论(0)

在路上-基于SCA规范的应用服务框架成长记(三)

三.平台跨的不容易 本来这部分内容应该作为很后面的内容,但是由于工作已经作了,也总结了,那么就先写下来贴一下,也算是个分享吧,这部分内容在网上找了很久都没有,所以也算是不错的一个实践。 ISV有几家接了上来,有用PHP的,有.net的,这时候ASF框架的WebService继功能测试,性能测试,安全性测试进入了一个新的测试阶段,兼容性测试。由于ISV的技术力量参差不齐,所以我们需要包办实现所有语言的客户端调用Demo的工作,因此对我这个做ASF的人来说,又要懂得各个语言的客户端调用以及配置,幸好还有一个ISV Support部门也做一些这样的工作,但是由于都是新手,也没有太多的指望。 Web…

2013-05-08 09:25 · 评论(0)

压力测试和系统优化tips

昨天有个朋友问题对mina是否有什么优化的资料,他这边一个系统压到500并发就上不去了,开始在看中国好声音,也没多想,直接说我这边没有。后来中间休息的时候,发现回答的有点问题,心里觉得其实应该告诉他压测的tips,找到瓶颈才能知道问题所在,昨晚初略的说了一下,今天把以前的一些经历回忆一下,贴出来,多少对一些新人有帮助。 这里主要还是说一下经验,具体的工具不太多的说了,以前写的一些blog多少有提到。首先判断压测需要开始查问题的情况是加并发用户,TPS不增长了,甚至开始下跌了,RT不动了,甚至开始上涨了。(这两者有时候是有关联变化的,有时候是没有关联的变化的) 然后开始分析问题,第一件要做的事…

2013-05-07 09:10 · 评论(0)

New Job Start

New Job Start

2013-05-07 09:10 · 评论(0)

程序员是不是只在乎自己的一亩三分地

Author:放翁(文初) Email:fangweng@taobao.com Blog:http://blog.csdn.net/cenwenchu79 其实想说这句话很久了,和很多同事接触,有时候或多或少的都会发现大家会陷入在自己的一亩三分地里面. 主要表现得症状 1.PD的需求就是目标,踏实的实现,不懂的就猜。 2.经验盖过一切,设计系统就是要够完备够复杂。 从开发人员角度来看,第一种人多半比较有自己的想法,同时也有不少的工作经验,同时可能对技术比较着迷。另一种人多半是刚刚工作或者经验不足,要么就是习惯性把工作当任务,而不是爱好,写程序也就是一份赚钱的活。但看起来其实各自都在自己的一亩…

2013-05-07 09:10 · 评论(0)