ITeye博客

不要哀求 学会争取 若是如此 终有所获

燮羽天翔 · 共 65 篇文章

Hadoop中FileInputFormat计算InputSplit的getSplits方法的流程

其实流程算起来也不算复杂,所以就直接用代码注释来做吧 这里边涉及这么几个方法: 1、 public List<InputSplit> getSplits(JobContext job) , 这个由客户端调用来获得当前Job的所有分片(split),然后发送给JobTracker(新API中应该是ResourceManager),而JobTracker根据这些分片的存储位置来给TaskTracker分配map任务去处理这些分片。这个方法用到了后边的listStatus,然后根据得到的这些文件信息,从FileSystem那里去拉取这些组成这些文件的块的信息(BlockLocation),使用的是…

2012-03-24 22:06 · Hadoop · 评论(0)

Hadoop中VIntWritable编码方式解析

最近因为实验室的云计算项目,开始学习Hadoop,有时间就记录一下自己在学习过程中的一些小收获吧。 《Hadoop权威指南》在序列化这一节有个例子程序,叫做TextPair,代码略长,就不贴上来了,它implements了WritableComparable<TextPair>,将两个Text对象打包到一起。TextPair以静态内部类的形式实现了WritableComparator,这样,不从数据流中deserialize出对象也可以对TextPair进行比较了。实现的这个Comparator中的compare方法如下: @Override public int compare(byte[…

2012-03-22 20:36 · Hadoop · 评论(2)

Ask, "What Would the User do?"(You Are Not the User)

Giles Colborne 我们都倾向于认为别人会向我们一样思考。但是他们不会。心理学家把这叫做错误的共性偏移(false consensus bias)。当人们思考或是行为与我们相异时,我们总是喜欢把他们以某种方式打上(潜意识的)错误的标签。 这种偏移解释了为什么程序员总是在将自己假设为用户时遇到各种困难。用户不会像程序员一样思考。首先,他们花在电脑上的时间少很多。他们不知道或者不关心电脑怎么工作。这意味着他们不会在任何诸如电量不足的解决技术这种程序员很熟悉的问题上动脑筋。他们不会去注意到那些程序员日常通过或是围绕接口与之工作的模式或暗号。 发现体会一个用户会如何思考最好的办法就是去观察…

2010-05-24 19:45 · 97 Things Every Programmer Should Know · 评论(0)

从Fibonacci到尾递归(tail recurrence)

Fibonacci函数有两种很经典的实现 一种是以while为基础的: public long Fib_Loop(int n) { long b1 = 1, b2 = 1, temp, begin = 3; for (; begin <= n; ++begin) { temp = b1; b1 = b2; b2 = temp + b2; } return b2; } 一种是以递归为基础的: public long Fib_Recur(int n) { if (n == 1 || n == 2) //line1 return 1; //line2 else return Fib_Recur(n…

2010-05-23 14:36 · Java · 评论(0)

servlet specification笔记 II

第四章 Servlet Context 1. Introduction to the ServletContext Interface 这个接口定义了一个servlet对它运行于其中的Web application的概览。使用ServletContext对象,一个servlet可以记录时间,获得资源的URL,存取属性,而这些属性又可以被别的context访问。一个ServletContext根植于一个Web server的一个已知path。比如,一个ServletContext可以被定为于http://www.mycorp.com/catalog.所有开始于/catalog请求路径的请求都会…

2010-05-22 14:26 · JavaEE · 评论(0)

Apply Functional Programming Principles

Edward Garson 函数式编程最近又重新引起了主流编程社区的兴趣。一部分原因来自于函数式编程范式中聚合性质(emergent properties)的出现非常好的解决了由于我们的工业逐渐向多核转变所带来的挑战。但是,虽然可以肯定的说那是一项非常重要的应用,这并不是这篇文章用来说服你去了解函数式编程的根本原因。 对函数式编程范式的理解和掌握能很大程度上提高你在别的情景环境下编写代码的质量。如果你对其理解到了一定深度,并在实际中应用范式,你的设计能够展现出一个较高程度的引用透明(referential transparency)。(tip:which means that for any…

2010-05-22 13:24 · 97 Things Every Programmer Should Know · 评论(0)

Act with Prudence

Whatever you undertake, act with prudence and consider the consequences. --Anon 不管你的日程安排在某个迭代刚开始的时候看起来有多么适合, 你总不能避免在某个时候会感受到压力。如果你发现必须在“正确地去做”还是“更快地去做”中做选择, 后者总是更具有吸引力,因为你认为你应该会在将来的某个时间回来将它修正。当你对自己,你的团队,你的客户做这种承诺的时候,你是认真的。但总是那么快就会在另一个迭代中出现新的问题,而你开始将注意力转移到它上。这种工作推迟即所谓的技术性债务(technical debt),而且它对你并不会那…

2010-05-21 12:47 · 97 Things Every Programmer Should Know · 评论(0)

servlet specification笔记 I

最近对开源框架的研究涉及不少原理性的东西,索性找来servlet2.5的specification,再次留下一点东西,方便以后回忆。 首先,这个版本的规范已经不建议使用SingleThreadModel接口来实现多线程的操作。这个接口的意义在于要求容器保证一次仅有一个request线程传入service方法被其处理。 servlet的生命周期包含: 装载和实例化, 初始化, 处理请求, 服务终止。 在初始化过程中,一个servlet实力可能会抛出UnavailableException或者ServletException,在这种情况下,此servlet必须被容器释放终止而不划归入活动的服务中…

2010-05-21 11:27 · JavaEE · 评论(0)

flex with 关键字用法

以下示例首先设置 someOther_mc 实例的 _x 和 _y 属性,然后指示 someOther_mc 转到第 3 帧并停止。 同时访问一个作用域链列表中的多个项时, with 语句会很有用。在以下示例中,内置 Math 对象位于作用域链之前。将 Math 设置为默认对象可将标识符 cos 、 sin 和 PI 分别解析为 Math.cos 、 Math.sin 和 Math.PI 。标识符 a 、 x 、 y 和 r polar() 的对象激活范围中,所以将解析为相应的局部变量。 不是 Math 对象的方法或属性,但由于它们位于函数 function polar(r:Number):…

2009-10-06 20:52 · Flex · 评论(0)

FLEX 系统管理器 SystemManager

首先介绍一下SystemManager。SystemManager是Flex应用的主控者,它控制着应用窗口,Application实例,弹出窗口,cursors,并管理着ApplicationDomain中的类。SystemManager是FlashPlayer实例化的第一个类,它存储了主应用窗口的大小和位置信息,保存其子组件比如:浮动弹出窗口和模态窗口的痕迹。通过SystemManager可以获得内嵌字体,样式和document对象。自定义的可视化组件(UIComponent的子类)只有在调用过addChild()后,才会有一个SystemManager赋给他们,之前是Null。所以在自定…

2009-10-06 10:04 · Flex · 评论(0)

认识Tweener缓动类

认识Tweener缓动类 by MainColor on 八.14, 2009, under 技术支持 多年来,补间引擎Tweener赢得了相当多用户的欢迎。最初他是一个ActionScript 2.0版本的引擎,后来被移植到ActionScript 3.0,现在两个版本都有。实际上,Tweener至少部分是基于更早的一款ActionScript 1.0引擎MC Tween开发的,它发布于2003年。Tweener最初由Zeh Fernando(http://zehfernando.com)编写,也有其他一些人的贡献。 安装Tweener之前要到Google代码库:http://code.g…

2009-09-24 22:45 · Flex · 评论(0)

as3读取和发送JSON

json是JavaScript Object Notation的简写,是一种轻量级的数据交换格式。易于人阅读和编写。同时也易于机器解析和生成。它是基于JavaScript(Standard ECMA-262 3rd Edition - December 1999)的一个子集,也就是说他是来自于javascript的东西。因为现在ajax的流行,大部分网站会采用ajax的模式和构架,那么json会是一个数据传输的首选(文本方式太简单,要是大数据量的时候无法理解,xml的方式数据量大,在解析的时候会增加服务器负担),那么要是一个网站从 ajax构架的基础上出一个flex/flash版的界面的时候…

2009-09-20 20:24 · Flex · 评论(0)

数据绑定技巧

有一种简单的方法可以通过选中来激活/禁用控件。举个例子,假设你有一个DataGrid以及一些操作数据的按钮,这些按钮中有一些只能在选中某一行的时候才可以使用,另外一些按钮只能在没有选中的时候使用,还有一些只能在选中特定行的时候使用。 问题 为了达到上述目的,你可能需要编写一些if语句或者使用数据绑定设定一个变量然后在代码里不断调整变量的值。就像这样: [Bindable] private var somethingSelected:Boolean = false; <mx:Button label=”Publish” click=”publishItem()” enabled=”{somet…

2009-09-10 23:25 · Flex · 评论(0)

你不一定知道的css样式表技巧

现在大部分的 网页 布局都是采用的div+css网页布局,而 css样式表 则贯穿着整个的页面的显示样式.只是会写css样式是不行的,你也要掌握一些 css样式表 技巧 才行,这样会使你的代码更加的简洁易懂,使网页读取的速度更快.下面就给大家说几种你不一定知道的 css样式表技巧 . css样式表技巧 一.CSS字体属性简写规则 一般用CSS设定字体属性是这样做的: font-weight:bold; font-style:italic; font-varient:small-caps; font-size:1em; line-height:1.5em; font-family:verdan…

2009-09-10 22:46 · 评论(0)

学习ActionScipt的一些提示

ActionScript 3.0是一种强大的面向对象语言,它为Flash Player描绘了一种新的编程模型。如果你已经对ActionScript 1.0或2.0很熟悉,那么当你使用ActionScript 3.0开发你的第一个应用程序的时候需要知道一些语言差别。 注:更多资料,请参考 Flex 2.0 Language Reference 中 ActionScript 2.0 和ActionScript 3.0 之间的不同点的列表。 为了帮助大家更容易地过渡到ActionScript 3.0,我编辑了下面的列表,其中包括技巧和你可能在开发中会遇到的普遍的问题。 •**为所有变量,参数和返回…

2009-09-10 15:38 · Flex · 评论(0)