ITeye博客

bojiang的博客

bojiang · 共 5 篇文章

[置顶] 本博客所有文章同步自个人博客http://jiangbo.me

声明:本博客所有文章均本人原创,首发自个人博客 http://jiangbo.me ,此处同步转载

2011-08-27 10:47 · 评论(0)

HDFS RAID

引自个人blog: http://jiangbo.me/blog/2012/12/21/hdfs-raid/ 一、背景 HDFS是构建在普通机器上的分布式文件系统,而这类系统需要解决的一个首要问题就是容错,允许部分节点失效。而为了解决数据的可靠性,HDFS采用了副本策略。默认会为所有的block存放三个副本(具体参见HDFS设计文档)。 副本机制能够有效解决部分节点失效导致数据丢失的问题,但对于大规模的HDFS集群,副本机制会带来大量的存储资源消耗。例如为了存储1PB的数据,默认需要保留3个副本,这意味着实际存储所有副本需要至少3PB的空间。存储空间浪费达到200%。减小浪费的方式主要是减少…

2012-12-21 17:46 · HDFS · 评论(0)

使用FUSE-DFS Mount HDFS

原文引自: http://jiangbo.me/blog/2012/10/23/mount-hdfs-with-fuse-dfs/ 介绍 Hadooop源码中自带了contrib/fuse-dfs模块,用于实现通过libhdfs和fuse将HDFS mount到*inux的本地。 编译 环境 Linux: 2.6.18-164.el5 x86_64 JDK: 1.6.0_23 64bit Hadoop: 0.19.1 下面假设源码目录为$HADOOP_SRC_HOME Ant: 1.8.4 GCC: 4.1.2(系统默认) 编译libhdfs 修改configure执行权限 $chmod +…

2012-10-23 13:57 · HDFS · 评论(0)

Velocity源码分析(一)——概述

原文发表于个人博客: http://jiangbo.me/blog/2011/08/19/velocity_overview/ 一、概述 Velocity模板引擎处理机制分为五个基本步骤: 引擎初始化,通过设置的引擎属性初始化引擎,包括国际化支持,ResourceLoader设置,字符编码等。 获取并解析模板文件,首先通过资源加载器(ResourceLoader)将模板文件加载到内存(转化为InputStream),然后通过AST(Abstract Syntax Tree)解析器将InputStream解析为一个AST。 创建一个Context 将模板渲染所需的参数放入context 执行模…

2011-08-27 11:29 · velocity源码分析 · 评论(1)

Velocity源码分析(二)——渲染执行之Introspection

原文首发自个人博客, http://jiangbo.me/blog/2011/08/26/velocity_introspection/ 此处同步转载 一、何为Introspection Instrospection(自省,xing,“吾日三省吾身”的“省”)源自哲学术语,指的是一种自我检视的精神行为。 Introspection is the self-observation and reporting of conscious inner thoughts, desires and sensations. It is a conscious and purposive process r…

2011-08-27 11:04 · velocity源码分析 · 评论(0)