Archives

模板方法模式 题目链接 模板方法模式-咖啡馆 基本概念 模板方法模式（Template Method Pattern）是一种行为型设计模式, 它定义了一个算法的骨架，将一些步骤的实现延迟到子类。模板方法模式使得子类可以在不改变算法结构的情况下，重新定义算法中的某些步骤。【引用自大话设计第10章】 举

责任链模式 题目链接 责任链模式-请假审批 基本概念 责任链模式是一种行为型设计模式，它允许你构建一个对象链，让请求从链的一端进入，然后沿着链上的对象依次处理，直到链上的某个对象能够处理该请求为止。 职责链上的处理者就是一个对象，可以对请求进行处理或者将请求转发给下一个节点，这个场景在生活中很常见，

访问者模式 题目链接 访问者模式-图形的面积 基本概念 访问者模式（Visitor Pattern）是一种行为型设计模式，可以在不改变对象结构的前提下，对对象中的元素进行新的操作。 举个例子，假设有一个动物园，里面有不同种类的动物，比如狮子、大象、猴子等。每个动物都会被医生检查身体，被管理员投喂，被

解释器模式 题目链接 解释器模式-数学表达式 基本概念 解释器模式（Interpreter Pattern）是一种行为型设计模式，它定义了一个语言的文法，并且建立一个【解释器】来解释该语言中的句子。 比如说SQL语法、正则表达式，这些内容比较简短，但是表达的内容可不仅仅是字面上的那些符号，计算机想要

Hive入门 什么是Hive Hive是由Facebook开源，基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。 Hive的本质是一个Hadoop客户端，用于将HQL（Hive SQL）转化成MapReduce程序。 Hive中每张表的数据存储在HDF

概述 什么是Spark Streaming Spark Streaming 用于流式数据的处理，是对Spark Core的拓展。 Spark Streaming 使用离散化流(discretized stream)作为抽象表示，叫作 DStream。 DStream 是随时间推移而收到的数据的序列。

概述 什么是SparkSQL Spark SQL 是 Spark 用于结构化数据(structured data)处理的 Spark 模块。 Hive and SparkSQL Hive 和 SparkSQL都是通过SQL进行操作，Hive主要用于操作MapReduce，SparkSQL主要用于操作

概述 什么是Spark Spark 是一种基于内存的快速、通用、可扩展的大数据分析计算引擎。 Spark and Hadoop Spark 出现的时间相对较晚，并且主要功能是用于数据计算， 所以 Spark 一直被认为是 Hadoop MapReduce 的升级版。 Spark和Hadoop的根本差

基础概念 Hadoop组成 HDFS Hadoop Distributed File System，简称HDFS，是一个分布式文件系统。 NameNode 存储文件的元数据，如：文件名，文件目录结构，文件属性（生成时间、副本数、文件权限)，以及每个文件的块列表和块所在的DataNode等。 Data

Yarn资源调度器Yarn是一个资源调度平台，负责为运算程序提供服务器运算资源Yarn基础架构YARN主要由ResourceManager、NodeManager、ApplicationMaster和Container等组件构成。Yarn工作机制Yarn调度器和调度算法Hadoop作业调度器主要有三