概述 什么是Spark Streaming Spark Streaming 用于流式数据的处理，是对Spark Core的拓展。 Spark Streaming 使用离散化流(discretized stream)作为抽象表示，叫作 DStream。 DStream 是随时间推移而收到的数据的序列。
Published on 2023-11-14
概念 HDFS（Hadoop Distributed File System），Hadoop分布式文件系统 HDFS的使用场景： 适合一次写入，多次读出的场景。 HDFS的优点： 高容错性 适合处理大数据 可构建在廉价机器上，通过多副本机制，提高可靠性 HDFS的缺点： 不适合低延时数据访问 无法高
Published on 2023-10-20
MapReduce概述 定义 MapReduce是一个分布式运算程序的编程框架 优缺点 优点： 易于编程 良好的拓展性 高容错性 适合PB级以上海量数据的离线处理 缺点： 不擅长实时计算 不擅长流式计算 不擅长DAG（有向无环图）计算 MapReduce进程 一个完整的MapReduce程序在分布式
Published on 2023-10-20
Yarn资源调度器Yarn是一个资源调度平台，负责为运算程序提供服务器运算资源Yarn基础架构YARN主要由ResourceManager、NodeManager、ApplicationMaster和Container等组件构成。Yarn工作机制Yarn调度器和调度算法Hadoop作业调度器主要有三
Published on 2023-10-20
