Kaze's Blog

Menu

All Tags

#面试 1 #设计模式 23 #Hive 1 #spark 3 #项目 5 #算法 1 #408 2 #Hadoop 4 #ES 1 #SpringSecurity 1 #Sharding-JDBC 1 #git 1 #Mybatis 1 #Seata 1 #WebSocket 1 #Swagger 1 #AOP 1 #Redis 1 #MongoDB 1 #Kafka 1 #中间件 2 #SpringCloud 2 #Spring 3 #前端 6 #服务化 1 #Dubbo 1 #数据库 1 #C++ 2 #MySQL 22 #Vue 2 #Vuex 1 #java 4
大数据 #Hadoop

Hadoop-HDFS

概念 HDFS（Hadoop Distributed File System），Hadoop分布式文件系统 HDFS的使用场景： 适合一次写入，多次读出的场景。 HDFS的优点： 高容错性 适合处理大数据 可构建在廉价机器上，通过多副本机制，提高可靠性 HDFS的缺点： 不适合低延时数据访问 无法高

Kaze Published on 2023-10-20
大数据 #Hadoop

Hadoop-MapReduce

MapReduce概述 定义 MapReduce是一个分布式运算程序的编程框架 优缺点 优点： 易于编程 良好的拓展性 高容错性 适合PB级以上海量数据的离线处理 缺点： 不擅长实时计算 不擅长流式计算 不擅长DAG（有向无环图）计算 MapReduce进程 一个完整的MapReduce程序在分布式

Kaze Published on 2023-10-20
大数据 #Hadoop

Hadoop-Yarn

Yarn资源调度器Yarn是一个资源调度平台，负责为运算程序提供服务器运算资源Yarn基础架构YARN主要由ResourceManager、NodeManager、ApplicationMaster和Container等组件构成。Yarn工作机制Yarn调度器和调度算法Hadoop作业调度器主要有三

Kaze Published on 2023-10-20
大数据 #Hadoop

Hadoop入门

基础概念 Hadoop组成 HDFS Hadoop Distributed File System，简称HDFS，是一个分布式文件系统。 NameNode 存储文件的元数据，如：文件名，文件目录结构，文件属性（生成时间、副本数、文件权限)，以及每个文件的块列表和块所在的DataNode等。 Data

Kaze Published on 2023-10-20