面试相关问题整理Spring、SpringMVC、SpringBoot、SpringCloud的区别与联系Spring是一个轻量级的控制反转(IoC)和面向切面(AOP)的容器框架。Spring使你能够编写更干净、更可管理、并且更易于测试的代码。 Spring MVC是Spring的一个模块，一个w ...

锁全局锁全局锁就是对整个数据库实例加锁MySQL 提供了一个加全局读锁的方法，命令是 Flush tables with read lock (FTWRL)。当你需要让整个库处于只读状态的时候，可以使用这个命令，之后其他线程的以下语句会被阻塞：数据更新语句（数据的增删改）、数据定义语句（包括建表、修 ...

Flink简介Apeche Flink 是一个框架和分布式处理引擎，用于在无边界和有边界数据流上进行有状态的计算.Flink能在常见的集群环境中运行，并能以内存数独和任意规模进行计算。 1Apache Flink is a framework and distributed processing e ...

Flume概念Flume 是一个分布式、可靠、高可用的海量日志聚合系统，支持在系统中定制各类数据发送方，用于收集数据，同时Flume提供对数据简单处理，并写到各种数据接收方的能力 结构Flume 以agent为最小的独立运行单元一个agent就是一个jvm单个agent由source、sink和ch ...

HBase概念Hadoop BaseHadoop没法实时增删改查建立在 HDFS 之上，提供高可靠性、高性能、列存储、可伸缩、实时读写的 NoSQL 数据库系统 特点 它仅能通过主键(row key)和主键的 range 来检索数据； Hbase查询数据功能简单，不支持 join 等复杂操作； ...

Spark概念替代MapReduce的计算模型 MapReduce的缺点shuffle 的IO操作(但在hadoop3.0 有极大的优化, 不再单纯的依赖IO基于内存) Spark特点快: 基于内存易用性通用型: 流式处理 spark sql兼容性 Spark缺点没有对内存进行管理，内存的管 ...

Kafka概念分布式消息订阅系统 体系架构MessageServer集群中的一个消息节点 Broker真正处理消息的在一个 MessageServer中可能存在多个Broker Topic主题 频道 广播逻辑上概念 可以基于分布式环境存储的消息可能运行在多个Topic中内部由多个分区组成 分区运 ...

数仓概念面向主题的、集成的、相对稳定的，反应历史变化的数据集合，用于支持决策管理。 数据通道：负责做数据集成的, 帮各个系统的数据连接进来。ETL：抽取转换加载 面向主题在较高层次上将企业信息系统的数据综合归并进行分析利用的抽象的概念。每个主题基本上对应一个相应的分析领域。 集成的企业级数据，同 ...

Hive概念基于Hadoop的一个数据仓库工具(Data warehouse)4个特点 面向主题的 集成的 相对稳定的 反应历史变化的数据集合，用于支持管理决策 HDFS 为Hive提供存储MapReduce 为Hive提供计算引擎YARN 为Hive提供资源调度 作用可以将可结构化的数 ...

看了老是忘系列 Hadoop初识概念：狭义：适合大数据分布式存储（HDFS）、分布式计算（MapReduce）和资源调度（YARN）的ing台广义：Hadoop生态系统， HDFS分布式文件系统来源：GFS的克隆版本特点：扩展性&容错性&海量数据存储将文件切分成指定大小的数据块(block)并以多副 ...