https://chu888chu888.gitbooks.io/hadoopstudy/content/

Hadoop 是一个由 Apache 基金会所开发的分布式系统基础架构。用户可以在 Hadoop 的基础上进行分布式计算的编程，主要应用于大数据的处理。

多台计算机联网协同工作(有时也称为一个集群)就像单台系统一样解决某种问题，这样的系统我们称之为分布式系统。 分布式文件系统是分布式系统的一个子集，它们解决的问题就是数据存储。换句话说，它们是横跨在多台计算机上的存储系统。存储在分布式文件系统上的数据自动分布在不同的节点上。

(DataNode会与其他DataNode进行通信,复制这些数据块以实现冗余)

在 Hadoop 分布式文件系统（HDFS）中，为了提高数据的可靠性，每个数据块（block）都会在多个 DataNode 上进行复制。在这个过程中，首先会选择一台 DataNode 进行复制，然后这个 DataNode 会将数据块传输给下一个 DataNode，这样形成一个复制的“流水线”。通过这种方式，数据块可以同时在多台 DataNode 上进行复制，大大提高了数据复制的速度，也减少了 NameNode 的负载。这就是 Hadoop 的流水线复制机制。

可以将这个流水线复制机制比作一个传送带上的工人，每个工人做完自己的工作后，就将物品传给下一个工人。在这个过程中，每个工人都可以同时工作，从而提高了工作效率。

• 传统的数据中心vs虚拟数据中心

  • 传统的数据中心
    • 采用了多种技术
    • 业务之间孤立
    • 网络结构复杂
  • 虚拟数据中心
    • 高速
    • 扁平
    • 虚拟化

• 虚拟化技术简介

• 随着云计算的发展，传统的数据中心逐渐过渡到虚拟化数据中心，即采用虚拟化技术将原来数据中心的物理资源进行抽象整合。

  • 实现资源的动态分配和调度，提高现有资源的利用率和服务可靠性
  • 提供自动化的服务开通能力，降低运维成本
  • 具有有效的安全机制和可靠性机制，满足公众客户和企业客户的安全需求
  • 方便系统升级、迁移和改造

一个主机包含不止一个虚拟机VM

• 虚拟机迁移

  • 是将虚拟机实例从源宿主机迁移到目标宿主机，并且在目标宿主机上能够将虚拟机运行状态恢复到其在迁移之前相同的状态，以便能够继续完成应用程序的任务

• 步骤

  • 

• 虚拟机迁移主要分为三个阶段：Push阶段、Stop-and-Copy阶段和Pull阶段。

  1. Push阶段(1\2\3)：在此阶段，源主机会预先传输虚拟机的内存页到目标主机，尤其是不经常修改的页，以减少实际停机时间。
  2. Stop-and-Copy阶段(4)：在此阶段，源主机会暂停虚拟机，将剩余的内存页复制到目标主机，并将虚拟机的状态（包括处理器状态、设备状态等）发送给目标主机。
  3. Pull阶段(5\6)：在此阶段，目标主机会从源主机拉取剩余的内存页。当这些页被拉取到后，目标主机便会启动迁移的虚拟机。

  内存的迁移是虚拟机迁移过程中最具挑战的部分，因为需要在保持数据一致性的同时，最小化虚拟机的停机时间。

  实际上，虚拟机迁移过程不必同时包含上述三个阶段。例如，根据实际情况和需求，可能只包含Push阶段和Stop-and-Copy阶段，或者只包含Stop-and-Copy阶段和Pull阶段，甚至只有单个阶段。具体策略的选择取决于虚拟机的运行状态、网络环境、应用需求等因素。

• 要求

  • 核心层网络具备超大规模的数据交换能力
  • 足够的万兆接入能力

• 核心层网络虚拟化的优势

  • 提供虚拟机箱技术
  • 简化设备管理
  • 提高资源利用率
  • 提高交换系统的灵活性和扩展性
  • 为资源的灵活调度和动态伸缩提供支撑

Google Cloud Platform (GCP)、Amazon Web Services (AWS)、Microsoft Azure，以及OpenStack都是云计算平台。这些平台提供了各种云服务，包括虚拟化的硬件资源（如计算、存储和网络）、以及高级服务（如数据库、机器学习、大数据分析等）。他们的主要目标是帮助用户在没有自己的物理硬件或数据中心的情况下，快速搭建和运行应用。

1. 公有云提供商：Google Cloud Platform (GCP)、Amazon Web Services (AWS)、和Microsoft Azure等都是公有云提供商。他们提供各种云服务，包括基础设施即服务 (IaaS)，平台即服务 (PaaS)，和软件即服务 (SaaS)。公有云提供商通常会在全球的数据中心提供这些服务，用户可以按需支付，无需自己维护物理硬件。然而，使用公有云服务可能会导致用户在某种程度上失去对基础设施的控制，尤其是在安全性和合规性方面。
2. OpenStack：OpenStack 是一种开源的云计算平台，主要提供 IaaS（基础设施即服务）解决方案。使用 OpenStack，用户可以在自己的数据中心或者私有云环境中搭建和管理云计算平台。因此，OpenStack用户可以对基础设施有完全的控制，包括数据的存储、计算资源的分配、网络结构的设计等。然而，使用 OpenStack 需要一定的技术能力和资源来安装、配置和维护。

OpenStack 是一种开源的云计算平台，它主要提供基础设施即服务（IaaS）。OpenStack 包含一系列的组件，每个组件负责处理云环境中的不同功能。

OpenStack有三个主要的服务成员：计算服务（Nova）、存储服务（Swift）、镜像服务（Glance）

Nova：Nova 是 OpenStack 的主要组件之一，负责计算服务。Nova 提供了虚拟机实例的创建、调度、管理等功能。它支持各种虚拟化技术，包括 KVM、Xen、VMware 等，同时也支持容器技术，如 Docker。

我将进一步解释OpenStack的Nova和Swift组件的主要组成部分。

• Nova：Nova是OpenStack的计算组件，其主要任务是提供虚拟化服务，也就是运行和管理虚拟机。Nova的主要组件包括：
  1. API Server（Nova-Api）：API Server对外提供一个与云基础设施交互的接口，也是外部可用于管理基础设施的唯一组件。负责处理API请求，比如启动、暂停和停止虚拟机等。
  2. Message Queue（Rabbit MQ Server）：OpenStack节点之间通过消息队列（例如RabbitMQ）使用AMQP（Advanced Message Queue Protocol）完成通信。
  3. Compute Worker（Nova-Compute）：Compute Worker管理实例生命周期，通过Message Queue接收实例生命周期管理的请求，并承担操作工作。这是运行在宿主机上的服务，用于启动和终止虚拟机实例。
  4. Network Controller（Nova-Network）：Network Controller处理主机的网络配置，包括IP地址分配、为项目配置VLAN、实现安全组、配置计算节点网络。
  5. Volume Workers（Nova-Volume）：Volume Workers用来管理基于LVM（Logical Volume Manager）的实例卷。Volume Workers有卷的相关功能，例如新建卷、删除卷、为实例附加卷、为实例分离卷。
  6. Scheduler（Nova-Scheduler）：这个服务负责决定虚拟机实例运行在哪个宿主机上，即调度策略。

假设一个用户想要通过 OpenStack API 创建一个虚拟机实例：

• 首先，用户的请求会被发送到 nova-api，nova-api 是 OpenStack 对外的接口，负责接收和解析用户的请求。
• nova-api 接收到创建虚拟机的请求后，会将请求放入 Message Queue 中。
• nova-scheduler 会从 Message Queue 中获取请求，根据调度策略（例如负载均衡、资源优化等），选择一个最合适的宿主机来运行这个新的虚拟机实例。
• 选择好宿主机后，nova-scheduler 会将请求和选定的宿主机信息一起放回到 Message Queue 中。
• nova-compute 在相应的宿主机上运行，会从 Message Queue 中获取到请求，并在宿主机上启动虚拟机实例。
• nova-conductor 负责在整个过程中处理与数据库相关的所有请求，包括更新虚拟机的状态、记录日志等。

**AMQP（Advanced Message Queuing Protocol）**是一个面向消息的中间件的开放标准应用层协议。RabbitMQ是AMQP协议的一个开源实现。AMQP的主要目标是提供可靠的信息传递，以确保在发送者和接收者之间的消息在传输过程中不会丢失。在AMQP中，有三个关键的组件：消息、队列和交换器。以下是对这些组件的详细介绍：

1. 消息（Message）：消息是在发送者和接收者之间传递的数据。每个消息都有一个头部和一个体。头部包含消息的属性和路由信息，体包含实际要发送的数据。

2. 队列（Queue）：队列是用于存储消息的缓冲区。每个队列都有一个名字，消费者应用程序可以通过名字来获取队列中的消息。队列可以是持久的、临时的或者自动删除的：

   • 持久队列：持久队列不会因为系统重启或者应用程序终止而消失。
   • 临时队列：临时队列存储在内存中，会随着系统的关闭而消失。
   • 自动删除队列：自动删除队列会在没有消费者连接到它时自动删除。

3. 交换器（Exchange）：交换器负责接收消息并且将消息转发给队列。交换器可以根据消息的路由信息，通过路由表将消息准确且安全地转发至相应的队列。每个交换器都有一个唯一的Exchange ID，交换器可以是持久的、临时的或者自动删除的：

   • 持久交换器：持久交换器不会因为系统重启或者应用程序终止而消失。
   • 临时交换器：临时交换器存储在内存中，会随着系统的关闭而消失。
   • 自动删除交换器：自动删除交换器会在没有绑定的队列时自动删除。

AMQP 定义了三种不同类型的交换器：

• 广播式交换器（Fanout Exchange）：将所有发送到此交换器的消息路由到所有与它绑定的队列。
• 直接式交换器（Direct Exchange）：将消息路由到 Binding Key 与 Routing Key 完全匹配的队列。
• 主题式交换器（Topic Exchange）：将消息路由到 Binding Key 与 Routing Key 符合某种模式匹配的队列。

另外，AMQP 中还有一个重要的概念是绑定（Binding）。绑定是交换器和队列之间的关系，通过 Binding Key，交换器知道应该把绑定（Binding） 的消息发给哪个队列。在创建绑定时，可以为它指定一个可选的 Binding Key。交换器根据这个 key 和自身的类型来决定如何路由消息。

Swift：Swift 是 OpenStack 的对象存储组件，负责存储和检索数据。Swift 使用分布式架构，数据可以在多个磁盘、主机甚至数据中心间进行复制，从而提供高可用性和容错性。Swift 特别适用于存储和分发大量的静态数据，如虚拟机映像、照片、电子邮件

Swift提供的服务与Amazon S3相同

Swift：Swift是OpenStack的对象存储组件，其主要任务是提供大规模的分布式存储服务。Swift的主要组件包括：

• Proxy Server：接收来自用户的读写请求，并向其他Swift服务路由这些请求。

• Storage Server：Storage Server提供了磁盘设备上的存储服务。

  • Account Server：管理用户账户的数据，记录用户存储的容器信息。
  • Container Server：管理容器，记录容器内对象的信息。
  • Object Server：管理实际存储的对象数据。

• Ring：是Swift中用于数据定位和分布的机制，负责维护所有存储节点的状态，并决定数据的存放位置。

• Consistency Servers：目的是查找并解决由数据损坏和硬件故障引起的错误。

假设用户想要在 OpenStack Swift 中存储一个文件：

• 首先，用户的存储请求会发送到 Proxy Server。Proxy Server 是用户和 Swift 系统之间的接口，负责接收用户的请求。
• Proxy Server 收到请求后，会查阅 Ring 来确定应该将文件存储在哪些 Object Server 上。Ring 是 Swift 的数据定位和分布机制，负责维护所有存储节点的状态，并决定数据的存放位置。
• 确定存储位置后，Proxy Server 会将文件传送给相应的 Object Server 进行存储。
• 同时，Proxy Server 也会更新 Account Server 和 Container Server 的信息。Account Server 管理用户账户的数据，记录用户存储的容器信息。Container Server 管理容器，记录容器内对象的信息。

这样，当用户下一次想要访问这个文件时，Proxy Server 就可以通过查询 Ring，Account Server，和 Container Server 的信息来找到这个文件，并将其发送给用户。

• 数据一致性模型（Consistency Model）
  • 在这个模型中，数据被复制到多个节点上以增加可用性和耐久性。当对数据进行读写操作时，可以调整读取（R）和写入（W）的副本数量，以达到不同级别的数据一致性。
  • N为数据的副本总数
  • W为写操作被确认接受的副本数量
  • R为读操作的副本数量
• 强一致性
  • R+W >N，以保证对副本的读写操作会产生交集，因为至少有一个副本是同时参与了读和写操作的，所以可以保证读到的是最新版本的数据。
• 弱一致性
  • R+W<=N，如果读写操作的副本集合不产生交集，就可能会读到脏数据

这意味着在某些情况下，你可能会在短时间内读取到旧的或者过期的数据。但是，随着时间的推移，所有的副本最终都会达到一致的状态。这种一致性模型为 Swift 提供了高可用性和容错性，因为即使在发生故障或者网络分区的情况下，Swift 依然可以提供读写服务。然而，这种一致性模型可能不适合需要强一致性的应用。

• 高设备利用率
  • 采用虚拟化技术进行系统和数据中心整合，优化资源利用率、简化管理
• 绿色节能
  • 通过先进的供电和散热技术，降低数据中心的能耗
• 自动化管理
  • 云数据中心应是24x7小时无人值守并可远程管理的。
• 高可用性
  • 当网络扩展或升级时，网络能够正常运行，对网络的性能影响不大。

如果说云存储架构研究的是云存储系统内部，那么云存储的网络部署研究的则是系统外部——网络的体系结构，其中最主要的研究的就是交换机和交换机/服务器之间的线路问题。

• 配电系统

  • a) 高压直流配电技术（转换级数比传统的少一级）
  • b) 市电直供配电技术（只经过两级电路转换）

• 空调系统

  • 高温回风空调系统
  • 低能耗加湿系统
  • 自然冷空调系统

• 集装箱节能技术主要特点与设计（重点）

  • 集装箱数据中心：将服务器、网络、空调、供电等设备高密度“挤”进集装箱，集装箱（作为一个模块）组成数据中心
  • 技术
    • a）缩短送风距离：因为“挤”，所以送风距离短
    • b）提高冷通道温度：冷水机组（一种制冷设备）不用把温度降得那么低，也就不那么耗电
    • c）冷/热通道完全隔离：类似上一点的原理
    • d）隔热保温材料：涂在集装箱上，冬天内部不结露，夏天外部热量进不来
    • e）Free Cooling功能：自然冷却代替冷却系统降
  • 特点
    • 非节能技术的特点）
    • a）高密度（指的是集装箱里面的设备）
    • b）模块化（指的是集装箱）
    • c）按需快速部署（指的是集装箱）
    • d）移动便捷（指的是集装箱）

• 数据中心节能

  • DVFS节能技术
  • 基于虚拟化的节能技术
  • 基于主机关闭/开启的节能技术

• 名词解释PUE

  • 数据中心能源利用率
  • PUE = 数据中心总能耗 / IT 装置能耗
  • 数据中心的全部能源都用于 IT 装置，这样 PUE 的值就会接近 1。但在实际情况中，数据中心还需要用能源来进行冷却、照明等操作，所以 PUE 的值通常会大于 1。
  • 越低越好

• 自动化管理特征
  • 云自动化：按需分配和收回服务器、存储、网络、应用程序
  • 全面的可视性
  • 自动的控制执行
  • 多层次的无缝集成
  • 综合与实时的报告
  • 全生命周期支持

• 对比

• 技术指标

• 关键技术
  • 远程镜像技术
  • 快照技术
  • 基于IP的SAN的远程数据容灾备份技术
  • 数据库复制技术

1. Paxos：Paxos 是一种解决分布式系统中的共识问题的协议。共识问题是分布式系统中的关键问题之一，它涉及到如何在没有中心协调者的情况下，使得系统中的所有节点都能就某个值达成一致。Paxos 协议可以确保即使在系统中有节点发生故障的情况下，系统中的节点也能达成共识。

2. DHT (分布式哈希表)：DHT 是一种可以在没有中心协调者的情况下，实现高效的数据查找和存储的数据结构。在 DHT 中，数据项被分配到系统中的各个节点，每个节点负责一部分数据项。当需要查找某个数据项时，可以通过哈希函数直接定位到负责该数据项的节点。DHT 的主要优点是其查找效率高，且能够适应节点的加入和离开。

   1. https://zhuanlan.zhihu.com/p/166126098

3. Gossip：Gossip（又称为流言协议或者传播协议）是一种信息传播的协议，常用于实现在大规模分布式系统中的信息传播和节点之间的一致性。Gossip 协议的工作方式类似于人类社会中的流言传播：每个节点会定期地与其他节点交换信息，通过多次交换，信息可以快速地在所有节点中传播开来。Gossip 协议的主要优点是其能够容忍节点的故障，并且当系统规模增大时，其通信开销不会显著增加。

四大趋势

• 第一，随着云计算创新水平的不断提升，产业链上中下游整合趋势更加明显。
• 第二，国内云计算应用市场进一步发展成熟，市场空间显著扩大。
• 第三，云计算服务发展迅速，公共云服务和大型企业、机构内部的私有云建设与运维将成为重点。
• 第四，云计算公共化程度将进一步提升。国内云计算应用市场进一步发展与成熟，市场空间显著扩大。

• 淘宝分布式文件系统TFS

  • Taobao File System（TFS）是一个高可扩展、高可用、高性能、面向互联网服务的分布式文件系统，主要针对海量的非结构化数据，它构建在普通的Linux机器集群上，可对外提供高可靠和高并发的存储访问。

  • 淘宝提供海量小文件存储

  • 采用了高容错架构和平滑扩容

    • 1）集群容错
      • TFS可以配置主辅集群，一般主辅集群会存放在两个不同的机房。
      • 主集群提供所有功能，辅集群只提供读。
    • 2）NameServer容错
      • Namserve负责维护Block列表和DataServer与Block之间的关系。
      • NameServer和DataServer之间也会有定时的heartbeat。
    • 3）DataServer容错
      • TFS采用Block存储多份的方式来实现DataServer的容错。
      • 对于每一个写入请求，必须在所有的Block写入成功时才算成功。
      • TFS对每一个文件会记录校验CRC

  • 扁平化的数据组织结构

• A8000 的特性

  • A8000超低功耗云存储一体机

  • 优异性能、超低功耗、便捷管理、简单通用、超高密度、全面监控、高度可靠

  • 关键技术

    • A8000低功耗主板
    • 集中式直流供电
    • 集中式散热系统

阿里巴巴OceanBase（有待补充）

OceanBase主要是为了解决淘宝网的大规模数据而产生的，是一个支持海量数据的高性能分布式数据库系统，达到管理数千亿条记录的规模，支持在数百TB数据上跨行跨表事务并支持SQL操作。

• 系统特点及优势
  • 主体数据在一段时间内保持相对稳定
  • 以内存保存增删改记录极大地提高了系统写事务的性能
  • 扩充UpdateServer内存即增加了内存中容纳的修改量
  • 动态数据服务器UpdateServer写commit log并采取双机（甚至多机）热备
  • OceanBase按主键的范围查询对应着连续的磁盘读

cVideo云视频监控系统

• 云监控技术系统架构和关键技术

  • 架构
    • 前端设备
    • 处理服务器集群
    • 接入服务器
    • 存储服务器集群
    • 流媒体服务器
    • 中心服务器
    • 客户端
  • 关键技术
    • 基于分布式网络设计，支持多点超远距离实时高清视频监控
    • 支持大规模、多层级的监控系统
    • 支持海量视频数据备份
    • 采用先进的视频内容智能分析技术

• 云监控技术应用（？）

  • 1．特定人物视频检索

  • 

  • 2．区域入侵检测

    • 运动目标检测的基础上延伸出来的一种检测报警应用功能，可以自动检测出监控视频中的预设防区内所出现的运动目标，如果检测到的运动目标及其行为符合预先设定的警戒条件，则自动进行抓拍、录像以及报警等关联性动作。

  • 3．车流量统计

    • 车流量统计是在视频智能分析技术——运动目标检测的基础上延伸出来的，采用“虚拟线圈”的方式自动检测出监控视频中所出现的车辆，并统计相应车道上的车辆进出数量。
  • 4. 火焰检测
    • 火焰检测功能可以自动对视频图像信息进行分析判断，及时发现监控区域内的火灾苗头，以最快、最佳的方式进行告警和提供有用信息，能有效地协助消防人员处理火灾危机。

• 弹性计算服务（ECS）

  • 完全管理权限
  • API接口
  • 弹性内存
  • 快照备份与恢复
  • 自定义镜像
  • 在线迁移

• 开放存储服务OSS

  • 弹性扩展
  • 大规模并发读写
  • 图片处理优化

• 开放结构化数据服务OTS

  • 数据的海量存储
  • 简单易用的表管理
  • 数据的管理

• 开放数据处理服务ODPS

  • 海量运算
  • 数据安全
  • 开箱即用

• 关系型数据库RDS

  • 安全稳定，数据可靠
  • 自动备份，管理透明
  • 性能卓越，灵活扩容