请教一个共享存储的问题

发布网友发布时间：2022-04-22 08:56

共2个回答

懂视网时间：2022-04-23 08:22

这次给大家带来使Cluster共享内存有哪些方法，使Cluster共享内存的注意事项有哪些，下面就是实战案例，一起来看一下。

Node.js的标准API没有提供进程共享内存，然而通过IPC接口的send方法和对message事件的监听，就可以实现一个多进程之间的协同机制，通过通信来操作共享内存。

##IPC的基本用法：

// worker进程 发送消息
process.send(‘读取共享内存');
 
// master进程 接收消息 -> 处理 -> 发送回信
cluster.on('online', function (worker) {
 // 有worker进程建立，即开始监听message事件
 worker.on(‘message', function(data) {
 // 处理来自worker的请求
 // 回传结果
 worker.send(‘result')
 });
});

在Node.js中，通过send和on(‘message', callback)实现的IPC通信有几个特点。首先，master和worker之间可以互相通信，而各个worker之间不能直接通信，但是worker之间可以通过master转发实现间接通信。另外，通过send方法传递的数据，会先被JSON.stringify处理后再传递，接收后会再用JSON.parse解析。所以Buffer对象传递后会变成数组，而function则无法直接传递。反过来说，就是可以直接传递除了buffer和function之外的所有数据类型（已经很强大了，而且buffer和function也可以用变通的方法实现传递）。

基于以上特点，我们可以设计一个通过IPC来共享内存的方案：

1、worker进程作为共享内存的使用者，并不直接操作共享内存，而是通过send方法通知master进程进行写入(set)或者读取(get)操作。

2、master进程初始化一个Object对象作为共享内存，并根据worker发来的message，对Object的键值进行读写。

3、由于要使用跨进程通信，所以worker发起的set和get都是异步操作，master根据请求进行实际读写操作，然后将结果返回给worker（即把结果数据send给worker）。

##数据格式

为了实现进程间异步的读写功能，需要对通信数据的格式做一点规范。

首先是worker的请求数据：

requestMessage = {
 isSharedMemoryMessage: true, // 表示这是一次共享内存的操作通信
 method: ‘set', // or ‘get' 操作的方法
 id: cluster.worker.id, // 发起操作的进程（在一些特殊场景下，用于保证master可以回信）
 uuid: uuid, // 此次操作的（用于注册/调用回调函数）
 key: key, // 要操作的键
 value: value // 键对应的值（写入）
}

master在接到数据后，会根据method执行相应操作，然后根据requestMessage.id将结果数据发给对应的worker，数据格式如下：

responseMessage = {
 isSharedMemoryMessage: true, // 标记这是一次共享内存通信
 uuid: requestMessage.uuid, // 此次操作的唯一标示
 value: value // 返回值。get操作为key对应的值，set操作为成功或失败
}

规范数据格式的意义在于，master在接收到请求后，能够将处理结果发送给对应的worker，而worker在接到回传的结果后，能够调用此次通信对应的callback，从而实现协同。

规范数据格式后，接下来要做的就是设计两套代码，分别用于master进程和worker进程，监听通信并处理通信数据，实现共享内存的功能。

##User类

User类的实例在worker进程中工作，负责发送操作共享内存的请求，并监听master的回信。

var User = function() {
 var self = this;
 self.uuid = 0;
 
 // 缓存回调函数
 self.getCallbacks = {};
 
 // 接收每次操作请求的回信
 process.on('message', function(data) {
 
 if (!data.isSharedMemoryMessage) return;
 // 通过uuid找到相应的回调函数
 var cb = self.getCallbacks[data.uuid];
 if (cb && typeof cb == 'function') {
 cb(data.value)
 }
 // 卸载回调函数
 self.getCallbacks[data.uuid] = undefined;
 });
};
 
// 处理操作
User.prototype.handle = function(method, key, value, callback) {
 
 var self = this;
 var uuid = self.uuid++;
 
 process.send({
 isSharedMemoryMessage: true,
 method: method,
 id: cluster.worker.id,
 uuid: uuid,
 key: key,
 value: value
 });
 
 // 注册回调函数
 self.getCallbacks[uuid] = callback;
 
};
 
User.prototype.set = function(key, value, callback) {
 this.handle('set', key, value, callback);
};
 
User.prototype.get = function(key, callback) {
 this.handle('get', key, null, callback);
};

##Manager类

Manager类的实例在master进程中工作，用于初始化一个Object作为共享内存，并根据User实例的请求，在共享内存中增加键值对，或者读取键值，然后将结果发送回去。

var Manager = function() {
 
 var self = this;
 
 // 初始化共享内存
 self.sharedMemory = {};
 
 // 监听并处理来自worker的请求
 cluster.on('online', function(worker) {
 worker.on('message', function(data) {
 // isSharedMemoryMessage是操作共享内存的通信标记
 if (!data.isSharedMemoryMessage) return;
 self.handle(data);
 });
 });
};
 
Manager.prototype.handle = function(data) {
 var self = this;
 var value = this[data.method](data);
 
 var msg = {
 // 标记这是一次共享内存通信
 isSharedMemoryMessage: true, 
 // 此次操作的唯一标示
 uuid: data.uuid,
 // 返回值
 value: value
 };
 
 cluster.workers[data.id].send(msg);
};
 
// set操作返回ok表示成功
Manager.prototype.set = function(data) {
 this.sharedMemory[data.key] = data.value;
 return 'OK';
};
 
// get操作返回key对应的值
Manager.prototype.get = function(data) {
 return this.sharedMemory[data.key];
};

##使用方法

if (cluster.isMaster) {
 
 // 初始化Manager的实例
 var sharedMemoryManager = new Manager();
 
 // fork第一个worker
 cluster.fork();
 
 // 1秒后fork第二个worker
 setTimeout(function() {
 cluster.fork();
 }, 1000);
 
} else {
 
 // 初始化User类的实例
 var sharedMemoryUser = new User();
 
 if (cluster.worker.id == 1) {
 // 第一个worker向共享内存写入一组数据，用a标记
 sharedMemoryUser.set('a', [0, 1, 2, 3]);
 }
 
 if (cluster.worker.id == 2) {
 // 第二个worker从共享内存读取a的值
 sharedMemoryUser.get('a', function(data) {
 console.log(data); // => [0, 1, 2, 3]
 });
 }
 
}

热心网友时间：2022-04-23 05:30

一、集群的基本概念有一种常见的方法可以大幅提高服务器的安全性，这就是集群。 Cluster集群技术可如下定义：一组相互的服务器在网络中表现为单一的系统，并以单一系统的模式加以管理。此单一系统为客户工作站提供高可靠性的服务。大多数模式下，集群中所有的计算机拥有一个共同的名称，集群内任一系统上运行的服务可被所有的网络客户所使用。Cluster必须可以协调管理各分离的组件的错误和失败，并可透明地向Cluster中加入组件。一个Cluster包含多台（至少二台）拥有共享数据存储空间的服务器。任何一台服务器运行一个应用时，应用数据被存储在共享的数据空间内。每台服务器的操作系统和应用程序文件存储在其各自的本地储存空间上。 Cluster内各节点服务器通过一内部局域网相互通讯。当一台节点服务器发生故障时，这台服务器上所运行的应用程序将在另一节点服务器上被自动接管。当一个应用服务发生故障时，应用服务将被重新启动或被另一台服务器接管。当以上任一故障发生时，客户将能很快连接到新的应用服务上。二、集群的硬件配置镜像服务器双机集群中镜像服务器双机系统是硬件配置最简单和价格最低廉的解决方案，通常镜像服务的硬件配置需要两台服务器，在每台服务器有操作系统硬盘和数据存贮硬盘，每台服务器有与客户端相连的网卡，另有一对镜像卡或完成镜像功能的网卡。镜像服务器具有配置简单，使用方便，价格低廉诸多优点，但由于镜像服务器需要采用网络方式镜像数据，通过镜像软件实现数据的同步，因此需要占用网络服务器的CPU及内存资源，镜像服务器的性能比单一服务器的性能要低一些。有一些镜像服务器集群系统采用内存镜像的技术，这个技术的优点是所有的应用程序和网络操作系统在两台服务器上镜像同步，当主机出现故障时，备份机可以在几乎没有感觉的情况下接管所有应用程序。因为两个服务器的内存完全一致，但当系统应用程序带有缺陷从而导致系统宕机时，两台服务器会同步宕机。这也是内存镜像卡或网卡实现数据同步，在大数据量读写过程中两台服务器在某些状态下会产生数据不同步，因此镜像服务器适合那些预算较少、对集群系统要求不高的用户。硬件配置范例：网络服务器两台服务器操作系统硬盘两块服务器数据存贮硬盘视用户需要确定服务器镜像卡（部分软件可使用标准网卡）两块网络服务网卡两块三、双机与磁盘阵列柜与镜像服务器双机系统相比，双机与磁盘阵列柜互联结构多出了第三方生产的磁盘阵列柜，目前，豪威公司、精业公司等许多公司都生产有磁盘阵列柜，在磁盘阵列柜中安装有磁盘阵列控制卡，阵列柜可以直接将柜中的硬盘配置成为逻辑盘阵。磁盘阵列柜通过SCSI电缆与服务器上普通SCSI卡相连，系统管理员需直接在磁盘柜上配置磁盘阵列。双机与磁盘阵列柜互联结构不采用内存镜像技术，因此需要有一定的切换时间（通常为60？D？D180秒），它可以有郊的避免由于应用程序自身的缺陷导致系统全部宕机，同时由于所有的数据全部存贮在中置的磁盘阵列柜中，当工作机出现故障时，备份机接替工作机，从磁盘阵列中读取数据，所以不会产生数据不同步的问题，由于这种方案不需要网络镜像同步，因此这种集群方案服务器的性能要比镜像服务器结构高出很多。双机与磁盘阵列柜互联结构的缺点是在系统当中存在单点错的缺陷，所谓单点错是指当系统中某个部件或某个应用程序出现故障时，导致所有系统全部宕机。在这个系统中磁盘阵列柜是会导致单点错，当磁盘阵列柜出现逻辑或物理故障时，所有存贮的数据会全部丢失，因此，在选配这种方案时，需要选用一个品质与售后服务较好的产品。硬件配置范例：网络服务器两台服务器操作系统硬盘两块第三方生产的磁盘阵列柜一台磁盘柜专用SCSI电线两根磁盘阵列柜数据存贮硬盘视用户需求确定网络服务网卡两块除此之外，一些厂商还有更优秀的技术的解决方案，比如 HP. 四、HP双机双控容错系统 HP NetServer为双机双控容错系统提供了高品质和高可靠的硬件基础…… HP双机双控容错系统结合了HP服务器产品的安全可靠性与Cluster技术的优点，相互配合二者的优势。

全部栏目

请教一个共享存储的问题