3、         GPFS配置使用

 

3、1.在虚拟机中创建共享磁盘，方法比较简单，只要在虚机关机状态下通过“编辑虚拟机设置”选项在一台机器中添加需要的硬盘设备，同时将虚拟设备节点选为scsi1控制器支持的通道（因为操作系统安装时已经使用了scsi0控制器作为本地硬盘控制器，共享盘设置需要对虚拟机的.vmx配置文件进行编辑，此项必须进行设置），模式勾选独立，并复选永久选项。在试验中我们增加了4块5G的硬盘设备。用户需要对自己的虚拟机配置文件对照一下实验配置文件进行修改，文件内容如下（注释中添加必须字样的内容为需要用户手工添加的内容）：

 

scsi1.shared = "TRUE" //必须

 

scsi1.present = "TRUE"

 

scsi1.virtualDev = "lsilogic"

 

scsi1.sharedBus = "VIRTUAL" //必须

 

disk.locking = "FALSE" //必须

 

diskLib.dataCacheMaxSize = "0" //必须

 

diskLib.dataCacheMaxReadAheadSize = "0" //必须

 

diskLib.dataCacheMinReadAheadSize = "0"  //必须

 

diskLib.dataCachePageSize = "4096"  /必须

 

diskLib.maxUnsyncedWrites = "0"  //必须

 

disk.EnableUUID = "FALSE"  //必须

 

scsi1:1.present = "TRUE"

 

scsi1:1.fileName = "D:\Virtual Machines\shared\shared-0.vmdk"

 

scsi1:1.mode = "independent-persistent"

 

scsi1:1.deviceType = "disk"  //必须

 

scsi1:2.present = "TRUE"

 

scsi1:2.fileName = "D:\Virtual Machines\shared\shared-1.vmdk"

 

scsi1:2.mode = "independent-persistent"

 

scsi1:2.deviceType = "disk"  //必须

 

scsi1:3.present = "TRUE"

 

scsi1:3.fileName = "D:\Virtual Machines\shared\shared-2.vmdk"

 

scsi1:3.mode = "independent-persistent"

 

scsi1:3.deviceType = "disk"  //必须

 

scsi1:4.present = "TRUE"

 

scsi1:4.fileName = "D:\Virtual Machines\shared\shared-3.vmdk"

 

scsi1:4.mode = "independent-persistent"

 

scsi1:4.deviceType = "disk"  //必须

 

重启主机，在两台主机上分别执行命令fdisk –l，应该就可以看到新的共享盘符了。本试验中两台主机中均可以看到/dev/sdb 、/dev/sdc、/dev/sdd、/dev/sde四个新的硬盘设备。

 

3、2.建立双机互信，使用ssh建立双机互信，分别登录两台主机，执行命令ssh-keygen –t rsa 生成密钥文件，之后分别在各主机上执行命令ssh-copy-id –i /root/.ssh/id_rsa.pub root@对端主机IP地址，之后进行双机互信登录测试。

 

3、3.创建GPFS双机集群，双机互信建立之后，此时可以直接编辑双机GPFS集群配置文件，使用vi /root/gpfsprofile ,文件内容如下：

 

oraclenode1:quorum-manager

 

oraclenode2:quorum-manager

 

之后使用命令mmcrcluster -N /root/gpfsprofile -p oraclenode1 -s oraclenode2 -C oracle_gpfs_cluster -r /usr/bin/ssh -R /usr/bin/scp创建集群，注意指定ssh方式，命令参数含义如下：

 

-C oracle_gpfs_cluster 设定集群名称

-U bgbc定义域名

-N /root/gpfsprofile 指定节点文件名

-p oraclenode1 指定主NSD 服务器为 oraclenode1

-s oraclenode2 指定备NSD 服务器为 oraclenode2

 

使用命令mmchlicense server --accept -N oraclenode1,oraclenode2接受许可协议。使用命令mmlscluster确认创建集群状况。

 

3、4. 生成nsd 盘，使用/dev/sdb、/dev/sdc、/dev/sdd、/dev/sde，使用命令 vi /nsdprofile创建配置文件，文件内容如下：

 

/dev/sdb:::dataAndMetadata::

 

/dev/sdc:::dataAndMetadata::

 

/dev/sdd:::dataAndMetadata::

 

/dev/sde:::dataAndMetadata::

 

之后使用命令mmcrnsd -F /nsdprofile创建NSD盘。此时系统自动修改/nsdprofile 文件内容如下：

 

gpfs1nsd:::dataAndMetadata:-1::system

 

gpfs2nsd:::dataAndMetadata:-1::system

 

gpfs3nsd:::dataAndMetadata:-1::system

 

gpfs4nsd:::dataAndMetadata:-1::system

 

3、5.启动GPFS集群，使用命令mmstartup –a启动GPFS集群软件，使用命令mmgetstate -a –L查看GPFS集群状态，检查GPFS state列，显示为“active”说明GPFS文件系统正常。

 

3、6.创建GPFS文件系统，在所有节点中使用命令mkdir /gpfs创建GPFS文件系统挂载点，并在任意节点执行命令mmcrfs /gpfs gpfs_lv -F /nsdprofile -A yes -n 30 -v no 系统将创建设备为gpfs_lv的GPFS文件系统设备，此时可以进入/dev目录进行查看验证。使用命令mount /gpfs挂载文件系统。使用命令mmchconfig autoload=yes 将GPFS集群设置为开机自启模式。使用命令mmchconfig tiebreakerDisks=”gpfs1nsd;gpfs2nsd;gpfs3nsd” 配置仲裁盘。重新启动所有节点使用命令mmlscluster、mmlsconfig、mmgetstate –a –L、mount、df –hl对GPFS文件系统及系统挂载节点进行验证。