Cómo configurar Open Grid Engine Cluster usando Ubuntu 15.04

Hola a todos: En el artículo de hoy hablaremos sobre Open Grid Scheduler / Grid Engine y le mostraremos su proceso de instalación y algunos pasos para configurar fácilmente su Grid Engine Cluster en Ubuntu 15.04. Open Grid Scheduler / Grid Engine es un sistema de colas por lotes con soporte comercial que administra y programa la asignación de recursos distribuidos como procesadores, memoria, espacio en disco y licencias de software. Garantiza una buena utilización de los recursos y evita que un solo usuario capture todos los recursos del sistema cuando otros usuarios esperan que se ejecuten sus trabajos.

Grid Engine se utiliza normalmente en un clúster informático de alto rendimiento que es responsable de aceptar, programar, distribuir y gestionar la ejecución remota y distribuida de un gran número de trabajos de usuario independientes, paralelos o interactivos.

Configuración del servidor principal de Grid Engine

En primer lugar, configuraremos nuestro servidor Ubuntu para la instalación de Grid Engine en el servidor maestro, inicie sesión en su servidor con el usuario root y actualice su sistema con todos los parámetros básicos del servidor.

# apt-get update

1) Crear nuevo usuario

Crearemos un nuevo usuario que se utilizará para la configuración de Grid Engine y los recursos compartidos de NFS. Ejecutemos el comando para la configuración del nuevo usuario y agreguemos la información requerida.

# adduser gsadmin --uid 500

2) Descargar el paquete Grid Engine

Puede encontrar las últimas y antiguas versiones de los paquetes del programador Grid Engine en el Página de Sourceforge.
O si puede descargarlo en su servidor ubuntu usando el comando de la utilidad wget siguiendo la ruta completa del paquete como se muestra.

# wget http://downloads.sourceforge.net/project/gridscheduler/GE2011.11p1/GE2011.11p1.tar.gz

3) paquete de extracto

Extraeremos el paquete Open Grid y luego lo trasladaremos al directorio de inicio del usuario recién creado y asignaremos sus derechos de usuario. Para realizar estos pasos, usemos los siguientes comandos.

# tar -zxvf GE2011.11p1.tar.gz
# mv GE2011.11p1 /home/gsadmin/
# chown -R gsadmin:gsadmin /home/gsadmin/

Configurar el servidor NFS en el host maestro

Ahora instale el paquete del servidor NFS y configúrelo con el directorio de inicio del nuevo usuario «gsadmin» para compartir.

Ejecutemos el siguiente comando.

# apt-get install nfs-kernel-server

Antes de que comience el proceso de instalación, se le pedirá que presione Sí / No. Por lo tanto, una vez que presione «Y» para continuar, se realizarán varios pasos como se muestra a continuación.

Creating config file /etc/idmapd.conf with new version

Creating config file /etc/default/nfs-common with new version
Adding system user `statd' (UID 109) ...
Adding new user `statd' (UID 109) with group `nogroup' ...
Not creating home directory `/var/lib/nfs'.
invoke-rc.d: gssd.service doesn't exist but the upstart job does. Nothing to start or stop until a systemd or init job is present.
invoke-rc.d: idmapd.service doesn't exist but the upstart job does. Nothing to start or stop until a systemd or init job is present.
nfs-utils.service is a disabled or a static unit, not starting it.
Setting up nfs-kernel-server (1:1.2.8-9ubuntu8.1) ...

Creating config file /etc/exports with new version

Creating config file /etc/default/nfs-kernel-server with new version
Processing triggers for libc-bin (2.21-0ubuntu4) ...
Processing triggers for ureadahead (0.100.0-19) ...
Processing triggers for systemd (219-7ubuntu3) ...

En este punto, el servidor del kernel NSF se ha instalado con éxito, ahora utilizaremos algunos comandos como se muestra a continuación para configurar el archivo de exportación predeterminado y luego reiniciar los servicios nfs.

# echo "/home/gsadmin *(rw,sync,no_subtree_check)" >> /etc/exports
# exportfs -a
# service nfs-kernel-server restart

Configurar OpenJDK-8 en el nodo maestro

Configuremos Open JDK en el nodo maestro con el motor de cuadrícula abierta para ejecutar trabajos basados ​​en java en el clúster.
Simplemente ejecute el siguiente comando para obtener la última instalación de Java.

# apt-get install openjdk-8-jdk

Presione «Y» para continuar con el proceso de instalación de Java como se muestra a continuación.

0 to upgrade, 179 to newly install, 0 to remove and 40 not to upgrade.
Need to get 108 MB of archives.
After this operation, 478 MB of additional disk space will be used.
Do you want to continue? [Y/n] Y

Configuración de inicio de Java

Ahora configure y configure Java_Home y exporte su ruta para usar.

root@ubuntu-15:~# echo "export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64/" >> ~/.bashrc
root@ubuntu-15:~# export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64/
root@ubuntu-15:~# echo "export PATH=$PATH:/usr/lib/jvm/java-8-openjdk-amd64/bin" >> ~/.bashrc
root@ubuntu-15:~# export PATH=$PATH:/usr/lib/jvm/java-8-openjdk-amd64/bin
root@ubuntu-15:~# echo "export SGE_ROOT=/home/gsadmin/GE2011.11p1" >>~/.bashrc
root@ubuntu-15:~# export SGE_ROOT=/home/gsadmin/GE2011.11p1/
root@ubuntu-15:~# export PATH=$PATH:~/GE2011.11p1/bin/linux-x64:$SGE_ROOT

Si bien las variables PATH también se establecen en los nodos, antes de comenzar la instalación de los paquetes Open Grid Schedule, primero configuraremos los nodos.

Configurar el nodo cliente de Open Grid Engine

Al igual que en el nodo maestro, crearemos un nuevo usuario en el nodo cliente para el recurso compartido NFS para acceder a los archivos de Grid Engine y otros datos compartidos.

1) Agregar nuevo usuario

Para crear un nuevo usuario para el nodo cliente, use el comando como se muestra en la imagen, asígnele una contraseña y complete otra información si es necesario; de lo contrario, déjela como predeterminada.

2) Instalación del paquete NFS

Ahora instale el paquete de comando NFS en el nodo cliente usando el comando siguiente como se muestra.

3) Mount Share

Después de la instalación del paquete común de NFS, ahora montaremos los recursos compartidos del nodo del servidor en el nodo del cliente y lo configuraremos para que se monte permanentemente usando los siguientes comandos.

root@ubuntu-node:~# mount 17.5.10.71:/home/gsadmin /home/gsadmin
root@ubuntu-node:~# echo "17.5.10.71:/home/gsadmin /home/gsadmin nfs" >> /etc/fstab
root@ubuntu-node:~# echo "export SGE_ROOT=/home/gseadmin/GE2011.11p1" >>~/.bashrc
root@ubuntu-node:~# export SGE_ROOT=/home/gsadmin/GE2011.11p1/

Configurar claves SSH

Ahora tenemos que permitir el acceso directo a ssh desde el servidor al cliente y viceversa, así que, para lograr esto, configuraremos ambos nodos para que tengan acceso a ssh sin ingresar la contraseña. Primero ejecutemos el siguiente comando en el nodo cliente para generar el par de claves RSA.

root@client-node:~# ssh-keygen
root@server-node:~# ssh-keygen

Ahora, para copiar la clave SSH del nodo cliente al nodo maestro, ejecute el siguiente comando.

root@ubuntu-node:~# ssh-copy-id master_server_IP

Hemos agregado con éxito la clave de la máquina cliente al servidor, ahora podemos acceder a nuestro nodo del servidor desde el cliente sin ingresar la contraseña de root. Use el siguiente comando para conectarse a otro servidor usando la clave ssh.

root@ubuntu-node:~# ssh 17.5.10.71

Entonces, ahora podemos conectarnos entre otros servidores sin una contraseña usando la misma forma.

Instalación del programador de cuadrícula abierta / motor de cuadrícula

Se han configurado todos los parámetros básicos, ahora pasaremos por el proceso de instalación Open Grid Scheduler y Grid Engine en el nodo del servidor maestro.

Hay dos opciones, ya sea para usar la interfaz gráfica de usuario si está usando el sistema operativo Xwindow o seguir el proceso de instalación de la línea de comandos.

Para la instalación de la GUI, apunte a la ubicación del script de instalación, déle los permisos de ejecución en el servidor y ejecute el instalador de la interfaz gráfica de usuario.

root@ubuntu-15:~# cd /home/gsadmin/GE2011.11p1/source/clients/gui-installer/templates/
root@ubuntu-15:/home/gsadmin/GE2011.11p1/source/clients/gui-installer/templates# ./start_gui_installer.sh

También puede instalar los paquetes del servidor del motor Grid desde sus repositorios disponibles usando el comando apt-get como se muestra a continuación.

root@ubuntu-15:~# apt-get install gridengine-master

Es posible que obtenga un error fallido si no se cumple alguno de los requisitos previos, así que asegúrese de los siguientes puntos.

• El nombre de host está configurado correctamente.
• El servicio Postfix está en funcionamiento.
• El paquete bsd-mailx está instalado.

Durante el proceso de instalación, se le pedirá que configure algunos parámetros más como se muestra a continuación, así que elija la configuración adecuada para el tipo de configuración de correo Postfix General de las opciones disponibles.

Luego elija el nombre del correo del sistema como se indica en la ventana.

En los siguientes pasos, se le pedirá que configure los ajustes comunes de Gridengine. Por lo tanto, si desea las configuraciones predeterminadas por SGE automáticamente, apunte a la tecla «Sí» y presione OK para pasar a la siguiente configuración.

Al final del proceso de instalación, podrá ver los parámetros de la configuración de inicialización del clúster como se muestra en la siguiente imagen.

Verificar instalación

Para verificar y verificar que todo salió bien durante el proceso de instalación, ejecutemos el siguiente comando en el servidor maestro para verificar sus servicios.

root@ubuntu-15:~# netstat -anput | grep master
root@ubuntu-15:~# ps aux | grep "sge"

En el nodo Cliente, compruebe el servicio ejecutivo.

root@ubuntu-node:~# netstat -anp | grep exec
tcp 0 0 0.0.0.0:6445 0.0.0.0:* LISTEN 1353/sge_execd
root@ubuntu-node:~# netstat -anput | grep exec
tcp 0 0 0.0.0.0:6445 0.0.0.0:* LISTEN 1353/sge_execd

Conclusión

Aquí aprendimos los pasos de instalación y configuración para configurar el clúster Open Grid Scheduler / Grid Engine usando Ubuntu 14.04 / 15.05. El sistema de cola de Sun Grid Engine es útil cuando tiene un conjunto de tareas para ejecutar y desea distribuir las tareas en un grupo de nodos. Ahora puede usarlo para programar sus tareas, equilibrar la carga o monitorear todos los trabajos / consultas enviados en los que se ejecutan los nodos del clúster.