Hoja de trucos para los comandos HDFS de Hadoop
HDFS ahora es un subproyecto de Apache Hadoop. Una instancia de HDFS contiene una gran cantidad de servidores y cada uno almacena una parte del sistema de archivos. Un tamaño de archivo típico en HDFS estaría en gigabytes o terabytes, por lo que las aplicaciones tendrán grandes conjuntos de datos. Una vez que se crea un archivo, no es necesario cambiarlo, es decir, funciona con el modelo de escritura única, lectura y acceso múltiple.
Un clúster HDFS consta de un servidor maestro (namenode) que administra el espacio de nombres del sistema de archivos y controla el acceso a los archivos. Y otros nodos en los servidores del clúster como nodos de datos que manejan el almacenamiento adjunto a los nodos y también son responsables de crear/eliminar/replicar los bloques según las instrucciones de los nodos de nombre. HDFS está codificado en Java, por lo que cualquier nodo compatible con Java puede ejecutar aplicaciones nameNode o dataNode.
Este tutorial le brinda una hoja de trucos para los comandos de Hadoop HDFS. Esto será muy útil cuando trabaje con estos comandos en Hadoop Distributed File System). Hadoop fs anterior se usaba en comandos ahora en desuso, por lo que usamos hdfs dfs. Todos los comandos de Hadoop son invocados por el script bin/hadoop. Esta hoja de trucos contiene varios comandos, diría que casi todos los comandos que a menudo usan un desarrollador de Hadoop y el administrador. Es bastante completo, también he mostrado todas las opciones que se pueden usar para el mismo comando. En cualquier caso, mientras ejecuta un comando obtiene un error, no se asuste y simplemente verifique la sintaxis de su comando, puede haber un problema de sintaxis de comando o puede ser un problema con la fuente o el destino que mencionó.
Hemos agrupado los pedidos en las siguientes categorías:
1) Lista de archivos
2) Leer/Escribir archivos
3) Subir/Descargar archivos
4) Gestión de archivos
5) Propiedad y Validación
6) Sistema de archivos
7) Administración
Puede descargar la versión en pdf de la hoja de trucos del comando Hadoop hdfs o un archivo de imagen A4 imprimible desde aquí.
Conclusión
Mantenga este folleto A4 impreso en su escritorio, estoy seguro de que lo aprenderá rápidamente y se convertirá en un experto de Hadoop muy pronto. Por favor, manténganos informados si necesita que agreguemos más comandos. Los comandos se clasifican en 7 secciones según su uso.