Hoja de referencia de comandos de Hadoop HDFS
HDFS es ahora un subproyecto de Apache Hadoop. Una instancia de HDFS contiene una gran cantidad de servidores y cada uno almacena una parte del sistema de archivos. Un tamaño de archivo típico en HDFS sería en gigabytes o terabytes de tamaño, por lo que las aplicaciones tendrán grandes conjuntos de datos. Un archivo una vez creado no necesita ser cambiado, es decir, funciona con un modelo de acceso de escritura una vez leído.
Un clúster HDFS consta de un servidor maestro (namenode) que administra el espacio de nombres del sistema de archivos y controla el acceso a los archivos. Y otros nodos en los servidores del clúster como nodos de datos que manejan el almacenamiento adjunto a los nodos y también son responsables de la creación / eliminación / replicación de bloques según las instrucciones de los nodos de nombre. HDFS está codificado en Java, por lo que cualquier nodo que admita Java pueda ejecutar aplicaciones nameNode o dataNode.
Este tutorial le brinda una hoja de trucos de comandos de Hadoop HDFS. Esto será muy útil cuando trabaje con estos comandos en el sistema de archivos distribuido de Hadoop). Anteriormente, se usaba hadoop fs en los comandos, ahora está en desuso, por lo que usamos hdfs dfs. Todos los comandos de Hadoop son invocados por el script bin / hadoop. Esta hoja de trucos contiene varios comandos, yo diría que casi todos los comandos que suelen utilizar tanto un desarrollador como un administrador de Hadoop. Es bastante completo, también he mostrado todas las opciones que se pueden usar para el mismo comando. En cualquier caso, mientras ejecuta un comando, obtiene un error, no se asuste y simplemente verifique la sintaxis de su comando, puede haber un problema de sintaxis de comando o puede tener un problema con la fuente o el destino que mencionó.
Hemos agrupado los comandos en las siguientes categorías:
1) Lista de archivos
2) Leer / Escribir archivos
3) Cargar / Descargar archivos
4) Gestión de archivos
5) Propiedad y validación
6) sistema de archivos
7) Administración
Puede descargar la versión pdf de la hoja de trucos del comando hadoop hdfs o el archivo de imagen A4 imprimible desde aquí.
Conclusión
Mantenga impresa esta hoja de referencia de tamaño A4 en su escritorio, estoy seguro de que las aprenderá rápidamente y será un experto en Hadoop muy pronto. Manténganos informados si necesita que agreguemos más comandos. Los comandos se clasifican en 7 secciones según su uso.