Building Hadoop Clusters [Video] - Review (en español)

Estimad@s,

una vez más se trata de una review de un video curso publicado por Packt Publishing. En este caso les haré un comentario sobre "Building Hadoop Clusters" cuyo autor es Sean Mikha.

En este curso Sean explica con lujo de detalle como configurar correctamente un cluter Hadoop en la nube de Amazon. Parte de una explicación sumamente detallada de las opciones del tablero de Amazon (configuración de instancias, opciones de red y seguridad) y luego la instalación y configuración propiamente dicha. También explica como chequear conectándonos desde diversos clientes.
Una vez que se ha instalado Hadoop, nos muestra como se ponen en juego los diversos servicios y el rol que cumple cada uno, siempre agregando tips y recomendaciones. En la parte final nos muestra el sistema de almacenamiento y procesamiento de Hadoop y finalmente la instalación y puesta en marcha de Apache Hadoop User Interface (HUE).


Como resumen diré que el curso es muy minucioso y vale la pena, recomiendo que el interesado lea algo de big data, Hadoop y computación en la nube antes de hacer este curso. Procesar y almacenar grandes cantidades de datos ya no es una opción para medianas y grandes empresas, no hay mucho material de referencia como el que se presenta en este curso, por ello lo recomiendo.

Aquí una vista previa del curso: https://www.youtube.com/watch?v=uXitqC7eQXk


Esta es la tabla de contenidos del curso:

Deploying Cloud Instances for Hadoop 2.0

• Introduction to the Cloud and Hadoop 
• Deploying a Linux Amazon Machine Image 
• Setting Up Amazon Instances 

Setting Up Network and Security Settings

• Network and Security Settings Overview 
• Identifying and Allocating Security Groups 
• Configuration of Private Keys in a Windows Environment 

Connecting to Cloud Instances

• Overview of the Connectivity Options for Windows to the Amazon Cloud 
• Installing and Using Putty for Connectivity to Windows Clients 
• Transferring Files to Linux Nodes with PSCP 

Setting Up Network Connectivity and Access for Hadoop Clusters

• Defining the Hadoop Cluster 
• Setting Up Password-less SSH on the Head Node 
• Gathering Network Details and Setting Up the HOSTS File 

Setting Up Configuration Settings across Hadoop Clusters

• Setting Up Linux Software Repositories 
• Using the Parallel Shell Utility (pdsh) 
• Prepping for Hadoop Installation 

Creating a Hadoop Cluster

• Building a Hadoop Cluster 
• Installing Hadoop 2 – Part 1 
• Installing Hadoop 2 – Part 2 

Loading and Navigating the Hadoop File System (HDFS)

• Understanding the Hadoop File System 
• Loading and Navigating the Hadoop File System 
• Ambari Server and Dashboard 

Hadoop Tools and Processing Files

• Hadoop Tools and Processing Files 
• Installing HUE 
• Using HUE 

Espero les sea de utilidad el comentario.

Saludos

Mariano

Pentaho como demonio (servicio) linux

Estimad@s,

en este caso escribo para compartir un script que sirve para instalar Pentaho BI Server CE como demonio linux. Agradezco a Jorge Colmenarez por la colaboración y el ánimo de compartir.


El archivo script

Primero creamos un archivo script llamado pentaho con el siguiente contenido:


#!/bin/sh -e
### BEGIN INIT INFO
# Provides:          Pentaho Server
# Required-Start:    mountkernfs $local_fs
# Required-Stop:     $local_fs
# Should-Start:      ifupdown
# Should-Stop:       ifupdown
# Default-Start:     S
# Default-Stop:      0 6
# Short-Description: Starts and stops the Pentaho Server.
### END INIT INFO

PENTAHO_HOME=/home/mariano/pentaho/suite5-trunk/biserver-ce

# Source function library.
if [ -f /etc/rc.d/functions ];
then
    . /etc/init.d/functions
fi

# Pentaho Server Service script for Linux

start()
{
echo $"Starting Pentaho..."
sh $PENTAHO_HOME/start-pentaho.sh
}

stop()
{
echo $"Stopping Pentaho..."
sh $PENTAHO_HOME/data/stop_hypersonic.sh
sh $PENTAHO_HOME/stop-pentaho.sh
}

restart()
{
echo $"Stopping Pentaho..."
sh $PENTAHO_HOME/data/stop_hypersonic.sh
sh $PENTAHO_HOME/stop-pentaho.sh
echo $"Starting Pentaho..."
sh $PENTAHO_HOME/start-pentaho.sh
}

reload()
{
echo $"No se soporta. "
}

# See how we were called.
case "$1" in
  start)
        start
        ;;
  stop)
        stop
        ;;
  restart)
        restart
        ;;
  reload)
reload
;;
  status)
        ;;
  *)
        echo $"Usage: {start|stop|restart|condrestart|status}"
        exit 1
esac

Solo deberán tener en cuenta colocar el path correcto en la línea:PENTAHO_HOME=/home/mariano/pentaho/suite5-trunk/biserver-ce

Luego copiamos el script a la carpeta /etc/init.d, por ejemplo:
sudo cp /home/mariano/pentaho /etc/init.d

Luego le damos permisos de ejecución:sudo chmod +x /etc/init.d/pentaho

Finalmente configuramos la prioridad de orden de ejecución del demonio:

cd /etc/init.d/
sudo update-rc.d pentaho defaults 99

Manejar el orden de ejecución del demonio es importante, ya que si por ejemplo tenemos el repositorio en MySQL, el servidor MySQL debe arrancar primero. Podemos considerarlo como una especie de manejo de dependencia de servicios muy simple.


Como usarlo

Por un lado, cuando arranquemos nuevamente nuestro sistema operativo, ya dispondremos del servicio, pero también podemos:

Parar el servicio:

sudo /etc/init.d/pentaho stop

Iniciar el servicio:

sudo /etc/init.d/pentaho start

Reiniciar el servicio:

sudo /etc/init.d/pentaho restart

Como eliminar el demonio (fuente: Supernatural  :) )

Si no necesitamos más el servicio, pordemos eliminarlo con el siguiente comando:

sudo update-rc.d -f pentaho remove



Espero les sea de utilidad.

Saludos

Mariano

Instalando Graphite en Ubuntu 12.04 LTS (Power script by Ale!)

Hola Gente,

ni más ni menos que lo que reza el titulo.

Debo agradecer antes que nada al creador del script, Gracias Ale!, a popósito visiten su blog, es genial.

No tengo mucha que decir, solo que este script ha sido probado en Ubuntu 12.04 recién instalado.

Pasos a seguir para instalar graphite mediante el script:

1) descargar el script desde aquí
2) una vez descargado y desde una consola:
chmod +x instalar_graphite.sh

y luego

sudo ./instalar_graphite.sh

Solo deberán establecer la clave para el superusuario de django.

3) Generar una métrica:

echo "test.metric:1|c" | nc -w 1 -u 127.0.0.1 8125

4) Ver como quedó ingresando con el browser a: http://127.0.0.1 y luego seleccionar: Graphite.stats.test.metric




Bueno, ya estamos listos para disfrutar de Graphite!

Saludos

Mariano

Activación de SSL en Tomcat 5.5 Linux

Que poco que estoy laburando..., nuevamente debo agradecer un post a Alejandro, si no fuera pr genete como él, que sería de este país.

Objetivos:
Habilitar exitosamente el soporte para SSL de Apache-Tomcat-5.5.x sobre un entorno Linux (también presenta una introducción al funcionamiento de la tecnología SSL) de manera sencilla, actualizada y en español.

Ni hablar, el tutorial está muy pero muy bien escrito claro y conciso, se los aconsejo.

Bajar Tutorial

Instalación de Apache-Tomcat 5.5 en Linux

La autoría de este post, es de:

Alejandro Barturen, Pablo (piojo) Días y Juan (pucho) Gianuzzo

Muchas gracias a ellos que están investigando constantemente sobre tecnologías relacionadas con Linux.

Introduccion:

Este paper apunta a dar una idea a quien lo lea de como instalar apache-tomcat de manera sencilla, sobre un entorno Linux.

Dos palabritas sobre Apache-Tomcat, es un contenedor de Servlets y JSP, ampliamente utilizado muy flexible y potente. La versión que se instalará da soporte a la especificación JSP 2.0 y Servlet 2.4.

Paso 1: Obtencion y Descarga de Archivos

Ingrese a la siguiente pagina:

http://tomcat.apache.org

A la izquierda, encontrara una columna donde se ubica la opcion “which version?”, la cual lo enviara a una pagina donde obtendra informacion para elegir la version que mejor se adapte a sus necesidades, nosotros elegimos la version 5.5.16, que se encuentra aqui:

http://tomcat.apache.org/download-55.cgi

En la seccion 5.5.16, tendra la opcion de bajar tanto archivos binarios como de codigo fuente.

Dentro de los archivos binarios, podremos elegir :

Core

• Este es el nucleo de tomcat (el que debe bajar).

Deployer:

• Es una aplicación web que permite administrar aplicaciones, esto es, subirlas, bajarlas e iniciarlas

Embedded:

• Es para que un IDE(entorno de desarrollo integrado) lo utilice internamente.

Administration Web Application:

• Es una aplicacion web muy util para administrarlo (recomendamos su instalacion).

JDK 1.4 Compatability Package:

Documentation (Already Included in Core Downloads):
En diferentes formatos, nosotros utilizamos los tar.gz.

Paso 2 : Descompresion de apache-tomcat

Una vez descargado, debera descomprimirlo en el directorio en el quiera dejarlo instalado (en nuestro caso : /opt/apache-tomcat-5.5.16).

Paso 3: Seteo de las variables de entorno

Ahora debera setear la variable de entorno CATALINAHOME con el path absoluto donde se instalo tomcat y exportarla, de la siguiente manera:

CATALINAHOME=/opt/apache-tomcat-5.5.16/

(variable definida)

export CATALINAHOME

(variable disponible para todo el contexto)

Paso 4 : Confirmacion de la instalacion de tomcat

Los comandos para iniciar y apagar el servicio, respectivamente, son:

CATALINAHOME/bin/startup.sh

CATALINAHOME/bin/shutdown.sh

y generan una salida parecida a esta (note que la variable de entorno JRE_HOME debe estar correctamente seteada de antemano):

Para probar el correcto funcionamiento de apache-tomcat, puede abrir una ventana de su navegador e ingresar la siguiente URL (donde 8080 es el puerto de apache-tomcat) :

http://localhost:8080

Si todo salio bien deberia ver una pantalla parecida a la siguiente (recuerde que el servidor debe estar iniciado):

Paso 5: Instalacion del Administrador

Para instalar el administrador descomprima el archivo de instalacion (en nuestro caso apache-tomcat-5.5.16-admin) en la carpeta CATALINAHOME, aceptando la opcion de sobreescribir archivos.

Paso 6: Registro de un usuario

Para agregar un usuario que le permita entrar por primera vez al administrador debe editar el archivo CATALINAHOME/conf/tomcat-users.xml y agregar el siguiente elemento:

< username="admin" password="xxxx" roles="admin,manager">

Paso 7: Confirmacion de la instalacion del Administrador

Para probar el buen funcionamiento del administrador primero debera reiniciar el servicio (apagarlo y prenderlo) para que registre los cambios efectuados en el archivo en el paso anterior.

A continuacion, abra una ventana de su navegador e ingrese la siguiente URL:

http://localhost:8080/admin

Si todo sale bien vera una pantalla como la siguiente:

Donde debera ingresar el nombre de usuario y contraseña definidos anteriormente (en nuestro caso usuario:admin, password:xxxx) y luego presionar el boton de login.

Si todo sale bien vera la siguiente pantalla:

En la cual confirmaremos la correcta instalacion y funcionamiento de apache-tomcat y su administration tool, con lo cual damos por finalizado este paper.

(mucha) Mas Informacion:

http://www.programacion.com/tutorial/tomcatintro/

Dudas o consultas:

puchog@gmail.com

ale.barturen@gmail.com

piojox@gmail.com