Hadoop. Soluciones Big Data
Lublinsky, Boris / Smith, Kevin T. / Yakubovich, Alexey
La tecnología progresa sin cesar y con ella proliferan los dispositivos conectados a la red, lo que hace que cada vez generemos y almacenemos cantidades más ingentes de datos. En este contexto se está produciendo un crecimiento espectacular en la diversidad de formatos de datos e información, también llamados Big Data.Y es que, sencillamente, si una empresa no es capaz de manej...
Sinopsi
La tecnología progresa sin cesar y con ella proliferan los dispositivos conectados a la red, lo que hace que cada vez generemos y almacenemos cantidades más ingentes de datos. En este contexto se está produciendo un crecimiento espectacular en la diversidad de formatos de datos e información, también llamados Big Data.
Y es que, sencillamente, si una empresa no es capaz de manejar cantidades enormes de datos con eficacia y aprovechando esa información para mejorar, esto se traducirá en pérdida de productividad, de oportunidades y de beneficios. Existen muchas tecnologías destinadas a procesar y analizar grandes cantidades de información. Pero cuando Apache Hadoop entró en escena, todo cambió: por fin es posible escribir programas con facilidad y llevar a cabo análisis de datos a gran escala.
Este libro explica cómo trabajan juntas las numerosas partes del ecosistema Hadoop y cómo se pueden utilizar para construir soluciones adaptadas a la empresa. Aprenderá cómo realizar el diseño de datos y su impacto en la implementación, al mismo tiempo que verá cómo funciona MapReduce y cómo reformular problemas concretos. Encontrará ejemplos detallados de código Java que puede utilizar, derivados de aplicaciones que han sido construidas e implantadas con éxito.
Índex
HADOOP. SOLCIONES BIG DATA. ÍNDICE DE CONTENIDOS
Introducción
A quién va dirigido este libro
Contenidos
Estructura
Convenciones
Código fuente
1. Big Data y el ecosistema Hadoop
Big Data y Hadoop
El ecosistema Hadoop
Componentes principales de Hadoop
Distribuciones Hadoop
Desarrollo de aplicaciones de uso empresarial con Hadoop
Resumen
2. Almacenar datos en Hadoop
Descargas de código para este capítulo
HDFS
HBase
Combinar HDFS yHBase para el almacenamiento de datos efectivo
Apache Avro
Administrar metadatos con HCatalog
Seleccionar una organización de datos de Hadoop adecuada
Resumen
3. Procesamiento de datos con MapReduce
Introducción a MapReduce
La primera aplicación MapReduce
Diseñar implementaciones MapReduce
Resumen
4. Personalizar la ejecución de MapReduce
Descargas de código para este capítulo
Controlar la ejecución de MapReduce con InputFormat
Leer datos con RecordReader personalizados
Organizar datos de salida con formatos personalizados
Escribir datos con RecordReader personalizado
Optimizar la ejecución de MapReduce con un combinador
Controlar la ejecución del reductor con particionadores
Utilizar código distinto de Java con Hadoop
Resumen
5. Construir aplicaciones fiables de MapReduce
Descargas de código para este capítulo
Comprobación unitaria de aplicaciones de MapReduce
Comprobación de aplicaciones locales con Eclipse
Utilizar el registro para la comprobación de Hadoop
Informes de métricas con contadores de trabajo
Programación defensiva en MapReduce
Resumen
6. Automatizar el procesamiento de datos con Oozie
Introducción a Oozie
Workflow
Coordinator de Oozie
Bundle de Oozie
Parametrización de Oozie con lenguaje de expresiones
Modelo de ejecución de trabajos de Oozie
Acceder a Oozie
SLA de Oozie
Resumen
7. Oozie
Descargas de código para este capítulo
Validar información sobre lugares utilizando probes
Diseñar validación de lugares basada en probes
Diseñar Workflows de Oozie
Implementar aplicaciones Workflow de Oozie
Implementar actividades Workflow
Implementar aplicaciones Coordinator de Oozie
Implementar aplicaciones Bundle de Oozie
Desplegar, comprobar y analizar las aplicaciones de Oozie
Utilizar la consola de Oozie para obtener información sobre aplicaciones Oozie
Resumen
8. Herramientas avanzadas de Oozie
Descargas de código para este capítulo
Construir acciones Workflow de Oozie personalizadas
Añadir ejecución dinámica a los Workflows de Oozie
Utilizar el API Java de Oozie
Utilizar uber jars con aplicaciones Oozie
Transportador para la incorporación de datos
Resumen
9. Hadoop en tiempo real
Descargas de código para este capítulo
Aplicaciones en tiempo real en el mundo real
Utilizar HBase para implementar aplicaciones en tiempo real
Utilizar sistemas de consultas especializados de tiempo real en Hadoop
Utilizar sistemas de procesamiento de eventos basados en Hadoop
Resumen
10. La seguridad en Hadoop
Historia breve: comprender los retos de seguridad en Hadoop
Autentificación
Autorización
Autentificación y autorización de Oozie
Encriptación de red
Mejoras de seguridad con Project Rhino
Recopilación. Buenas prácticas para proteger Hadoop
Resumen
11. Ejecutar aplicaciones de Hadoop en AWS
Descargas de código para este capítulo
Introducción a AWS
Opciones para ejecutar Hadoop en AWS
Comprender la relación entre EMR y Hadoop
Utilizar S3 de AWS
Automatizar la ejecución y la creación de un flujo de trabajo EMR
Organizar ejecución de trabajos en EMR
Resumen
12. Construir soluciones de seguridad empresarial para las implementaciones de Hadoop
Preocupaciones de seguridad para las aplicaciones de empresa
Elementos que la seguridad de Hadoop no proporciona de manera nativa para las aplicaciones de empresa
Enfoques para las aplicaciones de seguridad en la empresa con Hadoop
Resumen
13. El futuro de Hadoop
Simplificar la programación de MapReduce con DSL
Procesamiento más rápido y ampliable
Mejoras de seguridad
Tendencias emergentes
Resumen
Apéndice. Lecturas recomendadas
Almacenamiento y acceso de los datos de Hadoop
MapReduce
Oozie
Hadoop en tiempo real
AWS
DSL de Hadoop
Seguridad de Hadoop y Big Data
Índice alfabético
Comentaris
Sigues el primer a comentar aquest llibreInformació de seguretat
- Carregant la informació ...
Articles relacionats
