PySpark e APACHE HOP: processamento e pipelines de dados

PySpark e APACHE HOP: processamento e pipelines de dados free download

A uniao perfeita para tratamento e preparação de dados

Unimos duas das principais ferramentas de mercado para realização das tarefas de tratamento e integração de dados, estamos falando do APACHE HOP e do uso do PySpark. 

Iniciaremos nosso treinamento com a incrível ferramenta de ajuste, tratamento, preparação e geração de arquivos de dados que é o APACHE HOP. Aprenderemos a manipular o dado com um produto 100% visual, onde você não precisa estar gerando código, você irá construir os famosos pipelines e workflows, tudo fácil e rápido de fazer. Teremos a construção de pipelines em cadeia, tudo muito prático e disponível. O APACHE HOP conta com + 400 plugin ou componentes para fazer praticamente tudo (preparação de base de dados, criação de novos campos, eliminação de campos, criação de campos calculados, limpeza ou higienização de bases, dentre outras atividades).

Já com o uso do PySpark, você entenderá como criar um cluster, como preparar o SPARK que é o uso de processamento distribuído para a geração de seus scripts em python, a união do SPARK com o python gerou o PySpark.

Toda a execução dos scripts são realizados dentro do Apache Spark, que distribui o processamento dentro de um ambiente de cluster que são interligados aos NÓS que realizam a execução e transformação dos dados.

Vamos trabalhar com os seguintes módulos do PySpark:

• PySpark RDD

• PySpark DataFrame and SQL

• PySpark Streaming

Então não deixe de realizar nosso treinamento e venha estudar conosco.