Hospedar e gerenciar dados em bancos de dados e data warehouses sempre foi uma tarefa agitada e problemática. Requer muitos recursos e poder computacional para dar sentido aos dados. Amazon Web Services tem uma solução completa para essa finalidade. Possui um serviço chamado Amazon Redshift que gerencia totalmente os data warehouses dos usuários.
Este artigo explicará em detalhes o Amazon Redshift junto com sua arquitetura de data warehouse. Todos os componentes da arquitetura do sistema de data warehouse do Redshift serão explicados em detalhes.
O que é Amazon Redshift?
TI é um serviço de armazenamento de dados fornecido pela Amazon. Ele gerencia e analisa com eficiência grandes conjuntos de dados para análises e relatórios. Ele é construído em um modelo de armazenamento colunar. Ele usa clusters de nós de computação controlados por um nó líder para fornecer processamento de dados de alto desempenho.
Ele pega dados de diferentes fontes e os agrupa para formar um data warehouse. Oferece diversos recursos, como compartilhamento de dados e análises em tempo real. Veja a imagem abaixo para compreender os recursos e capacidades do Amazon Redshift:
Vamos agora para a arquitetura do sistema de data warehouse.
O que é a arquitetura do sistema de data warehouse do Amazon Redshift?
Esta arquitetura de sistema tem três partes principais. Essas peças são:
- Armazenar
- Aceleração
- Computação
Vamos entender seus propósitos:
Armazenar
A parte de armazenamento trata dos serviços de armazenamento que o Redshift possui. Possui sua própria opção de serviço de armazenamento gerenciado, bem como uma opção de bucket S3.
Aceleração
A parte de aceleração depende do serviço de armazenamento em uso e do poder computacional empregado. O armazenamento gerenciado pelo Redshift é mais rápido em comparação com outras opções de armazenamento
Computação
A parte de computação trata simplesmente do poder de computação em uso. A computação é feita com clusters e os clusters possuem nós. Os nós, por sua vez, possuem fatias.
Para entender melhor todos os elementos e componentes desta arquitetura, veja a imagem abaixo:
Vamos entender seus componentes um por um.
Quais são os componentes arquitetônicos do Amazon Redshift?
A seguir estão os componentes arquitetônicos do Amazon Redshift:
- Aglomerados
- Nós
- Fatias de nós
- Armazenar
- Rede interna
- Bancos de dados
Vamos discutir isso um por um:
Aglomerados
Um cluster é a unidade fundamental e central. Compreende vários nós. Se um cluster consistir em vários nós de computação, um nó líder adicional intervém para coordenar as atividades desses nós de computação e gerenciar a comunicação externa.
Nós
Os nós em clusters são de dois tipos. Estes são:
- Nó Líder
- Nó de computação
Vamos entender estes por um:
Nó Líder
Ele gerencia a comunicação com programas clientes e coordena as interações com nós de computação. O nó líder desempenha um papel vital na execução de consultas complexas. Ele compila o código com base no plano de execução que é distribuído aos nós de computação e atribui porções de dados a cada nó de computação individual.
Nó de computação
Os nós de computação são a espinha dorsal da arquitetura do Amazon Redshift. Eles realizam o armazenamento e o processamento de dados. Estes possuem recursos dedicados, como memória e CPU.
Fatias de nós
Os nós de computação são divididos em fatias. Essas fatias trabalham juntas para processar cargas de trabalho atribuídas e obter paralelismo para aprimorar o processamento de consultas.
Armazenar
O armazenamento de dados no Amazon Redshift é gerenciado pelo “Redshift Managed Storage (RMS)”. Ele tem a capacidade de dimensionar o armazenamento de forma independente usando o armazenamento “Amazon S3”. O RMS usa armazenamento local baseado em SSD de alto desempenho como cache de nível 1 que otimiza o desempenho.
Rede interna
Essa rede interna no Amazon Redshift ajuda na comunicação rápida e segura entre nós líderes e nós de computação. Esta rede não é diretamente acessível aos aplicativos clientes.
Bancos de dados
Os clusters possuem um ou mais bancos de dados. Os dados desses bancos de dados estão em nós de computação. Os aplicativos clientes se comunicam com o nó líder. O nó de computação gerencia a execução de consultas entre nós de computação.
Tudo isso tem a ver com o Amazon Redshift e seus elementos arquitetônicos. Este artigo explicou de forma abrangente os componentes de funcionamento do Amazon Redshift
Conclusão
A arquitetura do Amazon Redshift é a razão pela qual se baseiam seus recursos. O nó líder controla e gerencia os nós de computação e as fatias de nó ajudam no processamento paralelo. O Redshift Managed Storage usa armazenamento baseado em SSD para melhorar o desempenho. Este artigo explicou a arquitetura do sistema de data warehouse do Amazon Redshift.