Integrações, XML`s e NoSQL
Publicado em: quarta-feira, 16 de abr de 2014
Categorias: Architecture

Olá, tudo bom?

Nesse post gostaria de abordar uma solução que usei no iMusica e que pode também te ajudar com integrações baseadas em XML ou qualquer formato unquerable(neologismo). Antes de falar da solução, vou falar do problema. Nossas integrações no iMusica geralmente se dão por meio de troca de arquivos, contendo pacotes com mídia e metadados. Os metadados são armazenados em arquivos XML complexos. Independente do schema do XML usado, uns mais completos, outros mais enxutos, a quantidade de informação é colossal. O metadado do mercado fonográfico é muito extenso.

A dificuldade de manipulação desse conteúdo era gigantesco, pelos seguintes motivos:

  • Segmentação do storage
  • Necessidade de queries em arquivos
  • Acesso a grandes volumes de informação para obter dados pontuais

Toda essa complexidade fazia parte do dia-a-dia do meu time. Não que hoje ainda não faça, mas estamos trabalhando para minimizar isso. O metadado tem um destino, sempre, a manutenção de tabelas em um SGDB. Começamos a reestruturação dos serviços redesenhando os modelos de integração em uma base intermediária no SGDB, mas ao chegarmos próximos a 100 tabelas (e não havíamos mapeado sequer a metade do schema xsd) optei por abortar a ideia. Outro maluco já havia tentado fazer isso antes, e no final das contas, essa foi a terceira iniciativa, que assim como as outras, morreu! Pensei em bases XML, mas armazenar XML é extremamente insano, principalmente se comparado a formatos mais enxutos, como json. Busquei algumas bases XML, achei o Sedna e o eXist-db mas usar XQuery não foi algo motivador. Já que estava estudando sobre NoSQL tive a ideia de pesquisar sobre outras alternativas NoSQL e o resultado foi excelente.

Talvez você esteja perguntando sobre as vantagens de usar o MongoDB:

  • Queries complexas
  • Armazenamento (quase que infinito)
  • Schemaless (poupa muito trabalho)

Agora um desafio, salvar o XML, que diga-se de passagem, já vi chegar a 3mb no MongoDB.

A solução: Schemas e Geração de Código

  1. Usamos Xsd2Code para gerar as classes, em C# para mapeamento de todos as entidades e propriedades definidas no XSD. Gerou mais de 200 classes.
  2. Fazemos a leitura do XML com base em deserialização, e persistimos os mesmos objetos (classes geradas com Xsd2Code) no MongoDB.

Você poderia usar CouchBase, CouchDB, entre outras soluções, eu usei MongoDB.

Enfim, essa foi uma solução simples, e eficiente para o meu problema de integrações. Após a persistência no MongoDB, toda a minha infra que depende dos documentos, usa o MongoDB e nunca mais o XML original. Para integrações em formatos diferentes, fazemos parsers em XSLT para transformar do formato original para o formato utilizado na plataforma e assim a base de código para tratar esses documentos continua sendo a mesma.

Esses pensamentos ajudam muito a evitar segmentação em aplicações corporativas. O custo de manutenção é bem menor do que construir bases de código diferentes para realizar as mesmas coisas.

Esta não é a única solução nem cogito ser a melhor, mas foi a que me atendeu graciosamente! Espero que compartilhando contigo possa pelo menos abrir suas cabeça para ideias do tipo.

Um grande abraço e até mais!

0 comentários

Enviar um comentário

O seu endereço de e-mail não será publicado. Campos obrigatórios são marcados com *

Esse site utiliza o Akismet para reduzir spam. Aprenda como seus dados de comentários são processados.

Lives

Fique de olho nas lives

Fique de olho nas lives no meu canal do Youtube, no Canal .NET e nos Grupos do Facebook e Instagram.

Aceleradores

Existem diversas formas de viabilizar o suporte ao teu projeto. Seja com os treinamentos, consultoria, mentorias em grupo.

Agenda & Eventos

julho

agosto 2020

setembro
DOM
SEG
TER
QUA
QUI
SEX
SAB
26
27
28
29
30
31
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
1
2
3
4
5
Eventos para agosto

1st

Eventos para agosto

2nd

Eventos para agosto

3rd

Sem Eventos
Eventos para agosto

4th

Sem Eventos
Eventos para agosto

5th

Sem Eventos
Eventos para agosto

6th

Sem Eventos
Eventos para agosto

7th

Sem Eventos
Eventos para agosto

8th

Sem Eventos
Eventos para agosto

9th

Sem Eventos
Eventos para agosto

10th

Sem Eventos
Eventos para agosto

11th

Sem Eventos
Eventos para agosto

12th

Sem Eventos
Eventos para agosto

13th

Sem Eventos
Eventos para agosto

14th

Sem Eventos
Eventos para agosto

15th

Sem Eventos
Eventos para agosto

16th

Sem Eventos
Eventos para agosto

17th

Sem Eventos
Eventos para agosto

18th

Sem Eventos
Eventos para agosto

19th

Sem Eventos
Eventos para agosto

20th

Sem Eventos
Eventos para agosto

21st

Sem Eventos
Eventos para agosto

22nd

Sem Eventos
Eventos para agosto

23rd

Sem Eventos
Eventos para agosto

24th

Sem Eventos
Eventos para agosto

25th

Sem Eventos
Eventos para agosto

26th

Sem Eventos
Eventos para agosto

27th

Sem Eventos
Eventos para agosto

28th

Sem Eventos
Eventos para agosto

29th

Sem Eventos
Eventos para agosto

30th

Sem Eventos
Eventos para agosto

31st

Sem Eventos
Share This