Veja como a Segment economizou US $ 1 milhão por ano em sua conta da AWS em três meses. Seus esforços de investigação são interessantes e detalhados, há muito para aprender com eles. Provavelmente não deveria ser uma surpresa que a AWS não facilite a descoberta de onde há oportunidades de economizar.

Processo

• Analisar cada recurso em sua conta linha-a-linha
• Ativar Faturamento detalhado AWS
• Importar o arquivo de log bruto para Redshift (que ironicamente custa dinheiro)
• A análise profunda anotou uma lista das 15 áreas mais problemáticas, que totalizavam até aproximadamente 40% da conta mensal:
  • Centenas de grandes unidades EBS
  • Cache super-provisionado e instâncias RDS
  • DynamoDB “quentes” (0% de ociosidade) (US $ 300.000 por ano)
  • Auto-scaling de serviços (US $ 60.000 por ano)
  • Bin-embalagem e consolidação tipos de instância (US $ 240.000 por ano).
  • Troca do ELB (Elastic Load Balancer‎) por ALB (Application Load Balancer) para remover restrições que impediam melhor aproveitamento da densidade computacional com docker.

Foi preciso esforço de engenharia para decidir se esses custos são necessários ou se há uma maneira de fazer alterações para reduzir os custos.

Correções

• Melhor seleção de chave de partição DynamoDB (distribuindo melhor a carga e possibilitando trocar escala vertical por horizontal e reduzir drasticamente seu custo)
• Melhor escala automática
• Mover para instâncias maiores e aumentar a densidade computacional com 100-200 containers por instância.

Lição

o investimento mais importante é evitar que os problemas ocorram em primeiro lugar.

[dt_highlight color=”” text_color=”” bg_color=”#BC2C2C”]Este post é uma tradução do post highscalability.com, originalmente publicado em segment.com/blog. [/dt_highlight]

Bonus – Teraform e Packer

No post da Segment tem um link para um repositório do github da Segment que é um verdadeiro pote de ouro! O repositório segmentio/stack tem toda a configuração que a Segment usa com Terraform e Packer, ambos da Hashicorp, para a automação da alocação de recursos na Amazon. Para quem nunca ouviu falar, Terraform e Packer são ferramentas que fazem a mágica do IaC: Infrastructure as Code, e o repositório tem esse código!