Como reduzir 40% dos custos no Databricks

O Databricks é uma plataforma poderosa — mas sem uma estratégia clara de otimização, os custos podem escalar rapidamente. Neste artigo, partilhamos as táticas que usamos nos nossos projetos para reduzir custos em média 40%.

1. Otimização de clusters

O maior erro que vemos nas empresas é manter clusters ligados desnecessariamente. A configuração de auto-termination deve ser sempre ativada.

# Exemplo: configuração de cluster via API
cluster_config = {
    "autotermination_minutes": 30,
    "autoscale": {
        "min_workers": 1,
        "max_workers": 8
    }
}

2. Spot Instances vs On-Demand

Usar Spot Instances (Azure: Spot VMs) para workloads tolerantes a falhas pode reduzir o custo de compute em até 70%.

• Use Spot para jobs de batch em horários off-peak
• Mantenha On-Demand apenas para workloads críticos
• Configure retry policies adequadas

3. Photon Engine

O Photon acelera queries SQL até 4x — menos tempo de execução = menos DBUs consumidos.

Ativa-o nos clusters onde executas queries pesadas em Delta Lake.

4. Monitoramento com dashboards de custo

Cria um dashboard em Power BI ou Azure Monitor que mostre:

• DBUs consumidos por job/cluster
• Custo por utilizador ou projeto
• Anomalias de consumo

Conclusão

FinOps não é só cortar custos — é garantir que cada euro gasto em cloud gera valor real para o negócio. Com estas táticas, os nossos clientes reduzem custos sem sacrificar performance.

Quer uma auditoria gratuita do teu ambiente Databricks? Fala connosco.