Os cinco desafios na preparação de dados para a IA

Está tendo dificuldades com sua iniciativa de IA? Talvez você esteja procurando respostas no lugar errado. Em vez de culpar seu LLM, analise a preparação dos seus dados. Um planejamento inadequado leva ao fracasso de mais projetos de IA do que algoritmos ruins. Na maioria das vezes, o principal obstáculo para projetos de IA mal preparados é o armazenamento de dados, que não consegue acompanhar o ritmo.

A IA tem uma voracidade por dados, e a maioria das empresas não consegue fornecê-los com a rapidez necessária. Seu sistema de armazenamento está sobrecarregado com petabytes de conjuntos de treinamento e fluxos de inferência de IA que não conseguem passar pelo pipeline.

Cinco desafios marcam a fase de coleta e preparação de dados de um pipeline de IA. Um alimenta o outro, criando um ciclo vicioso que acaba com as ambições de IA antes mesmo delas começarem. Vamos analisá-los em ordem.

1.    Capacidade de armazenamento

O maior problema é também o mais simples: a falta de espaço. Uma pesquisa da ESG revelou que quase metade das equipes de TI considera a capacidade o seu maior pesadelo em termos de armazenamento. Uma única sessão de treinamento de um modelo LLM pode gerar 50 TB de dados. As SANs tradicionais não foram projetadas para suportar essa carga.

É, em parte, por isso, que 83% dos participantes da pesquisa da ESG planejam atualizações de armazenamento nos próximos 24 meses para atender às demandas de IA.^[1] Eles aprenderam o que acontece quando o armazenamento não consegue acompanhar as ambições com a IA.

Você tem outras opções além de simplesmente adicionar mais nós de armazenamento. Escolher um fornecedor com tecnologias sólidas de compressão e desduplicação já é meio caminho andado. Os fornecedores atuais garantem uma redução de dados de 5:1 sem avaliação prévia.

Outra solução valiosa neste contexto reside nas compras. Os modelos de compra flexíveis permitem que você instale o armazenamento, mas pague apenas pelo que usar. Isso evita o provisionamento excessivo, ao mesmo tempo em que preserva as margens de capacidade.

2.    Segurança e conformidade

Vinte e quatro por cento das equipes de TI consideram a segurança o segundo maior desafio na preparação de dados para IA, logo após as limitações de capacidade. Todo conjunto de dados de IA é alvo de ransomware. Os sistemas de armazenamento modernos respondem com snapshots seguros instantâneos  e retenção no nível do arquivo, que são defesas comprovadas contra ataques de ransomware.

Os requisitos de conformidade são parte dos desafios. Os dados europeus devem permanecer na Europa. O setor de saúde exige a conformidade com a HIPAA, enquanto as estruturas de serviços financeiros, tanto em nível estadual quanto federal, exigem a proteção documentada dos dados. As regras de soberania de dados conferem às equipes de conformidade poder de veto sobre toda a sua arquitetura de IA, forçando muitas organizações a voltar às implantações locais.

As questões de confiança são muito importantes quando as empresas estão decidindo onde armazenar seus dados. Pesquisas da ESG revelaram que 50% das empresas utilizam seus próprios data centers, instalações de co-location ou infraestruturas de edge como local primário para dados de IA, em detrimento dos grandes provedores de nuvem (hyperscalers). E 76% deles insistem em manter seus dados mais valiosos em seus próprios data centers.

Sistemas de armazenamento modernos oferecem proteção de dados integrada para preservar a integridade das informações no exato momento em que são gravadas, seja em um dispositivo local ou na nuvem.

3.    Qualidade dos dados

Dados de má qualidade na entrada continuam gerando resultados ruins na saída. Uma em cada cinco empresas admite ter um problema de qualidade de dados. Isso pode significar dados de sensores com três tipos de marcação diferentes, registros de clientes sem metadados ou conjuntos de treinamento que ninguém consegue validar.

É aí que o armazenamento de qualidade também entra em cena. O armazenamento rápido permite uma marcação superior e melhora o seu controle sobre os metadados. Quanto menos tempo seus engenheiros passarem lutando contra a infraestrutura, mais tempo terão para construir e inovar.

4.    Custo

Quase uma em cada cinco organizações assiste, impotente, enquanto o armazenamento de IA devora seu orçamento de infraestrutura. Embora os custos das GPUs nem sempre sejam negociáveis, trabalhar com o fornecedor certo pode trazer ganhos de eficiência no armazenamento, com garantias de redução de dados por meio da desduplicação contínua. Além disso, os grandes fornecedores de armazenamento mantêm acordos de longo prazo com fabricantes de memória flash, o que torna os preços mais previsíveis em um mercado volátil.

5.    Escalabilidade

Dezoito por cento das empresas consideram a escalabilidade um desafio ao preparar dados para o processamento por IA. Eles precisam flexibilizar as cargas de armazenamento conforme os ciclos de treinamento, especialmente ao realizar o ajuste fino de modelos para atender aos seus próprios casos de uso específicos. É aí que entram em cena as soluções híbridas de armazenamento. Um único ecossistema de armazenamento compatível com ambientes locais e na nuvem permite que as equipes combinem e integrem dados no mesmo ambiente, desde a coleta e preparação até o treinamento e a inferência de IA.

Insights sobre resiliência cibernética

Lacunas na resiliência cibernética expõem organizações a riscos. Estratégias maduras aumentam em 2,8x a recuperação. Veja o infográfico.

Baixe agora

Conclusão

As plataformas de armazenamento modernas enfrentam todos esses cinco desafios simultaneamente. Elas escalam linearmente, sem a necessidade de grandes atualizações. Incorporam segurança desde o início e oferecem as ferramentas de metadados de que as equipes precisam para garantir a qualidade dos dados. Elas suportam todos os protocolos que o seu pipeline de IA exige e, de quebra, entregam ganhos significativos de eficiência.

Suas iniciativas de IA merecem um armazenamento que esteja à altura da sua ambição.