Quando li o relatório “Recomendações e desafios técnicos PNCP: API & Acesso aos dados”, publicado pela Transparência Brasil em junho de 2024, tive a impressão de estar diante de um diagnóstico importante, mas possivelmente datado. Afinal, tratava-se da primeira versão do portal, ainda em início de operação. A expectativa natural era que, com o tempo, os problemas mais evidentes tivessem sido corrigidos.
Resolvi então fazer o teste mais honesto possível: tentar usar o sistema como alguém que precisa, de fato, trabalhar com esses dados. Não como leitura institucional, mas como prática. O objetivo era simples — baixar dados de contratações, cruzar informações e gerar inteligência.
O que encontrei, no entanto, foi algo muito diferente de um ambiente de dados aberto. Foi uma jornada longa, técnica e, em muitos momentos, desgastante.
O relatório já apontava, com bastante clareza, alguns entraves estruturais: ausência de download massivo, fragmentação das informações, limitações nas APIs e a necessidade de conhecimento técnico avançado para lidar com os dados. À época, isso já era suficiente para acender um alerta. Mas vivenciar esses problemas na prática revela uma dimensão muito mais profunda.
Baixar dados do PNCP não é uma tarefa trivial. Não é sequer uma tarefa operacional. É, na prática, um projeto de engenharia de dados.
O ponto de partida parece simples. A API existe, os endpoints estão disponíveis, há documentação e o discurso institucional é de transparência. Mas basta iniciar as requisições para perceber que o caminho não é linear. A paginação precisa ser controlada manualmente, os intervalos de datas exigem estratégia para evitar perdas, e a cada nova chamada surgem limitações que obrigam o usuário a adaptar a abordagem.
Em pouco tempo, o que era uma tentativa de download se transforma em um conjunto de decisões técnicas: implementar mecanismos de retry, lidar com erros intermitentes, tratar respostas inconsistentes, controlar paralelismo para evitar bloqueios, registrar checkpoints para não perder progresso e, ao final, ainda garantir que os dados coletados fazem sentido.
E isso tudo acontece antes mesmo de qualquer análise.
Um dos pontos mais sensíveis — e que o relatório já antecipava — é a fragmentação das informações. Uma contratação não está disponível como uma entidade única, coesa, pronta para uso. Ela está distribuída em múltiplos endpoints, cada um trazendo apenas uma parte do processo. Para reconstruir o todo, é necessário realizar diversas chamadas, entender como essas partes se conectam e criar, manualmente, os vínculos entre elas.
Na prática, o usuário assume o papel de quem deveria ter modelado o dado na origem. É preciso identificar chaves de relacionamento, tratar inconsistências de nomenclatura, ajustar tipos de dados e validar se aquilo que foi reunido representa, de fato, uma contratação completa.
Esse cenário se agrava quando entram em cena as limitações técnicas das APIs. O próprio relatório menciona restrições como o limite de resultados por consulta e a necessidade de múltiplas requisições para obter informações complementares. No uso real, essas limitações deixam de ser um detalhe e passam a ser um obstáculo estrutural. Não é possível extrair grandes volumes de dados de forma direta. É preciso fatiar a coleta por estados, órgãos, períodos, e ainda assim lidar com o risco de inconsistências no meio do caminho.
A instabilidade do sistema é outro fator que pesa. Durante a coleta, não são raros os erros de conexão, respostas incompletas ou simplesmente falhas que interrompem o fluxo. Mesmo com estratégias de mitigação — como retries e controle de taxa de requisições — o processo não se sustenta de forma confiável sem uma camada adicional de engenharia para garantir resiliência.
A situação não melhora quando se tenta complementar os dados com outras fontes, como o Compras.gov. Embora seja uma base relevante, ela não conversa naturalmente com o PNCP. Os padrões são diferentes, os dados não são integrados e a responsabilidade de conciliar essas informações recai novamente sobre quem está tentando utilizá-las.
No fim das contas, o maior problema deixa de ser técnico e passa a ser estrutural. O relatório da Transparência Brasil aponta com precisão a ausência de um modelo de dados padronizado como uma das principais causas dessas dificuldades. A sugestão de adoção do Open Contracting Data Standard (OCDS) não é apenas uma recomendação acadêmica — ela é, na prática, uma necessidade para que o sistema funcione de forma eficiente.
Sem um padrão comum, cada pedaço do sistema opera com sua própria lógica. Campos idênticos aparecem com nomes diferentes, informações essenciais não são estruturadas adequadamente e a comparação entre contratações se torna um exercício de interpretação. Isso compromete não apenas a usabilidade dos dados, mas também a confiabilidade das análises.
Há um ponto particularmente crítico que merece destaque. O relatório menciona que, em muitos casos, não é possível acompanhar os itens contratados de forma estruturada ao longo do processo. Ou seja, mesmo quando se consegue acessar os dados, ainda é necessário recorrer a documentos não estruturados, como PDFs, para entender o que foi efetivamente contratado. Isso vai diretamente contra a proposta de transparência e dificulta qualquer tentativa séria de análise de preços ou identificação de sobrepreço.
Diante de tudo isso, a conclusão é inevitável. O PNCP representa um avanço institucional importante. A centralização das informações é um passo relevante e o potencial da plataforma é indiscutível. No entanto, do ponto de vista técnico, ainda há uma distância significativa entre disponibilizar dados e torná-los efetivamente acessíveis.
Hoje, os dados estão lá. Mas acessá-los de forma eficiente exige conhecimento, tempo, infraestrutura e uma boa dose de insistência. O que deveria ser uma ferramenta de democratização da informação acaba, na prática, restringindo seu uso a quem tem capacidade técnica para superar as barreiras impostas pelo próprio sistema.
Baixar dados do PNCP, hoje, não é simplesmente consumir uma API.
É resistir a ela.
Fonte:
Transparência Brasil. Recomendações e desafios técnicos PNCP: API & Acesso aos dados. Junho de 2024.
Disponível em: https://www.transparencia.org.br/downloads/publicacoes/portalnacionaldecontratacoespublicas_recomendacoesedesafiostecnicos.pdf
Nenhum comentário:
Postar um comentário