Geração de Workloads Sintéticos com LLMs: Um Estudo sobre o Impacto de Logs de Produção na Representatividade de Testes de Desempenho
Abstract
Este pacote de replicação reúne os artefatos utilizados em um estudo quasi-experimental sobre a geração de workloads sintéticos para testes de desempenho com Large Language Models (LLMs). O estudo analisou duas plataformas web do setor de biogás, biometano, bioenergia e sustentabilidade: Portal Energia e Biogás e Biogás News. Foram comparadas duas condições experimentais: (i) geração de workloads baseada na documentação dos sistemas e no acesso local à aplicação; e (ii) geração baseada na documentação, no acesso local e em dados anonimizados extraídos de logs de produção. O pacote inclui documentações dos sistemas, dados derivados de logs filtrados e anonimizados, prompts utilizados na geração e na avaliação dos workloads, quatro arquivos de workload em formato .jmx para execução no Apache JMeter, a rubrica de avaliação e os resultados das avaliações realizadas por Gemini 3.1 Pro, Opus 4.8 e um especialista em testes de desempenho. Os arquivos disponibilizados permitem compreender e reproduzir o procedimento experimental adotado no estudo. Não são disponibilizados código-fonte, bancos de dados, credenciais de acesso, logs brutos de produção, dados pessoais ou informações confidenciais de infraestrutura.
