O Papel dos Artefatos na Reprodutibilidade de Experimentos: Um Estudo do SBRC
Imagem de capa. Fonte: freepik
A reprodutibilidade de experimentos é uma das bases fundamentais da ciência, permitindo que pesquisadores confirmem, aprimorem e expandam os resultados obtidos. Um dos maiores aliados para essa prática é a disponibilidade de artefatos que possibilitam a replicação dos experimentos. Este artigo explora a importância da disponibilização de artefatos e analisa o crescimento dessa prática em edições separadas por uma década do SBRC, o Simpósio Brasileiro de Redes de Computadores e Sistemas Distribuídos.
Por Thales Gabriel Carvalho de Lima e Vinícius Fulber-Garcia
A disponibilidade de artefatos é uma peça fundamental para a reprodutibilidade de experimentos em diferentes áreas da pesquisa científica. Reprodutibilidade, por definição, é a capacidade de outros pesquisadores chegarem aos mesmos resultados de um experimento utilizando os mesmos métodos, dados e ferramentas.
Quando os artefatos — como códigos e datasets utilizados — estão disponíveis publicamente, é possível acessar e compreender na prática os processos e critérios de análise aplicados sob experimentos realizados. Isso facilita a verificação dos resultados, além de permitir que outros pesquisadores progridam na pesquisa, impulsionando a colaboração e o avanço do conhecimento.
A disponibilização de artefatos também ajuda a reduzir a possibilidade de erros e resultados enviesados, pois com os artefatos abertos para revisão, é provável que inconsistências e problemas sejam identificados e corrigidos mais rapidamente e com maior facilidade. Essa transparência não apenas fortalece a confiança nos resultados apresentados, mas também incentiva boas práticas de pesquisa, como a documentação adequada e o uso de metodologias robustas.
Outra questão a se considerar é que a disponibilização desses artefatos contribui para a capacitação de novos pesquisadores. Ao terem acesso a exemplos práticos de experimentos, estudantes e profissionais podem aprender com as melhores práticas, evitar erros comuns e acelerar seu processo de aprendizado.
Reconhecendo a importância da prática, a disponibilidade dos artefatos será um dos possíveis selos para artigos aceitos na trilha principal do (SBRC) a partir de 2025. A adoção de certificações que garantam que um experimento é reproduzível já ocorria fora do país há anos e foi adotada pelo Simpósio Brasileiro em Segurança da Informação e de Sistemas Computacionais (SBSeg), em 2023, e então foi parte do Workshop de Gerência e Operação de Redes e Serviços (WGRS), que ocorreu na edição de 2024 do SBRC.
Qual a situação atual do SBRC na disponibilização de Artefatos?
Para verificar se existe uma preocupação crescente relacionada à disponibilização de artefatos, analisamos os artigos da trilha principal do SBRC para comparar a quantidade de artefatos disponíveis entre nas edições de 2014 e 2024, buscando identificar se houve alguma evolução.
Esta análise foi feita com base nos 65 artigos publicados em 2014 e nos 83 artigos de 2024, na trilha principal do simpósio; cada um dos artigos foi analisado em busca de links que levassem aos artefatos disponibilizados em plataformas como o GitHub ou repositórios próprios de universidades.
A análise foi feita utilizando uma tabela de avaliação, indicando se um artefato é pertinente para um dado artigo; se sim, o tipo do artefato, sendo classificados como artefatos de dados (datasets, arquivos de configuração), software (programas implementados) ou ambos, e pela disponibilidade destes artefatos. Artigos puramente teóricos, como provas matemáticas, e artigos focados em hardware e localidade foram categorizados como “não cabe artefato” e não foram submetidos à análise de disponibilidade.
Analisando os 148 artigos publicados, em 2014 e 2024 classificou-se tanto a necessidade de geração de um artefato, na existência de um programa para resolver o problema ou na utilização de um dataset, quanto o tipo de artefato que deveria ser disponibilizado. Com base nisso, foram gerados os gráficos referentes às Figuras 01 e 02.
Os resultados deixam evidente que a preocupação em disponibilizar artefatos para garantir a reprodutibilidade vem crescendo nos últimos dez anos, enquanto em 2014 apenas 12,3% dos artigos deixavam acessível publicamente seus artefatos, em 2024 foi alcançada a marca de 45,8%.
Os resultados mostram uma mudança significativa na preocupação com a reprodutibilidade das pesquisas publicadas no SBRC, destacando o aumento expressivo na disponibilização de artefatos na última década. Isso pode ser reflexo do aumento na cobrança por parte das comissões de avaliação deste Simpósio, responsável por entregar os possíveis selos aos artigos, e da comunidade científica, ou ainda, uma gradual e bem-vinda mudança cultural, onde artefatos ganham maior protagonismo no rol de contribuições de um trabalho científico.
A partir de 2025, com a adoção de uma certificação para os trabalhos que disponibilizem artefatos funcionais na trilha principal da SBRC, é provável que essa tendência de evolução continue, contribuindo para uma ciência mais confiável, acessível e que inspire novas gerações de pesquisadores.
Autoria
Thales Gabriel Carvalho de Lima: Sou estudante de Ciência da Computação na Universidade Federal do Paraná (UFPR). Atualmente, atuo como bolsista no Centro de Computação Científica e Software Livre (C3SL) e pesquisador no SECurity & Reverse Engineering Team (SECRET).
Vinicius Fulber-Garcia: Professor na Universidade Federal do Paraná, co-coordenador do SECurity & Reverse Engineering Team (SECRET) e pesquisador no Laboratório de Redes, Sistemas Distribuídos e Segurança (LaRSiS) e no Centro de Computação Científica e Software Livre (C3SL), com principais interesses de pesquisa em redes de computadores e segurança computacional.
Como citar essa matéria:
LIMA, Thales Gabriel Carvalho de; FULBER-GARCIA, Vinicius. O Papel dos Artefatos na Reprodutibilidade de Experimentos: Um Estudo do SBRC. SBC Horizontes, 04 dez. 2024. ISSN 2175-9235. Disponível em: <url>. Acesso em: dd mês ano.
