A Avaliação de Artefatos chega à Trilha Principal do SBRC 2026
Em sua terceira edição, o Comitê Técnico de Artefatos avaliou 65 trabalhos e realizou 130 revisões, consolidando a avaliação de artefatos como parte do processo científico em redes e sistemas distribuídos no Brasil.
Por Diego Kreutz e Tiago Heinrich
Boa parte do que move a pesquisa em redes de computadores e sistemas distribuídos não cabe nas páginas de um artigo. Está no código, nos dados, nos scripts de experimentos, nos modelos e nos benchmarks que sustentam cada resultado. Reconhecer e avaliar esses artefatos com o mesmo rigor dedicado ao texto científico é o propósito do Comitê Técnico de Artefatos (CTA). No SBRC 2026, esse trabalho atingiu um novo patamar: pela primeira vez, a avaliação de artefatos passou a integrar a Trilha Principal do simpósio, e não apenas o Salão de Ferramentas.
O resultado foi a maior edição da história do comitê. Foram avaliados 65 trabalhos com artefatos e 130 revisões técnicas, produzidas por um corpo de avaliadores de cerca de 20 instituições brasileiras e estrangeiras. Ao todo, 90% dos trabalhos submetidos receberam o primeiro selo de qualidade, com 47.6% recebendo todos os selos disponíveis. Este é um indicador de maturidade que o processo vem perseguindo desde 2023.
Uma história que começou em 2024
A chegada à Trilha Principal não foi um salto isolado, e sim a terceira interação de um processo que vem sendo aprimorado a cada ano. A primeira edição do CTA aconteceu em 2024, como um piloto no WGRS (Workshop de Gerência e Operação de Redes e Serviços). Ali se estabeleceram as bases do modelo: quatro selos de qualidade e um processo de revisão inspirado em conferências internacionais de referência, como USENIX, SIGCOMM, CoNEXT e EuroSys.
Em 2025, o CTA estreou no SBRC, dentro do Salão de Ferramentas, avaliando 16 ferramentas, todas reconhecidas com os quatro selos. Foi a prova de conceito de que um processo formal, rigoroso e formativo era viável e desejado pela comunidade. Em 2026, o processo amadureceu e se expandiu: o Salão de Ferramentas aumentou de 16 para 20 ferramentas e, somado à estreia na Trilha Principal, realizou a revisão de 65 trabalhos, um crescimento de cerca de quatro vezes em um único ano.
Como funciona a avaliação
O CTA avalia artefatos que podem assumir muitas formas: software, conjuntos de dados, documentação complementar, resultados brutos, provas de conceito, modelos e benchmarks. A cada trabalho, o comitê pode atribuir até quatro selos, solicitados pelos próprios autores e verificados de forma independente pelos revisores.
O que distingue o CTA não é apenas o conjunto de selos, mas o caráter formativo e dialógico do processo. A avaliação é realizada em duas fases. Na primeira etapa (R1), os revisores avaliam o artefato com base nos critérios estabelecidos para cada selo. Durante esse processo, podem utilizar a plataforma HotCRP para discutir aspectos da avaliação com outros revisores e encaminhar perguntas aos autores, especialmente quando forem identificados problemas, dúvidas ou inconsistências. Ao final da revisão, cada revisor deve submeter um parecer detalhando as etapas realizadas para avaliar cada selo, o processo de execução observado, os resultados obtidos e, quando aplicável, os problemas encontrados, que devem estar claramente descritos e fundamentados. Também nessa etapa são registradas as evidências da avaliação, denominadas Provas F e R, que documentam o que foi efetivamente testado.
Após a conclusão da primeira fase, inicia-se o período de rebuttal, durante o qual os autores têm acesso aos pareceres e podem responder aos questionamentos, esclarecer dúvidas, corrigir problemas identificados, apontar eventuais equívocos na avaliação e explicar aspectos que possam ter passado despercebidos pelos revisores.
Na segunda etapa (R2, Decision), os revisores reavaliam o trabalho considerando tanto a revisão realizada na primeira fase quanto as respostas apresentadas pelos autores durante o rebuttal. Com base nesse conjunto de informações e nos critérios públicos de avaliação, decidem quais selos serão concedidos ao artefato.
Todo o fluxo é conduzido em uma instância da plataforma HotCRP. Em 2026, a fase de rebuttal começou em 7 de maio, com prazo de resposta dos autores até 9 de maio, e a decisão final dos selos encerrou-se em 14 de maio. Essa interação estruturada entre autores e avaliadores é o que transforma a avaliação em um instrumento de melhoria da qualidade, e não apenas de julgamento.
O desafio de formar e ampliar o corpo de revisores
Quadruplicar o número de trabalhos avaliados em um ano traz um desafio direto: é preciso ter revisores em quantidade e em qualidade. Avaliar artefatos exige competências que vão além da leitura de um artigo. O revisor precisa identificar as principais reivindicações do artigo, executar o código, reproduzir experimentos, ler documentação técnica, identificar dependências e dialogar de forma construtiva com os autores.
Por isso, a expansão do CTA foi acompanhada de uma estratégia de formação. A edição de 2026 reuniu cerca de 39 avaliadores de aproximadamente 20 instituições, com a participação de tutores dedicados a orientar revisores menos experientes e a padronizar a aplicação dos critérios. Esse investimento na formação é estratégico: ao treinar avaliadores, o CTA forma também uma geração de pesquisadoras e pesquisadores mais atentos à engenharia de pesquisa, à documentação e à reprodutibilidade, competências cada vez mais valorizadas tanto na academia quanto no mercado.
Os artefatos destaque do SBRC 2026
Entre os 65 trabalhos avaliados, o Comitê de Seleção reconheceu os artefatos de maior excelência no desenvolvimento, na documentação e na apresentação. O Melhor Artefato do SBRC 2026 foi o AnonShield, uma solução escalável de pseudonimização on-premise de dados de vulnerabilidades de rede para CSIRTs, desenvolvida na UNIPAMPA em parceria com a Université de Bretagne Occidentale (UBO).
Também foram reconhecidos como artefatos de destaque o IMPA, um novo algoritmo para atribuição adaptativa de potência em redes ópticas elásticas SDM-EON, fruto de uma colaboração entre pesquisadores da UFPI, IFPI e UFPI, e o Yes, CARLA CAN, uma extensão do simulador CARLA para experimentação em cibersegurança de redes veiculares internas, desenvolvido na UFPE.
Os revisores destaque
A avaliação de artefatos só existe pelo trabalho cuidadoso de quem revisa. Em reconhecimento à dedicação, à completude das avaliações e à qualidade das provas e sugestões oferecidas aos autores, o CTA destacou onze revisores:
- Alexandre Sztajnberg (UERJ)
- Cristhian Eduardo Kapelinski de Avila (UNIPAMPA)
- Diego Kreutz (UNIPAMPA)
- Douglas Lautert (UNIPAMPA)
- Edvar Afonso Luciano Filho (PETROBRAS)
- Fabricio Eduardo Rodriguez Cesen (Telefónica Research)
- Gustavo Zambonin (UFSC)
- Leonardo de Jesus Bitzki (UNIPAMPA/UFRGS)
- Matheus Cabral (UNIPAMPA)
- Matheus Martins Ciocca (UNIPAMPA)
- Vitor Reiel Moura de Lima (UFC)
O Comitê de Seleção
A escolha dos destaques coube a um Comitê de Seleção que pautou suas atividades por três princípios explícitos: democracia, transparência e imparcialidade. Os critérios de seleção, tanto de artefatos quanto de revisores, foram definidos e publicados previamente, incluindo o recebimento dos quatro selos, a ausência de pendências técnicas ao final da interação e o valor do artefato para a comunidade. O comitê foi formado por:
- António João Gonçalves de Azambuja (UFRGS)
- Hugo Santos (UEPA)
- Leandro M. Bertholdo (UFRGS)
- Leonardo Chahud (ITA)
- Pedro Marcos (FURG)
- Rogério Turchetti (UFSM)
- Valter Roesler (UFRGS)
A organização contou ainda com a tutoria de Anderson Frasão (UFPR), dedicada à formação dos revisores, e com o design dos selos por Manoela Resende (UNIPAMPA).
Por que isso importa
Avaliar artefatos é, no fundo, fortalecer a confiança na ciência. Um experimento que pode ser reproduzido, um código que pode ser executado e um conjunto de dados que pode ser reutilizado tornam o conhecimento verificável, cumulativo e acessível. Para a comunidade de redes e sistemas distribuídos, isso significa pesquisas mais sólidas e, para autores e estudantes, uma cultura de cuidado com a engenharia de pesquisa que acompanha toda a carreira.
Os números reforçam o ponto. Em 2023, apenas 56,52% dos artefatos recebiam o primeiro selo; e em 2026 com 90%. A trajetória mostra que um processo formativo, repetido e transparente eleva o nível geral da produção. Quem quiser conhecer a fundo a filosofia por trás desse modelo brasileiro de avaliação de artefatos pode ler o artigo “Entre a teoria e a prática: a experiência brasileira na avaliação de artefatos científicos”, de Diego Kreutz e Tiago Heinrich, publicado na SBC Horizontes em junho de 2026.
A estreia do CTA na Trilha Principal do SBRC 2026 é, assim, mais do que um marco organizacional. É o sinal de que a comunidade brasileira passou a tratar os artefatos como o que eles realmente são: parte essencial e indissociável do resultado científico.
Faça parte do CTA
A avaliação de artefatos depende de uma comunidade ativa e em crescimento. O CTA está sempre aberto a novos avaliadores, e participar é uma oportunidade de formação valiosa, tanto para quem revisa quanto para quem submete trabalhos. Autoindicações e indicações de colegas podem ser pelo formulário:
Ou por email: comite.tecnico.de.artefatos@gmail.com
O convite é oportuno: em breve o CTA estará avaliando os artefatos do SBSeg 2026 (Simpósio Brasileiro de Segurança da Informação e de Sistemas Computacionais).
Os resultados completos, a lista de avaliadores e a Declaração Geral Final estão disponíveis em artifact-eval.github.io. Fique atento à próxima edição do CTA.
Autores
É professor efetivo da Universidade Federal do Pampa (Unipampa) desde 2013. Possui graduação em Ciência da Computação pela Universidade Federal de Santa Maria (UFSM, 2003), mestrado em Informática (PPGI), pela UFSM (2009) e doutorado em Informática pela Universidade de Luxemburgo (2020).
É pesquisador no Max Planck Institute for Informatics (MPI), na Alemanha desde 2024. Possui graduação em Ciência da Computação pela Universidade Estadual de Santa Catarina (UDESC, 2017), mestrado em Computação Aplicada pela UDESC (2019) e doutorado em Informática pela Universidade Federal do Paraná (UFPR, 2023).
Como citar este artigo
KREUTZ, Diego; HEINRICH, Tiago. A Avaliação de Artefatos chega à Trilha Principal do SBRC 2026. SBC Horizontes, junho 2026. ISSN 2175-9235. Disponível em: https://horizontes.sbc.org.br/?p=12144. Acesso em: DD mês. AAAA.
