Guia Rápido para Avaliar Artigos: não jogue no time adversário

Por Mirella M. Moro

Com contribuições pontuais de Alberto H. F. Laender, Altigran S. Silva, Ana Paula Couto da Silva, Clodoveu A. Davis Jr., Gisele L. Pappa, José Palazzo M. de Oliveira, Marta Mattoso, Roberto Bigonha, Sérgio Lifschitz e Vanessa Braganholo

Resumo. Como cientista, você desenvolve sua pesquisa a partir de um problema para encontrar uma solução e depois publica seus resultados em um manuscrito. Para ser publicado, tal manuscrito deve passar pelo processo de avaliação ou revisão pelos pares (peer review). Nesse ecossistema, às vezes você é a pessoa cientista que escreve e, outras vezes, a pessoa especialista que julga a qualidade de manuscritos submetidos para publicação. Este artigo tem como público alvo o segundo grupo: especialistas do processo de avaliação. O conteúdo é direto ao ponto: um guia rápido de boas práticas para avaliar trabalhos de colegas cientistas e um conjunto mínimo de aspectos éticos que não podem ser esquecidos.

---

 

Faz parte da vida de cientista: você desenvolve sua pesquisa a partir de um problema para encontrar uma solução e depois publica seus resultados. Você quer que seu trabalho seja o melhor possível e publicado em um veículo de qualidade. Para tal, o rigor científico exige que seu trabalho seja avaliado por uma equipe de especialistas antes de ser publicado. O processo de avaliação ou revisão pelos pares (peer review) não é perfeito, mas é a barreira de qualidade necessária para publicação que vai continuar existindo por muito tempo (Price e Flach, 2017).  

Nesse ecossistema, às vezes você é a pessoa cientista que escreve e, outras vezes, a pessoa especialista que julga a qualidade de trabalhos submetidos para publicação. Conforme o estágio da sua carreira, você pode ser a pessoa que lidera um time de especialistas como parte da coordenação de um comitê de programa de evento ou corpo editorial de periódico. De qualquer forma, é fato: em algum momento você vai ser especialista e, pela primeira ou milésima vez, vai avaliar submissões científicas. Este artigo é para você-especialista manter em mente alguns aspectos fundamentais durante a avaliação. É também para você-líder compartilhar com as pessoas especialistas que lhe ajudam a fazer um bom trabalho. O conteúdo do artigo é direto ao ponto: um guia rápido de boas práticas para avaliar trabalhos de colegas cientistas e um conjunto mínimo de aspectos éticos que não podem ser esquecidos. O quadro a seguir define alguns termos para padronizar nossa nomenclatura. Devido à complexidade do tópico, no fim estão algumas poucas referências úteis para a nossa comunidade como um todo.  

Definição de Termos Relevantes Submissão (ou texto submetido, manuscrito) é o texto enviado a um veículo de publicação que contém a descrição de um trabalho científico ou pesquisa realizada (não confundir o trabalho realizado com o texto submetido) Submissão anônima (para revisão às cegas, do inglês blind review) é uma submissão sem qualquer identificação de sua equipe de autoria (texto sem nome e filiação de autoria, nome de projeto de pesquisa, links externos que conduzem a páginas da instituição, referência a trabalhos anteriores da equipe, e demais informações que possam identificar qualquer aspecto da equipe de autoria) Veículo Científico (veículo de publicação ou simplesmente veículo do inglês venue) é onde se publicam artigos científicos, geralmente um evento científico (congresso, conferência, simpósio, workshop, e afins) ou um periódico (journal) científico  Avaliador/a ou revisor/a (do inglês reviewer) é a pessoa que recebe submissões, avalia de acordo com os requisitos definidos pelo veículo, apresenta pontos que precisam de revisão e, assim, auxilia a decidir quais serão publicadas ou não no veículo Avaliação ou revisão (review) é a sua opinião profissional sobre a submissão, fundamentada em seu saber sobre a área. Não é uma “simples revisão do texto” apontando erros gramaticais; é necessário principalmente verificar pontos técnico-científicos e a contribuição do trabalho.    Processo de avaliação (ou de revisão) define os passos necessários entre a submissão de um trabalho e a sua aceitação (ou não). Embora existam diferentes processos de revisão por pares, os dois mais comuns são os de periódico e de conferência, que são o foco deste artigo. Tipos de submissão e avaliação Aberta: equipes de autoria e de especialistas são conhecidas (ou seja, a avaliação vem acompanhada de nome e afiliação de quem a escreveu)  Anônima: equipe de autoria não sabe quem avalia sua submissão Duplamente anônima: igual à anônima + quem avalia não sabe a autoria  Triplamente anônima: igual à duplamente anônima + quem avalia não sabe a identidade das outras pessoas que avaliam a mesma submissão Resposta à avaliação (rebuttal) é uma fase específica do processo de revisão na qual a equipe de autoria submete um conjunto de respostas às questões e críticas presentes na avaliação recebida  Recomendação final é se a submissão deve ser aceita ou não (recusada, rejeitada – do inglês rejected) Versão final (camera ready) é o texto finalizado, pronto para ser publicado

Para que Avaliação ou Revisão de Pares?

A tarefa de avaliar uma submissão não é fácil (Smith, 2005). Mas antes de chegar a ela, é necessário perguntar: para que serve uma avaliação? Do ponto de vista de decisão, a avaliação ajuda a chegar ao veredito de aceitar ou não a submissão, bem como clarifica o que levou você a tal veredito. Uma boa avaliação não apenas contribui para a discussão de especialistas a fim de chegar à recomendação final, mas também fornece um retorno à equipe de autoria em relação ao trabalho desenvolvido e ao texto no qual se registra tal trabalho. É importante notar que uma tarefa é avaliar o trabalho desenvolvido, outra é avaliar o texto (ou a submissão). Por exemplo, a pesquisa pode ser espetacular e estar escrita em um texto desordenado, impreciso, confuso e gramaticalmente cheio de erros; ou o contrário, a pesquisa pode ser um trabalho raso, sem metodologia adequada, de um problema irrelevante tratando um assunto banal, e estar apresentada em um texto digno de Prêmio Jabuti pela sua qualidade de redação. Ambos exemplos de submissão podem ser não aceitos através de uma avaliação com boas justificativas que mostrem à equipe de autoria que tal decisão é a mais adequada no momento. 

Por que cientistas participam do processo de avaliação como especialistas? Porque é uma questão de reciprocidade: cientistas que submetem seus manuscritos também avaliam os manuscritos de seus pares. De outro modo, seria injusto com quem faz as avaliações, pois teriam uma carga desproporcional para compensar cientistas que apenas escrevem manuscritos. Participar como avaliador/a no processo é uma obrigação profissional e evita o estigma de ser o que alguns chamam de “parasita profissional” (Saunders, 2005). Existem também vantagens de prestar tal serviço: estar em contato com o mais avançado estado-da-arte (pois você estará lendo um trabalho bem antes de sua publicação), obter reconhecimento por escrever boas avaliações, identificar problemas de qualidade na escrita de outras pessoas pode ajudar você a melhorar a sua própria escrita, e discutir ciência com a equipe de avaliação pode repercutir na suas próprias visões da área. 

Um parênteses aqui: tal discussão com a equipe de avaliação acontece em uma etapa separada do processo, e é importante participar. Muitas vezes, você terá acesso às avaliações de colegas e é possível aprender bastante com as mesmas. É interessantíssimo ver como, muitas vezes, colegas abordam problemas e aspectos diferentes dos que você abordou, e como essa multiplicidade de visões reforça o processo de avaliação como um todo. Sem falar que uma avaliação dissonante (adversarial, displicente, preguiçosa) nessa hora prejudica o trabalho de todas as pessoas envolvidas: equipe de autoria, demais especialistas que avaliaram o trabalho e ainda dificulta a tarefa de agrupar as avaliações em uma recomendação final, a qual é geralmente tarefa da coordenação do comitê de programa ou da equipe editorial do periódico. Enfim, você e sua comunidade só têm a ganhar com processo de avaliação de qualidade. 

Uma observação final: existem distintos processos de avaliação, do mais simples através de um ou mais especialistas aos mais complexos com meta-avaliação, fase de resposta (rebuttal), período de discussão e decisão final via encontro presencial (ou online, atualmente). De qualquer modo, este guia serve para qualquer tipo de processo, pois foca na sua atuação no momento de avaliar a submissão e escrever uma recomendação. Nesse contexto, vem o item inicial deste guia.

A Boa Avaliação

Exemplo de Processo de Avaliação de Submissões. O trecho em cinza pontilhado (à esquerda) é mais comum em periódicos que geralmente possuem mais de um ciclo de avaliação e revisão, e eventos que possuem uma fase de rebuttal ou de segunda avaliação; essa nova versão da submissão geralmente é acompanhada de uma carta descrevendo as alterações realizadas bem como respostas aos comentários recebidos.

Muito importante: quando você recebe uma submissão para avaliar, assume-se que você tem algum domínio e interesse pelo assunto. Se não tem, é melhor assumir explicitamente e não prosseguir com a revisão; ou seja, é melhor  recusar o convite de avaliação. Isso deve ser feito de imediato para não atrapalhar o processo.

Hoje em dia, avaliações são realizadas por meio de formulários eletrônicos divididos geralmente em duas partes: uma avaliação numérica ou graduada de “discordo fortemente” a “concordo fortemente”, de “recusa forte” à “aceite forte”, e similares; e outra para seus comentários específicos incluindo, por exemplo, seu entendimento sobre a submissão, pontos fortes, pontos fracos e recomendação geral. É importante certificar-se de que sua recomendação geral corresponda às notas numéricas para os requisitos avaliados. Se você acha que a submissão não deve ser aceita, não dê notas numéricas boas apenas para ser gentil. Porém, uma avaliação cheia de sugestões de alteração e melhorias ainda pode ter um veredito positivo. Uma avaliação honesta e transparente é muito mais útil, e sua recomendação geral deve refletir sua avaliação como um todo.

Uma pergunta comum para iniciantes na arte de avaliar submissões é: o quanto que eu preciso escrever, hein? A resposta curta é: o suficiente para embasar claramente a sua decisão de aceitar ou não a submissão, geralmente quatro ou cinco parágrafos. A resposta mais completa é que os seguintes aspectos da submissão precisam ser avaliados em detalhe: foco do problema e motivação, contribuições técnico-científicas, avaliação experimental ou validação da

solução proposta, trabalhos relacionados e apresentação geral. Lembrando que periódicos geralmente possuem várias etapas de avaliação e revisão; ou seja, pode ser que você tenha de escrever bem mais do que isso em várias rodadas. 

Outra questão importante a ser avaliada é se a submissão está dentro do escopo do veículo ou da trilha. Para tal, veja os tópicos de interesse listados em sua página e se a submissão se encaixa em um (ou mais) deles. Igualmente, veículos e trilhas têm objetivos específicos de publicação, por exemplo, apenas pesquisas inovadoras e trabalhos bem consolidados ou o oposto, apenas trabalhos em andamento. Se a submissão não se encaixa nos tópicos e claramente foge dos objetivos do veículo, pode ser recusada sem muito trabalho de avaliação. 

Tão importante quanto o escopo e o objetivo é a categoria de submissão. É comum que veículos apresentem categorias como pesquisa, avaliação sistemática de literatura (survey), relato de experiência, experimentos e avaliações, visão, ferramenta ou aplicativo, entre outras. Cada categoria geralmente possui diretrizes específicas de avaliação e não seria razoável, por exemplo, revisar um relato de experiência como se fosse um artigo de pesquisa.

Igualmente, atente-se que nem todo periódico é a Nature ou a Science, e nem todo o evento é aquele que aceita apenas as 5% melhores submissões (sim, eles existem). É necessário manter o nível do rigor da sua avaliação compatível com o do veículo, sempre priorizando o rigor técnico ou científico (FORSYTH, 2020). Ou seja, é permitido aceitar que alguns pontos não foram cobertos, que outros experimentos poderiam ser realizados, que faltou uma referência secundária, principalmente se o trabalho ainda está em andamento. Lembre-se que a grande maioria das submissões não vai dar o Prêmio Turing (veja quadro explicativo) à sua equipe de autoria. Na dúvida, verifique as publicações recentes do veículo para ter melhor noção sobre o nível esperado. 

Prêmio Turing — Turing Award O ACM A. M. Turing é um prêmio anual concedido pela Association for Computing Machinery por contribuições duradouras de grande importância técnica para o campo da computação. É a mais alta distinção da área, sendo muitas vezes chamado de Prêmio Nobel da Computação. Leva o nome de Alan Turing, o matemático britânico frequentemente considerado o fundador da ciência da computação teórica e da inteligência artificial. O primeiro cientista a recebê-lo foi Alan Perlis em 1966, e a primeira cientista foi Frances E. Allen em 2006. Demais cientistas com tal premiação incluem: Edsger W. Dijkstra, Donald Knuth, Edgar F. Codd, Dennis Ritchie, Jim Gray, Vint Cerf, Barbara Liskov, Judea Pearl, Shafi Goldwasser, Tim Berners-Lee, John L. Hennessy e David Patterson.

É importante considerar o contexto técnico-científico no qual a submissão se enquadra. Uma pesquisa nunca tem o objetivo de resolver todas as questões pertinentes em um determinado contexto, mas um subconjunto das mesmas. É importante verificar se as afirmações centrais da submissão são validadas ou avaliadas de alguma maneira através de provas formais, estudos de caso, análises qualitativas, experimentos e afins. Por exemplo, se uma submissão afirma que a solução proposta melhora consideravelmente o estado-da-arte, verifique se a seção de avaliação compara tal solução às existentes considerando métricas esperadas de eficiência, complexidade, acurácia e escalabilidade (as quais também dependem de contexto). Enfim, evite criticar o que a pesquisa poderia ter sido em contextos diferentes, pois é necessário manter seu julgamento no que é apresentado na respectiva submissão; e lembre-se que questões em aberto podem servir como sugestões de trabalhos futuros, as quais você pode fazer em sua avaliação. Tudo isso mantendo em mente que você não faz parte da equipe de autoria, de trabalho ou de orientação da submissão. 

Um aspecto importante de se avaliar é a coerência geral da submissão: se há paridade entre o título (e o que ele implica), o resumo (e as expectativas quanto ao conteúdo criadas durante sua leitura), a introdução (e o reforço a essas expectativas), os resultados e as conclusões (que precisam atender a todas as expectativas anteriores). Além disso, o embasamento científico em outros trabalhos precisa ser conciso e coerente com os objetivos da submissão — e não uma tentativa de incluir, didaticamente, um resumo de toda a área em alguns parágrafos, sem correlação direta com a contribuição que a submissão pretende apresentar.

Algumas submissões surpreendem com bons argumentos, alto grau de novidade, criatividade na solução, perspectiva inesperada ou inteligente sobre o estado-da-arte, clareza na explicação de conceitos complexos, alto potencial de contribuição social, e afins. Sinta-se à vontade para elogiar a qualidade do trabalho, mesmo que sua recomendação final seja negativa. Um único elogio bem escrito tem a capacidade de motivar a equipe de autoria, mesmo frente às adversidades em que a mesma se encontra. Por exemplo, uma vez eu não apenas elogiei como incentivei que a dissertação associada fosse submetida ao SBC CTD (Concurso de Teses e Dissertações) do ano seguinte pelo alto potencial de impacto social do seu trabalho.

Veículos geralmente impõem limite no número de páginas (ou palavras) para submissão. Tal limite deve ser respeitado sempre, por questões óbvias de justiça e igualdade na avaliação. Também não há nada de errado com submissões mais curtas que tal limite se elas forem bem escritas e relevantes. Porém, se uma submissão mais curta claramente carece de algo que a teria fortalecido ou sem a qual uma parte importante da pesquisa não é relatada, você deve apontar isso em sua avaliação. Se falta conteúdo na submissão e a mesma já atingiu o limite de páginas, a equipe de autoria vai apreciar muito se você apontar quais trechos da submissão poderiam ser resumidos, simplificados ou até retirados, a fim de abrir espaço para o novo conteúdo. Por exemplo, é preciso que exista um equilíbrio no uso do espaço disponível, de modo que não se tenha introduções ou relatos de trabalhos relacionados longos demais, e condensação da parte de contribuição em um espaço reduzido.

De mesmo modo, os veículos definem modelos de formatação. É aceitável apontar problemas de formatação, mas não torná-los o fator decisivo em uma recomendação negativa. A exceção é se a submissão ficou com volume de conteúdo muito superior ao limite permitido por mexer em margens ou no tamanho da fonte, por exemplo.

Submissões podem conter links para materiais suplementares. Por exemplo, é comum colocar em um anexo ou relatório técnico externo algumas provas extensas, bem como detalhes de implementação para reprodutibilidade. Tais materiais não necessariamente são avaliados, pois a submissão deve ser autocontida, com méritos próprios. A exceção (porque toda regra tem uma) é se a chamada de trabalhos exige a submissão completa de código e conjuntos de dados utilizados (ou qualquer outra informação necessária para reproduzir os resultados do mesmo). De fato, é cada vez mais comum que se espere (ou se exija) a publicação de código e dados em paralelo ao artigo. O objetivo é garantir (ou facilitar) a reprodutibilidade do trabalho. Para esse fim, têm surgido tanto veículos de publicação de conjuntos de dados, quanto repositórios de código-fonte utilizáveis.

É comum uma submissão apresentar falhas de redação ou trechos de texto que poderiam ser melhorados. A pessoa especialista que avalia a submissão não trabalha na redação ou editoria e, portanto, não precisa apontar todos os erros de escrita. Na verdade, é decisão de quem avalia listar todos ou apresentar exemplos dos mais graves. A maioria dos formulários de avaliação possui um campo específico para tais sugestões, mantendo-as separadas de pontos técnico-científicos e da avaliação geral do artigo. Lembre-se que a contribuição técnico-científica é o aspecto mais importante da submissão. Ao terminar de escrever sua avaliação, confira se os argumentos para aceitação ou não estão bem construídos e, mais importante, se boa parte de tais argumentos considera aspectos técnico-científicos da submissão (além de redação e formato).

Ainda no aspecto de texto, a sua própria avaliação precisa estar bem redigida. Assim como uma submissão mal escrita passa uma primeira impressão ruim, uma avaliação mal escrita corre o risco de ser desconsiderada. Também lembre-se que muitas palavras em inglês têm grafias diferentes na língua inglesa, americana e australiana. É possível organizar a sua avaliação em partes, por exemplo: o que você compreendeu do trabalho, o que a submissão tem de bom ou positivo, problemas mais graves e menos graves do trabalho e do texto. Quanto aos problemas, a falta de uma referência que não comprometa a pesquisa é bem menos grave do que uma contribuição irrelevante, e assim por diante. Veja outros exemplos de estruturação no guia de como escrever uma peer review da editora Plos em https://plos.org/resource/how-to-write-a-peer-review. A revista Nature também tem uma publicação a respeito em (Stiller-Reeve, 2018).

Com submissão anônima, outros dois cuidados especiais são necessários.

• Autoras/es podem tentar omitir ou disfarçar referências a seus próprios trabalhos. Na avaliação, você pode conceder o benefício da dúvida, sem criticar negativamente a falta de tais referências.
• Se uma submissão não é totalmente anônima, informe em sua avaliação sem divulgar a identidade que ainda deve ser protegida. Ao saber da autoria, se você acha que não pode avaliar a submissão objetivamente, notifique quem lhe convidou para a avaliação imediatamente.

De modo geral, a sua avaliação deve indicar claramente se a submissão é aceitável para o veículo. Sendo aceita ou não, autoras e autores querem saber por que (FORSYTH, 2020). É importante que sua avaliação forneça razões, explicações e exemplos dos seus pontos principais. Avaliações de apenas algumas linhas geralmente não são úteis, nem para a equipe de pesquisa nem para a equipe de avaliação que precisa tomar uma decisão. Também mantenha em mente que a sua avaliação deve julgar o que o artigo contempla e não o que está faltando. Comentários amplos que servem para qualquer submissão devem ser evitados. A seguir estão exemplos reais de pontos na avaliação que não contribuem com a evolução do trabalho ou mesmo que revelam apenas má vontade, e não avaliam de fato o trabalho (adversarial reviews), seguidos de questões entre colchetes de como torná-los úteis:

• Contribuição incerta [Ok, mas o que você entendeu qual seria a contribuição? Ou existem várias pequenas contribuições e você não sabe qual é exatamente?]
• Contribuição relevante com texto superficial [Em quais aspectos exatamente? Quais partes do texto precisam de mais conteúdo? Quais discussões precisam ser aprofundadas?]
• Texto precisa ser revisado por alguém fluente na língua [Quais trechos apontam tal necessidade? Os erros são ortográficos, gramaticais, estruturais ou de conteúdo?]
• Notação confusa [Quais partes são problemáticas? Qual forma de apresentação poderia auxiliar nas mesmas?]
• Avaliação experimental incompleta [Quais variáveis precisam de avaliação? Como essas variáveis contribuiriam para deixar a pesquisa mais robusta? O que a pesquisa ganha com isso? E a pergunta mais importante: você tem certeza que a submissão é inaceitável sem tais avaliações? Ou tais avaliações poderiam ser tranquilamente realizadas como trabalho futuro? Exemplo clássico: artigos de recuperação de informação estão muito mais preocupados em fornecer uma resposta de qualidade em vez de uma resposta rápida.]
• Avaliação experimental não compara a solução com X [Avalie com quais trabalhos existentes a solução proposta é avaliada; será que realmente não é suficiente? O método X é crucial no contexto considerado ou apenas tem potencial para novos insights? Quais alterações seriam necessárias para comparar com X? Qual é a base comum que justifica uma comparação com X? Tenha modéstia em achar que as suas publicações devem ser citadas.]
• O número de instâncias avaliadas não é suficiente [Primeiro, antes de apontar tal falha, verifique se outros artigos relacionados realmente avaliam mais instâncias ou se é padrão da área considerar poucas dezenas, por exemplo. A proposta do artigo é ter escalabilidade para milhões de instâncias ou ter qualidade para cada instância individual?]
• Faltam referências importantes [Em qual tópico? De quem? Quais exatamente estão faltando?]

Novamente, é muito importante manter-se no contexto da submissão. Veja estes dois exemplos de comentários em avaliações de bancos de dados e redes de computadores: (1) Artigo muito bom sobre dados em grafos, porém deveria ter comparado com relacionais também, e (2) Artigo muito bom sobre redes par-a-par, porém deveria ter comparado com redes de sensores. Você percebe que tais comparações seriam “de alhos com bugalhos”, certo? Então, novamente, é importante se ater ao contexto do trabalho, e não pedir para adicionar referências e comparações fora do mesmo.

Igualmente importante é manter em mente que existem várias maneiras de escrever críticas. Como uma avaliação é um documento formal a ser lido não apenas pela equipe de autoria mas por outras pessoas (demais especialistas durante o processo de avaliação) e a sua identidade de avaliador/a é protegida até um determinado ponto (lembre-se que alguém no sistema tem acesso à ela), acredite em mim quando eu digo que vale o esforço para tornar a sua avaliação mais construtiva e mais positiva (principalmente se a recomendação final for negativa). Também é cada vez mais comum veículos científicos reconhecerem o esforço de seus especialistas com prêmios e distinções. O

contrário certamente é verdade, esses mesmos veículos deixam de convidar novamente especialistas que produzem avaliações pobres e até cruéis, o que certamente pode ter impacto no seu futuro. Além disso, as críticas devem ser dirigidas ao trabalho submetido e não às pessoas envolvidas nele.

Outro ponto a ser considerado é o potencial impacto das críticas na vida acadêmica da equipe de autoria (Chidambaram, 2020; Forsyth, 2020; Santini, 2005), pois uma avaliação rude pode desmotivar estudantes a seguirem o caminho acadêmico bem como acabar com a autoestima de qualquer pessoa, por exemplo. Desconte suas frustrações fazendo uma atividade física, e não julgando cruelmente o trabalho realizado por um grupo de profissionais e estudantes. A dica mais simples é: se a sua avaliação fosse pública e assinada com seu nome completo e afiliação, você mudaria algo nela? Então mude. A segunda dica é: tente usar uma linguagem neutra (Baglini & Parsons, 2020). Como inspiração, seguem alguns exemplos de como melhorar a escrita de sua avaliação:

• Esse contexto não é relevante ou Esse problema não é relevante ⇒ O contexto (ou o problema) de pesquisa tem sido bastante explorado nos últimos anos, veja por exemplo o número de artigos publicados sobre X na DBLP (https://dblp.uni-trier.de/search?q=X); assim, é necessário complementar o texto com argumentos sólidos que evidenciam a relevância atual do contexto e do problema em questão.
• Essa pesquisa é ultrapassada pois [Alguém 1975] já resolveu o problema ou Esta submissão se parece demais com [Alguém 1975] ⇒ A pesquisa relatada tem aspectos similares a [Alguém 1975]; desse modo, é importante verificar como ambas se comparam, por que uma nova solução é necessária e, de preferência, mostrar em que aspectos o trabalho atual supera seu predecessor.
• A motivação é fraca ⇒ A introdução tenta definir a motivação através de trabalhos relacionados, mas o artigo deveria ter seus próprios argumentos para tal. Uma alternativa melhor seria discutir exemplos reais onde o problema se encontra bem como desafios da tecnologia atual para resolvê-lo.
• A solução não considera o aspecto X ⇒ A solução tem bastante potencial, mas seria mais robusta e a contribuição mais pertinente se o aspecto X fosse considerado, especialmente no que tange Y.
• O algoritmo não funciona no caso X ⇒ A descrição do algoritmo, conforme apresentado na seção Y, não deixa claro se o mesmo funcionaria adequadamente ou com bom desempenho no caso X.
• A avaliação experimental é superficial ⇒ A avaliação experimental parece limitada a X; a fim de tornar a contribuição mais robusta, a mesma poderia ser expandida e incluir as questões Y e Z.
• Avaliação experimental em dados privados (ou não públicos) não é ciência ⇒ A avaliação experimental considera dados privados, o que é uma grande barreira para reprodutibilidade. É importante referenciar tal limitação e, de preferência, discutir como bases públicas poderiam ser adaptadas ou incluídas nas avaliações.

Finalmente, não é preciso achar defeito toda vez que você avaliar uma submissão. Existem submissões livres de falhas técnico-científicas e de redação. Nesse caso, lembre-se de elogiar e comentar sobre a importância de publicar tal submissão no veículo. Ou seja, defenda a aceitação da submissão claramente com argumentos plausíveis. 

Aspectos Éticos

• A submissão deve ser lida e avaliada por você apenas. Desse modo, não divulgue o texto ou seus comentários para outras pessoas. Alguns veículos permitem que você receba ajuda de uma pessoa externa (por exemplo, alguém que esteja fazendo doutorado com você); nesse caso, certifique-se de que tal pessoa está ciente dos aspectos éticos desse processo e que tem condições de emitir opinião com valor técnico-científico sobre a submissão.
• Se você não tem conhecimento suficiente para julgar méritos técnicos e científicos de uma submissão, considere retorná-la para o sistema, ou pedir auxílio para outra pessoa revisá-la. No caso de retorná-la ao sistema, o faça no momento do convite de avaliação para não atrasar o processo como um todo.
• Lembre-se que não tem problema avaliar uma submissão na qual você não seja especialista, pois às vezes não há como escapar disso (um pedido especial da editoria de um periódico, por exemplo). Nesse caso, é necessário deixar claro seu grau de confiança na avaliação. Você pode também salientar que a sua avaliação é feita sobre a estrutura e metodologia da submissão, mas não em profundidade sobre o conteúdo pois essa não é sua área central de trabalho.
• Novamente porque essa parte é importante: a sua avaliação deve considerar o trabalho realizado e relatado na submissão, e não o trabalho que você teria feito. É comum que você tenha várias ideias enquanto lê a submissão; algumas você pode sugerir, claro; porém, não é porque você (aparentemente) tem mais criatividade do que a equipe de autoria que a submissão deva ser recusada.
• Plágio se aplica também à cópia de texto em submissão, o que é uma transgressão ética gravíssima.
• Sempre aponte conflitos de interesse ao se cadastrar no veículo para o qual fará avaliações. Veículos podem ter definições específicas de quem são pessoas em conflito, então informe-se.
• Se o processo de avaliação define um tempo para discussão, certifique-se de entrar no sistema de avaliação para averiguar todas as avaliações recebidas pelas submissões que você avaliou e participe das discussões.
• Igualmente, lembre-se que a decisão de aceitar ou recusar uma submissão é um esforço conjunto do time que a está avaliando. Desse modo, discuta as avaliações para chegar a um consenso. Caso o consenso seja difícil, pode-se sugerir que mais uma avaliação seja realizada por alguém diferente.
• Se apenas referências a trabalhos seus e do seu time de pesquisa estiverem faltando na submissão, cuidado ao tecer tal comentário. A avaliação de submissões não é uma plataforma para aumentar o seu número de citações.
• Foque sua avaliação em aspectos de melhoria do texto para a disseminação geral da pesquisa realizada, não apenas para agradar a você e ao seu próprio estilo de escrita.
• Escreva suas avaliações com educação. Lembre-se que a maioria das submissões tem equipe de autoria que inclui estudantes e jovens profissionais com pouca experiência em escrita científica, ou com pouca experiência de publicar em veículos de alta qualidade. Respeite tais limitações em sua avaliação através de críticas construtivas e moralmente positivas.
• Respeite os prazos de retorno de sua avaliação. Caso não seja possível avaliar dentro do prazo, entre em contato imediatamente com quem lhe passou a submissão.
• Se alguém quiser, pode recusar qualquer submissão em qualquer momento, independente da qualidade efetiva do trabalho apresentado; basta estar de mau humor, cismar com o assunto X, assumir seus preconceitos, e afins. Deve-se evitar tal comportamento.
• Ao mesmo tempo, alguém com pouca experiência em avaliar submissão não deve ter medo de revisar/avaliar negativamente um trabalho de autoria de uma pessoa com alta senioridade no assunto (vulgo, bam-bam-bam da área).
• Toda submissão tem algo de bom, nem que seja uma figura extremamente informativa ou a importância atual do tema; sempre insira aspectos positivos em sua avaliação, quaisquer que sejam.
• Nada pior que você tentar aniquilar um trabalho que percebe como “concorrente” por meio de uma revisão injusta e enviesada. Essa é outra falta ética gravíssima, que veículos científicos tentam reduzir com as declarações de ausência de conflitos de interesse.
• Escreva sua avaliação com objetividade, justiça, velocidade, profissionalismo, confidencialidade, honestidade e cortesia (Parberry, 1994; Davison, de Vreede & Briggs, 2005).
• Escreva sua avaliação sem críticas fulminantes, assim como você gostaria de receber as suas (Vardi, 2010).
• Finalmente, evite ser do time adversário (Cormode, 2008).

Referências

BAGLINI, R., PARSONS, C. (2020). If you can’t be kind in peer review, be neutral. Nature Careers Community. November 2020. doi: 10.1038/d41586-020-03394-y 

CHIDAMBARAM, V. (2020). Why We Should Include One-Shot Revision in our Review Process. Disponível online em https://www.sigarch.org/why-we-should-include-one-shot-revision-in-our-review-process. Acesso em Dezembro 2020.

CORMODE, G. (2008). How NOT to review a paper: the tools and techniques of the adversarial reviewer.  SIGMOD Record 37,4, 100-104. doi: 10.1145/1519103.1519122

DAVISON, R., DE VREEDE, G., & BRIGGS, R. (2005). On Peer Review Standards For the Information Systems Literature. Communications of the Association for Information Systems, 16:49. doi: 10.17705/1CAIS.01649

FORSYTH, D. A. (2020) CVPR 21 Training Information for ACs and referees. Disponível online em: http://luthuli.cs.uiuc.edu/~daf/CVPR21TrainingMaterials. Acesso em Dezembro 2020. 

PARBERRY, I. (1994). A Guide for New Referees in Theoretical Computer Science. Inf. Comput. 112, 1, 96-116. doi: 10.1006/inco.1994.1053

PRICE, S., FLACH, P. A. (2017) Computational support for academic peer review: a perspective from artificial intelligence. Communications of the ACM, 60, 3, 70-79. DOI: 10.1145/2979672 

SAUNDERS, C. (2005). Editor’s comments: looking for diamond cutters, MIS Quarterly, 29(1): iii-viii.

SANTINI, S. (2005). We Are Sorry to Inform You … Computer, 38(12):128-127. doi: 10.1109/MC.2005.423

SMITH, A.J. (2005). The Task of a Referee. Journal of Machine Learning Research. Disponível online em https://www.jmlr.org/reviewing-papers/smith-advice.pdf. Acesso em Dezembro 2020.

STILLER-REEVE, M. (2018). How to write a thorough peer review. Nature Careers Community. Outubro 2018. doi: 10.1038/d41586-018-06991-0

VARDI, M. Y. (2010). Hypercriticality. Communications of the ACM, 53 (7). doi: 10.1145/1785414.1785415

Sobre a autora

Mirella M. Moro

Professora do DCC/UFMG. Conselheira da SBC. Integrante do Comitê Gestor do Programa Meninas Digitais. Coordenadora dos projetos Bytes & Elas, e BitGirls.

Lattes: https://lattes.cnpq.br/6408321790990372

Outros Contatos: https://linktr.ee/mirellammoro

 

Como citar esse artigo:
MORO, Mirella M., 2021. Guia Rápido para Avaliar Artigos: não jogue no time adversário! SBC Horizontes, janeiro 2021. ISSN: 2175-9235. Disponível em: http://horizontes.sbc.org.br/index.php/2021/01/guia-rapido-para-avaliar-artigos:-nao-jogue-no-time-adversario/ Acesso em: dd mês aaaa.