Cinco Princípios para uma Revisão Responsável
Revisar artigos e projetos é uma atividade de extrema importância para a ciência e para uma comunidade científica. Revisões de qualidade são necessárias não apenas para apoiar a seleção de bons trabalhos, mas especialmente para ajudar no treinamento de novas e novos pesquisadores e na melhoria contínua das pesquisas produzidas por uma comunidade científica. Mas, então, por que ainda recebemos tantas revisões pobres, incompletas ou desnecessariamente agressivas? E como podemos lidar com o problema?
Por Roberto Pereira, Tayana Conte & Isabela Gasparini
A revisão por pares de artigos e projetos tem sido foco de discussão e preocupação ao longo da história da ciência. Nesta matéria, chamamos a atenção para dois dos maiores problemas da revisão por pares: as revisões haters e as revisões shallow, e para evitar esses problemas, propomos 5 princípios para a elaboração de Revisões Responsáveis. Estes princípios não são definitivos ou exaustivos, mas são princípios que, se entendidos e seguidos, ajudarão você a realizar revisões de qualidade e com responsabilidade, e também poderão lhe ajudar a formar mais pessoas para fazer o mesmo!
Como nós três temos paixão pela saga Star Wars e somos fãs do Mestre Yoda, utilizaremos de suas frases icônicas para ilustrar e motivar nossas discussões (PARADE, 2021). Boa leitura para vocês, Mestres Jedi e Padawans, pois “In a dark place we find ourselves, and a little more knowledge lights our way” (Yoda).
Aqui na SBC Horizontes há matérias que discutem o tema da revisão sob diversas perspectivas, como a importância da revisão por pares nos eventos científicos e as discrepâncias entre revisões (MOTTA et al., 2021), e também um conjunto abrangente de dicas, comentários e reflexões em um guia para avaliar artigos e não jogar no time adversário (MORO, 2021). Recomendamos a leitura dessas matérias para uma reflexão em profundidade sobre a complexidade e importância da revisão por pares.
Revisões “hater” e revisões “shallow”
Nossa primeira motivação para falar em termos de revisões responsáveis veio da necessidade de lidar com dois tipos de revisões que consideramos muito prejudiciais: as revisões conhecidas como “haters” — revisões desnecessariamente agressivas e destrutivas, e as revisões que escolhemos chamar de “shallow” — revisões rasas e sem apreciação efetiva.
Revisões haters costumam impor a visão de quem revisa em vez de apreciar o trabalho sendo avaliado a partir da perspectiva que o trabalho se propõe a endereçar. Adotando um tom colonizador, essas revisões acabam não apreciando o trabalho conduzido, focando em deficiências e limitações relacionadas às expectativas e vontades de quem revisa. Revisões haters tendem a exigir modificações ou ajustes que são inexequíveis ou que resultariam em outro trabalho que não o trabalho sendo avaliado.
Independentemente da profundidade das críticas e do nível das demandas/exigências, o ponto mais característico de uma revisão hater está no tom ou na forma da revisão: falta cuidado ou respeito pelo trabalho sendo avaliado e pelas pessoas que o conduziram. Uma revisão hater é a revisão que critica de forma agressiva e destrutiva, sem agregar, informar, ajudar, ou orientar a melhoria do trabalho. Claro que críticas construtivas, focadas em como melhorar o trabalho, são sempre muito bem vindas na pesquisa. Porém, críticas desnecessariamente agressivas não ajudam a melhorar a pesquisa.
Revisões shallow são aquelas que tocam em pontos genéricos e superficiais, normalmente revelando que não houve uma efetiva apreciação do trabalho. Revisões comuns desse tipo são aquelas só com duas ou três linhas que não ajudam em nada, que só criticam questões de escrita, que só elogiam a pesquisa superficialmente, ou que só criticam pontos genéricos que não foram atendidos.
Diferente das revisões haters que possuem como característica mais forte a forma da revisão, as revisões shallow têm como ponto mais característico a falta de profundidade da apreciação, seja ela em tom positivo ou negativo, seja ela recomendando o aceite ou a rejeição do trabalho. Uma revisão shallow não informa, não ajuda e não agrega.
Como a forma e a profundidade da revisão não são mutuamente exclusivas, é comum termos o pior dos dois cenários unidos em uma revisão hater E shallow. Ou seja, revisões que além de não mostrarem uma apreciação efetiva pelo trabalho e não oferecerem contribuições, ainda adotam uma forma agressiva ou pejorativa. Do lado oposto dessas características, podemos considerar que está o caminho para o desenvolvimento de revisões responsáveis. A Figura 1 mostra uma representação da relação entre algumas das características citadas.
Figura 1. Estilo das revisões como uma relação entre sua forma e profundidade.
E por que precisamos conscientizar tanto sobre esses tipos de revisões?
Porque além de serem extremamente prejudiciais para o progresso da ciência e para as comunidades científicas, elas desmotivam as pessoas (especialmente estudantes e pessoas iniciantes), impactam na saúde física e mental, e perpetuam distorções.
Nós já trabalhamos em condições precárias, sem investimento, sem reconhecimento, sem apoio institucional, político ou social. Grande parte da pesquisa, pelo menos no Brasil, é feita nas universidades, por estudantes que recebem uma bolsa precária ou que sequer recebem por isso. Nossas atividades de pesquisa, muito frequentemente, nem são contabilizadas em nossa carga horária formal, fazendo com que grande parte do que se produz seja resultado de trabalho não formalizado e não pago. Nós temos que lidar com pressões de todos os tipos, vindas de agências de fomento, de órgãos reguladores e avaliadores, de nossas próprias instituições e empresas. Então, por que, além de tudo isso, temos que ser os algozes de nossos pares?
Não se trata de baixar o rigor e não se trata de benevolência. Trata-se de um comportamento consciente e responsável, que atue para garantir a qualidade e o rigor da ciência ao mesmo tempo em que contribua para o crescimento e aprendizado das pessoas que conduzem o trabalho. É com essa visão que defendemos a necessidade continuada de reflexão e de ação em prol de revisões responsáveis!
Revisões responsáveis
Quando se discute sobre a importância de se fazer “boas revisões”, um conselho comum é que você faça a “revisão que você gostaria de receber”.
Esse conselho é útil e já nos ajuda a melhorar o nosso entendimento sobre o processo de revisão — e sobre a nossa responsabilidade ao revisar. Essencialmente, esse conselho nos lembra que é preciso que nos coloquemos “no lugar das outras pessoas” — no lugar de quem escreve, de quem deverá tomar a decisão final, de que for ler o trabalho, etc. — e refletir se gostaríamos de receber a revisão que estamos elaborando.
Porém, o mundo não é tão objetivo como acabamos considerando que ele seja, de modo que fazer a revisão que gostaríamos de receber será um conselho bom o suficiente apenas se nós já tivermos uma visão boa o suficiente. Se nosso entendimento sobre o que é uma boa revisão for enviesado, restrito, ou mesmo ingênuo, então esse conselho sozinho não nos ajudará a melhorar nossa prática e a fazer revisões responsáveis.
Revisões responsáveis são revisões contextualizadas, conscientes, críticas, construtivas e coerentes, que não apenas separam o joio do trigo, mas que ajudam a avançar na qualidade das pesquisas que desenvolvemos e na formação de novas e novos cientistas. A imagem de capa da matéria mostra uma visão geral dos 5 princípios para uma revisão responsável. Veja os detalhes de cada um abaixo.
1. Contextualizada
“Do or do not. There is no try.” — Yoda
Uma revisão responsável é adequada ao contexto em que ela é solicitada. Quando assumimos a responsabilidade de revisar um trabalho, temos que conhecer a chamada que especifica que tipo de trabalhos são esperados e ter consciência do que se espera com a nossa revisão.
Dependendo do escopo da chamada, a revisão deverá avaliar e valorizar aspectos diferentes (resultados, originalidade, relevância, etc.). Os propósitos de uma revisão sempre dependem da chamada: selecionar artigos que apresentem resultados de pesquisa em um tema específico é muito diferente de selecionar trabalhos para um workshop de mentoria, por exemplo. Enquanto no primeiro o foco estará na seleção de bons artigos, com resultados, métodos rigorosos e fundamentação coerentes, no segundo o foco pode estar na seleção dos trabalhos com maior fragilidade e que precisem de mais orientação.
Então, além de entender o escopo da chamada e o que se espera da sua revisão, verifique e respeite os prazos que você tem para finalizar seu trabalho. A revisão normalmente é um trabalho voluntário, e justamente por isso exige total comprometimento e responsabilidade.
Verifique, também, se não há conflitos de interesse com o trabalho sendo avaliado.
2. Consciente
“Many of the truths that we cling to depend on our point of view.” — Yoda
Talvez o ponto mais importante para garantir uma revisão responsável seja entender o quê o trabalho sendo avaliado se propõe a fazer — e cuidar para não atribuirmos ao trabalho as nossas visões e preferências sobre o que nós gostaríamos que ele estivesse se propondo a fazer.
É fundamental que estejamos conscientes do problema que o trabalho se propõe a abordar, da contribuição que ele se propõe a trazer, e do contexto em que ele está situado. Conscientes disso, conseguimos analisar o que ele realmente faz, e identificar se ele cabe no escopo da chamada.
Falhar nesse princípio é o caminho mais rápido para a elaboração de “revisões colonizadoras”: revisões que ignoram o trabalho apresentado, suas características e contribuições efetivas, e impõem outra visão e entendimento como sendo superior, correta, universal.
Essa falta de consciência que resulta em revisões colonizadoras se manifesta nas mais diferentes formas, por exemplo:
- A fundamentação teórica do trabalho deve ser coerente com o que ele se propõe a fazer e com a decisão de quem o desenvolve. Um indício de revisão colonizadora é achar que a sua teoria preferida é universal, se aplica a qualquer problema e contexto, e deveria ser utilizada por todo mundo.
- O método e os materiais utilizados devem ser adequados ao problema sendo investigado e aos objetivos que se deseja alcançar. Outro indício de revisão colonizadora é achar que (apenas) o método X ou Y deveria ser utilizado, ignorando a proposta efetiva do trabalho e os resultados que ele se propõe a alcançar.
Além das fundamentações teóricas e metodológicas, também analise o trabalho e a sua relação com o estado da arte, os resultados obtidos, a avaliação dos resultados e os resultados da avaliação, sempre consciente do que o trabalho efetivamente se propõe a fazer e a trazer.
Ao analisar, considere a qualidade da apresentação (escrita, estrutura e organização, imagens, tabelas), a compatibilidade entre o proposto e o alcançado, a contribuição reivindicada e a contribuição efetivamente alcançada ou apresentada, e a maturidade da discussão e da argumentação.
3. Crítica
“If no mistake you have made, losing you are. A different game you should play.” — Yoda
Estando consciente do que o trabalho se propõe a fazer e do contexto da chamada a que ele está sendo submetido, precisamos garantir que a nossa revisão seja crítica, capaz de identificar os pontos que precisam ser trabalhados, e de realizar os apontamentos que precisam ser destacados.
Uma revisão crítica aponta:
- limitações que tenham passadas despercebidas ou que possam comprometer os resultados;
- inconsistências na fundamentação adotada e na forma como ela está sendo utilizada, no método adotado e na forma como ele foi aplicado, nos resultados obtidos e nas discussões desenvolvidas
- erros nos conceitos utilizados, no método aplicado e reportado, nos dados apresentados, nas discussões desenvolvidas, e na conclusão apresentada
- deficiências no texto, nas imagens, nas tabelas — de problemas de escrita à relevância da informação e sua qualidade estética
- dificuldades de entendimento do trabalho, de replicação ou reprodução dos achados
Para uma revisão ser crítica não basta apenas realizar os apontamentos necessários, é preciso explicar porquê os apontamentos são relevantes e porquê precisam ser considerados.
Não assuma que as pessoas entendam os pontos que você está levantando — se eles fossem óbvios para elas, muito provavelmente elas já o teriam tratado ou reconhecido. Enquanto a correção de problemas pontuais no texto é facilmente entendida, o mesmo não ocorre quando o apontamento se refere a um problema conceitual ou metodológico, de viés ou inconsistência nos dados obtidos, na análise realizada, nas discussões e conclusões apresentadas. Nesses casos, não basta indicar o problema, é preciso explicar porquê ele é um problema e quais as suas causas e consequências, de modo que as pessoas autoras consigam entendê-lo e corrigi-lo, evoluindo suas pesquisas.
A revisão por pares tem a função de contribuir com a qualidade do progresso científico, e para isso é necessário que as pessoas aprendam com as revisões que receberem.
4. Construtiva
“Always pass on what you have learned.” — Yoda
Uma revisão responsável é, acima de tudo, construtiva. Além de apresentar os problemas e de explicá-los, a revisão deve oferecer caminhos e possibilidades de resolvê-los. Alguns problemas são muito difíceis de serem resolvidos, e fazer o exercício de oferecer soluções é uma boa forma de verificar se o que estamos exigindo e esperando é realmente factível no escopo do trabalho apresentado.
Ao elaborar sua revisão, sugira alternativas ou meios de atender cada apontamento que você realizou. Indique formas de avançar na qualidade do trabalho, sugira leituras adicionais e referências relacionadas, e deixe novas perspectivas para o trabalho, novas ideias que ajudem a ir além do que está sendo feito.
Revisões construtivas são ainda mais importantes para trabalhos que serão rejeitados, pois elas podem informar aspectos positivos do trabalho que devem ser mantidos ou melhor explorados, e podem auxiliar na melhoria de novas versões do trabalho e em trabalhos futuros ou já em desenvolvimento. Mesmo quando um trabalho não é aceito, uma revisão construtiva agrega e contribui.
Ao mesmo tempo, reconheça o mérito do que está sendo feito e apresentado. Valorize o esforço empregado no trabalho, e tudo o que funcionou ou foi bem pensado no estudo. Quando for o caso, reconheça também o mérito do problema abordado, da proposta apresentada, dos resultados obtidos; reconheça a originalidade do problema, da proposta, da fundamentação, do método, das contribuições obtidas. Efetivamente, aprecie o trabalho apresentado, valorizando e contribuindo com a sua evolução.
5. Coerente
“You will find only what you bring in.” — Yoda
Uma revisão responsável apresenta comentários e notas coerentes, refletindo a apreciação realizada, os pontos levantados e as sugestões oferecidas. Do mesmo modo, as recomendações da revisão e a decisão final devem ser compatíveis.
Um problema comum nas revisões é a incoerência entre o que foi indicado como problema e as notas atribuídas e a recomendação indicada. Em revisões haters, é comum que problemas cosméticos sejam apontados e utilizados como justificativa para uma revisão extremamente pesada, com notas muito baixas, sem explicar o porquê ou com justificativas incoerentes. Em revisões shallow, é comum que os comentários sejam superficiais e não reflitam uma apreciação efetiva sobre o trabalho avaliado — muitas vezes, os comentários são positivos mas as notas não refletem essa positividade; ou então as notas são positivas também, mas sem refletir a apreciação do trabalho.
Portanto, além de entender o contexto da avaliação (chamada, escopo, propósito), de ser consciente do que o trabalho se propõe a fazer, de ser crítica e construtiva, a revisão responsável precisa ser coerente, alinhando a apreciação apresentada com as recomendações feitas.
A coerência se estende a todo o processo de revisão: discuta com seus pares, quando for o caso, e converse com editores ou chairs quando preciso. Quando o processo de revisão envolver a discussão com seus pares, analise as revisões feitas por outras pessoas, veja se há algo para ajustar ou melhorar na sua. Quando houver fase de rebuttal, certifique-se de que as questões apresentadas poderão ser respondidas com o espaço e tempo que as autoras e autores terão para elaborar suas respostas. E quando você receber uma resposta, atualize sua revisão para indicar a elas que você leu e considerou o que elas responderam. Um dos sentimentos mais frustrantes é elaborar uma resposta cuidadosa às dúvidas e questionamentos de uma revisão e sentir que essa resposta foi ignorada.
Mãos à obra…
Para fazer revisões responsáveis é imprescindível que você tenha lido o trabalho com calma, tempo, paciência, ‘degustando’ de todo o texto, ou seja, não dá para revisar de véspera, sem fazer as reflexões necessárias. E isso leva tempo e exige dedicação.
Portanto, programe-se e organize o seu tempo de modo que você consiga revisar a sua revisão antes de entregá-la. Isso lhe ajudará não apenas a verificar se sua revisão atende aos 5 princípios de uma revisão responsável, mas também a identificar problemas na escrita e comentários que estejam difíceis de entender.
Se ao revisar a sua revisão você concluir que ela está adequada ao contexto, que está consciente, crítica, construtiva e coerente, então você poderá finalmente se questionar: essa é a revisão que eu gostaria de receber?
O conteúdo desta matéria foi discutido em um webinar promovido pelo BR-CHI, o capítulo brasileiro da ACM Computer Human Interaction Special Interest Group: Powerful you have become, the dark side I sense in you — uma conversa sobre revisões responsáveis. Nós agradecemos as coordenadoras Kamila Rios (USP), Marcelle Motta (UFPA) e Soraia Prietch (UFR) pelo convite, e agradecemos a audiência pelas discussões e comentários. Agradecimento especial à Profa. Mirella Moro (UFMG) pela sugestão de título da matéria durante as discussões no webinar.
https://www.youtube.com/watch?v=hZjGxx6Rlok
Referências
MORO, Mirella M., 2021. Guia Rápido para Avaliar Artigos: não jogue no time adversário! SBC Horizontes, janeiro 2021. ISSN: 2175-9235. Disponível em: http://horizontes.sbc.org.br/index.php/2021/01/guia-rapido-para-avaliar-artigos:-nao-jogue-no-time-adversario/ Acesso em: 25 julho 2020.
MOTTA, Claudia L.R.; ARAÚJO, Rafael Dias; GASPARINI, Isabela; GOMES, Alex Sandro; DE MENEZES, Crediné Silva; Vamos falar sobre a importância da revisão por pares nos eventos científicos e as discrepâncias entre revisões? SBC Horizontes, março 2021. ISSN 2175-9235. Disponível em: http://horizontes.sbc.org.br/index.php/2021/03/vamos-falar-sobre-a-importancia-da-revisao-por-pares-nos-eventos-cientificos-e-as-discrepancias-entre-revisoes/ Acesso em: 25 julho 2020.
PARADE. Yoda Quotes That Will Leave You With All the Star Wars Feels. Parade Magazine, maio 2021. Disponível em: https://parade.com/943548/parade/yoda-quotes/ Acesso em: 25 julho 2020.
Autoria
Da esquerda para a direita: Isabela, Tayana e Roberto.
Foto no CSBC 2019.
Isabela Gasparini: Professora da UDESC, graduada pela UEL, mestre e doutora pela UFRGS, com estágio sanduíche na TELECOM SudParis. Atualmente é a Coordenadora da Comissão Especial de Interação Humano-Computador (CEIHC) da SBC e editora-chefe da Revista Brasileira de Informática na Educação (RBIE). É bolsista de produtividade em desenvolvimento tecnológico e extensão inovadora. Tem atuado como revisora para diversos periódicos e eventos nacionais e internacionais e orientado diversos trabalhos de graduação e pós-graduação, sempre em busca na interligação dos pilares de Pesquisa, Ensino e Extensão na universidade. Acredita que nossa área de IHC faz a diferença nas vidas das pessoas.
Tayana Conte: Professora da UFAM, graduada pela UFPA, mestre pela UFMG, doutora pela COPPE/ UFRJ, realizou pós-doc na University of California, Irvine (UCI) 2019. Terminou seu doutorado em 2009 e desde então concluiu a orientação de 28 dissertações de mestrado e 8 teses de doutorado em Computação. É autora de mais de 200 artigos publicados em conferências e periódicos. Atua no Comitê de Programa do IHC, SBES, SBQS, ICSE (2022 e 2021), ASE 2020, ESEM, CHASE, CIbSE. É revisora de vários journals e é membro do Editorial Board do EMSE (Empirical Software Engineering Journal) e JSERD. É bolsista de produtividade em pesquisa e pretende seguir melhorando sua carreira de pesquisadora =)
Roberto Pereira: Professor da UFPR, doutor pela UNICAMP e mestre pela UEM, realizou pós-doc na University of Reading, UK. Atualmente, atua também como editor na SBC JIS – Journal on Interactive Systems e como editor-chefe da SBC Horizontes Magazine. Tem atuado como revisor para dezenas de eventos e revistas nacionais e internacionais, tendo recebido prêmios de melhores revisores em alguns deles, como ICALT, WEI, IHC e EduComp. Orientador de pesquisas de mestrado e doutorado no grupo IHC UFPR, tem aprendido e refletido bastante sobre a educação em computação, sobre a formação para o ensino e a pesquisa, e sobre o nosso papel e responsabilidade na sociedade.
Como citar este artigo:
PEREIRA, Roberto; CONTE, Tayana; GASPARINI, Isabela. Cinco Princípios para uma Revisão Responsável. SBC Horizontes, outubro 2021. ISSN: 2175-9235. Disponível em: <http://horizontes.sbc.org.br/index.php/2021/10/cinco-principios-para-uma-revisao-responsavel/>. Acesso em: dd mês aaaa.
