Antonio Luiz Pereira
Deborah Raphael
IME – USP

O ENEM (Exame Nacional do Ensino Médio) foi instituído pela portaria n^o 438, de 28 de maio de 1998, do Ministério da Educação e Desporto e tem sido realizado anualmente desde então, sob a responsabilidade do INEP – Instituto Nacional de Pesquisas Educacionais.

Os objetivos apontados na portaria 438 para a criação do exame são:

I.       conferir ao cidadão parâmetro para auto-avaliação, com vistas à continuidade de sua formação e sua inserção no mercado de trabalho;

II.     criar referência nacional para os egressos de qualquer das modalidades de ensino médio;

III.     fornecer subsídios às diferentes modalidades de acesso à educação superior;

IV.   constituir-se em modalidade de acesso a cursos profissionalizantes de ensino
médio.  

Um dado importante a destacar é o crescimento constante do número de participantes no exame e da quantidade de Instituições de Ensino Superior (IES) que o utilizam como parte do seu processo de seleção. Acreditamos que, decorridos cerca de 5 anos desde a criação do ENEM, seria bastante oportuna uma avaliação mais profunda desse exame em seus vários aspectos: adequação e cumprimento dos objetivos, influência no ensino público e privado, utilização nos processos vestibulares, etc. Entendemos que essa discussão deveria ser bastante ampla, abrangendo os envolvidos no processo: estudantes, educadores, escolas de ensino médio e superior e outros setores da sociedade civil interessados nas questões da educação no país.
Neste artigo comentamos alguns aspectos gerais da prova e algumas questões dos exames de 2002 e 2001. Nossas observações, obviamente, representam apenas nossa própria visão, certamente parcial, sobre o tema. Ficaremos satisfeitos se pudermos contribuir para iniciar um debate que entendemos ser necessário e urgente.

Ao analisar as provas propostas pelo INEP, percebe-se claramente a intenção de evitar questões mais convencionais baseadas em conteúdos específicos tradicionalmente integrantes do ensino médio. Em vez disso, o INEP propõe a avaliação de uma série de “competências e habilidades básicas próprias ao jovem e jovem adulto, na fase de desenvolvimento cognitivo e social correspondente ao término da escolaridade básica” (do Relatório Pedagógico 2001). A ênfase seria “na aferição de estruturas mentais com as quais construímos continuamente o conhecimento  e  não  apenas  na  memória ...” (mesmo documento). De fato, para ficar apenas na área de Matemática, observa-se que muitos tópicos tradicionais têm sido inteiramente deixados de fora (presumivelmente por não integrarem o rol de habilidades desejadas). Por exemplo, na prova de 2002 não aparecem questões que exijam conhecimentos sobre trigonometria, probabilidade, progressões geométricas, geometria no espaço, polinômios, etc.

Além disso, fica clara também a intenção de propor questões "realísticas" ou "contextualizadas". Formular adequadamente questões com algum conteúdo de Matemática
 

e que envolvam aspectos da vida real é uma tarefa difícil que não deve ser subestimada. Um risco aqui é o da supersimplificação para permitir o tratamento matemático com as ferramentas disponíveis. Os problemas muitas vezes acabam tornando-se “pseudo-aplicados” e a resolução obtida pouco contribui para uma compreensão e/ou intervenção no fenômeno em consideração. Outro risco, de certa forma simétrico, vem do fato de que problemas reais podem envolver questões sutis de Matemática e é necessário cuidado para não se cometerem erros conceituais

advindos de interpretações apressadas aparentemente “óbvias” (veja o comentário sobre a questão 52 de 2001). Não queremos dizer com isso que problemas desse tipo devam ser evitados; acreditamos, de fato, que desempenham um papel educacional relevante. Porém é preciso ter em mente essas dificuldades para evitar erros e ambigüidades. Acreditamos também que problemas “abstratos” ou “descontextualizados” NÃO devem ser excluídos. Afinal, já se deve esperar, na faixa etária dos participantes do exame, o desenvolvimento do raciocínio lógico-formal, o qual exerce um papel fundamental no cotidiano como unificador e organizador de conceitos.

Antes de passar ao comentário das questões queremos salientar que elas não constituem uma amostra típica. Escolhemos aquelas que chamaram nossa atenção por um ou outro motivo, entre os quais o de ilustrar as dificuldades de uma prova nos moldes propostos. Não pretendemos sugerir que problemas semelhantes ocorram na maioria das questões da prova. Ainda assim, e apesar de compreendermos as inúmeras dificuldades na elaboração dessa prova, parece-nos que a quantidade de erros e imprecisões encontrados está acima do que seria desejável em um exame dessa importância e abrangência.

A primeira questão que comentamos é da prova de 2001. Encontramos aqui problemas conceituais graves que exemplificam as armadilhas mencionadas na elaboração de questões “realísticas”.
 

Fonte: PNAD/IBGE, 1998.

A tabela apresenta a taxa de desemprego dos jovens entre 15 e 24 anos estratificada com base em diferentes categorias.  

A tabela apresenta a taxa de desemprego dos jovens entre 15 e 24 anos estratificada com base em diferentes categorias.

Considerando apenas os dados acima e analisando as características de candidatos a emprego, 
é possível concluir que teriam menor chance de consegui-lo,

(A)  mulheres, concluintes do ensino médio, moradoras da cidade de São Paulo.

(B)  mulheres, concluintes de curso superior, moradoras da cidade do Rio de Janeiro.

(C)  homens, com curso de pós-graduação, moradores de Manaus.

(D)  homens, com dois anos do ensino fundamental, moradores de Recife.

(E)   mulheres, com ensino médio incompleto, moradoras de Belo Horizonte.

Rigorosamente falando, a resposta correta à questão formulada é... NADA SE PODE CONCLUIR. De, fato há alguns problemas na formulação da questão que, aliás, ilustram bastante bem a dificuldade mencionada de propor questões “da vida real”. 

 Presumivelmente o examinador quer aferir se o estudante sabe em que regiões ficam as cidades citadas. No entanto, os dados dizem respeito às regiões e, deles, nada se pode concluir sobre as cidade sem impor hipóteses adicionais. Por exemplo, sabe-se que 25,7% dos jovens da região Sudeste está desempregada, mas poderia acontecer de todas as desempregadas serem do interior do estado de São Paulo. Assim, na cidade de São Paulo e demais estados da região haveria pleno emprego. Como nada é dito a respeito de como o desemprego é distribuído dentro de cada região, nada se poderia perguntar sobre um estado ou uma cidade específica. Um problema análogo ocorre quando se pede para comparar dados que se referem ao mesmo tempo a regiões e escolaridade. Novamente, tais dados NÃO podem ser inferidos da tabela apresentada sem hipóteses adicionais. Sabemos que estão desempregadas 27,8% das mulheres com 8 a 10 anos de escolaridade, mas não é informado como essas mulheres estão distribuídas nas diferentes regiões. De novo, num exemplo extremo, poderiam todas as desempregadas estarem concentradas nas regiões Norte e Nordeste. Assim, na região Sudeste, haveria pleno emprego para as jovens com a escolaridade citada. Na verdade, não é fácil propor uma questão a partir das tabelas apresentadas que possa ser efetivamente resolvida, sem fornecer explicitamente todas as porcentagens que se quer comparar. (O leitor pode tentar uma
formulação!)

Observamos ainda que, infelizmente, as dificuldades apontadas não foram sequer mencionadas  no relatório do INEP sobre o ENEM 2001. Seria importante entender as razões dessa omissão.

Na prova de 2002, chama a atenção o fato de que várias questões são bastante longas, contendo em seu enunciado muitas informações inúteis para a solução do problema proposto. Freqüentemente, a resolução do problema proposto é simples e o trabalho maior está em separar a informação relevante. Damos como exemplo a questão abaixo:

Os níveis de irradiância ultravioleta efetiva (IUV) indicam o risco de exposição ao Sol para pessoas de pele do tipo II – pele de pigmentação clara. O tempo de exposição segura (TES) corresponde ao tempo de exposição aos raios solares sem que ocorram queimaduras de pele. Uma das maneiras de se proteger contra queimaduras provocadas pela radiação ultravioleta é o uso dos cremes protetores solares, cujo Fator de Proteção Solar (FPS) é calculado da seguinte maneira: 

TPP = tempo de exposição mínima para produção de vermelhidão na pele protegida (em minutos).

TPD = tempo de exposição mínima para produção de vermelhidão na pele desprotegida (em minutos).

O FPS mínimo que uma pessoa de pele tipo II necessita para evitar queimaduras ao se expor ao Sol, considerando TPP o intervalo das 12:00 às 14:00 h, num dia em que a irradiância efetiva é maior que 8, de acordo com os dados fornecidos, é

A resolução dessa questão envolve uma regra de três e a leitura da tabela. Num dia de irradiância maior que 8, o tempo de exposição segura é de  20 min. Para uma exposição de 2 h (120 min), o FPS requerido é 120/20 = 6. No entanto, a grande quantidade de siglas, as informações que não serão utilizadas e uma certa imprecisão de significados (o que na tabela é chamado de TES, na fórmula é chamado de TPD) trazem dificuldades para a questão que, a nosso ver, constituem obstáculo maior do que o problema proposto em si. É claro que selecionar a informação relevante faz parte de bem solucionar o problema, mas a dosagem aqui é de suma importância. De maneira geral, essa prova apresentou muitos enunciados bastante longos com informações desnecessárias para a solução do problema. A prova fica cansativa e, muitas vezes, é difícil saber exatamente o que está sendo aferido.

Para fazer um contraponto, a mesma prova traz um exemplo de uma questão contextualizada, bastante interessante e com um enunciado simples e direto. (No Encontro da RPM, entretanto, o Prof. Geraldo Ávila observou que algumas das divisões propostas para o terreno são artificiais
.
Em suas próprias palavras: “Ninguém divide um terreno assim!”, referindo-se à alternativa (c). O comentário fez diminuir bastante nosso entusiasmo pela contextualização proposta.)  
 

Um terreno com o formato mostrado na 
figura foi herdado por quatro irmãos e 
deverá ser 
dividido em quatro lotes de mesma área. 
Um dos irmãos fez algumas propostas de 
divisão para que fossem analisadas pelos 
demais herdeiros. 

Dos esquemas abaixo, onde lados de mesma medida têm símbolos iguais, o único em que os quatro lotes não possuem, necessariamente, a mesma área é:

A questão mede algum conhecimento sobre área (o conteúdo envolvido é do ensino fundamental). O único reparo é o enunciado da questão que pode dar margem a dupla interpretação e seria melhor se fosse dito: ..., o único em que os quatro lotes podem não possuir a mesma área é:

É fácil ver que em A, C e D os quatro lotes possuem a mesma área e essas opções são logo descartadas. Mesmo que o aluno não tenha certeza do que ocorre em B, é possível perceber que em E os quatro lotes podem não ter a mesma área (por exemplo, se diminuímos o lado marcado com um traço, os lotes laterais diminuem em área, enquanto os dois lotes do meio aumentam) e que essa é a resposta correta. Uma forma de tornar a questão mais difícil e exigir do candidato que saiba analisar B seria omitir a informação de que num único caso os quatro lotes podem não ter a mesma área e deixar essa decisão para o candidato. Isso já é um problema de calibragem da dificuldade da questão. De toda forma é uma questão interessante, simples e direta que mostra que é possível elaborar boas questões contextualizadas.

A questão que citamos a seguir é do exame de 2002 e apresenta problemas no enunciado. É difícil aferir o que esta questão pretende medir  dada a dificuldade de compreender o que é pedido.

O mercado financeiro mundial funciona 24 horas por dia. As bolsas de valores estão articuladas, mesmo abrindo e fechando em diferentes horários, como ocorre com as bolsas de Nova Iorque,Londres, Pequim e São Paulo.

Considerando que as bolsas de valores começam a funcionar às 09:00 horas da manhã e que
um investidor mora em Porto Alegre, pode-se afirmar que os horários em que ele deve
consultar as bolsas e a seqüência em que as informações são obtidas estão corretos na
alternativa:

(A)  Pequim (20:00 horas), Nova Iorque (07:00 horas) e Londres (12:00 horas).

(B)  Nova Iorque (07:00 horas), Londres (12:00 horas) e Pequim (20:00 horas).

(C)  Pequim (20:00 horas), Londres (12:00 horas) e Nova Iorque (07:00 horas).

(D)  Nova Iorque (07:00 horas), Londres (12:00 horas), Pequim (20:00 horas).

(E)  Nova Iorque (07:00 horas), Pequim (20:00 horas ), Londres (12:00 horas).

No gabarito oficial, a reposta que aparece como correta é C. O mapa apresentado confunde meridianos com fusos (por exemplo, pelo mapa, Brasília e São Paulo teriam horários diferentes). Esse é um dos perigos da modelagem que citamos: uma falsa simplificação do problema de forma que os instrumentos disponíveis sejam suficientes para solucioná-lo. Nesse caso, porém, não haveria empecilho em apresentar um mapa correto dos fusos. Talvez  o que se gostaria de aferir é se o candidato sabe em que sentido a Terra gira (ou, em outras palavras, onde o sol nasce primeiro: Pequim, Londres ou Nova Iorque). A menção sobre bolsa de valores e possíveis informações que um investidor queira obter parecem nesse caso apenas uma roupagem adicionada a posteriori que acaba por tornar a questão ininteligível da forma como foi redigida.

A propósito, qual é a diferença entre os itens B e D?
 

Uma nova preocupação atinge os profissionais que trabalham na prevenção da AIDS no Brasil. Tem-se observado um aumento crescente, principalmente entre os jovens, de novos casos de  AIDS, questionando-se, inclusive, se  a  prevenção vem sendo ou não relaxada. Essa temática vem sendo abordada pela mídia:

“Medicamentos já não fazem efeito em 20% dos infectados pelo vírus HIV.

Análises revelam que um quinto das pessoas recém-infectadas não haviam sido submetidas a nenhum tratamento e, mesmo assim, não responderam às duas principais drogas anti-AIDS. Dos pacientes estudados, 50% apresentavam o vírus FB, uma combinação dos dois subtipos mais prevalentes no país, F e B”.

Adaptado do Jornal do Brasil, 02/10/2001.

Dadas as afirmações acima, considerando o enfoque da prevenção, e devido ao aumento de casos da doença em adolescentes, afirma-se que

I.     O sucesso inicial dos coquetéis anti-HIV talvez tenha levado a população a se descuidar e
não utilizar medidas de proteção, pois se criou a idéia de que estes remédios
sempre funcionam.

II.   Os vários tipos de vírus estão tão resistentes que não há nenhum tipo de tratamento eficaz
e nem mesmo qualquer medida de prevenção adequada.

III.Os vírus estão cada vez mais resistentes e, para evitar sua disseminação, os infectados
também devem usar camisinhas e não apenas administrar coquetéis.
 

Está correto o que se afirma em

(A) I, apenas.   (B) II, apenas.   (C) I e III, apenas.   (D) II e III, apenas.  (E) I, II e III.

O gabarito oficial dá como corretas as afirmações I e III. Temos vários problemas aqui.Primeiro problema: afirmar que “os infectados também devem usar camisinha, e não apenas administrar coquetéis”, parece colocar a camisinha em segundo lugar.  Em segundo lugar, não tem sentido dizer que os infectados devem “administrar coquetéis”. Em quem eles devem administrar coquetéis? A afirmação não pode ser considerada correta por não fazer sentido. Mas talvez o mais grave envolvendo essa questão é que o texto é inexato e desinforma o leitor. Não é verdade que tem havido um aumento crescente do número de novos casos de AIDS (nem no total, nem entre os jovens). Na verdade , os dados do Ministério da Saúde apontam uma dimminuição do número de novos casos, em todas as faixas etárias. A chamada da reportagem é enganosa, dando a entender que nenhum medicamento funciona em 20% dos infectados, quando o correto (segundo a própria pesquisa citada) seria concluir que dois medicamentos não funcionaram para 20% dos casos estudados, todos recém-infectados. Se o jornal em questão escolheu uma chamada mais sensacionalista, então o texto não deveria ter sido selecionado para o ENEM. Pelo menos, não a manchete sensacionalista que dá margem à desinformação.

De forma geral, as questões envolvendo algum conteúdo matemático do ENEM 2002 são mais fáceis e menos elaboradas que aquelas do ENEM 2001. Uma análise do desempenho dos candidatos no ENEM 2001, baseada em doze questões (escolhidas por apresentarem maior conteúdo matemático), revela uma média de acerto em torno de 25%. Lembramos que se trata de uma prova teste (com 5 alternativas) e, se todos chutassem a resposta, seria esperada uma média de acerto em torno de 20% (ver dados no site do INEP). No exame de 2001, uma interessante questão de Matemática envolvia o conhecimento do volume do cilindro e descrevia um processo, de fato utilizado na região amazônica, para o cálculo do volume de uma tora (veja RPM 09, 1986, onde essa questão é abordada e comentada). A média de acerto dos estudantes foi de 15%! Também é de conteúdo Matemático a questão que teve menos acerto na prova de 2001 (7%). Esses dados podem servir de reflexão a respeito do ensino da Matemática no ensino médio.

Talvez essa tenha sido uma motivação para escolher questões mais fáceis no exame de 2002. Porém, os resultados podem surpreender; vamos esperar o relatório do ENEM 2002 para averiguar se o desempenho dos candidatos foi, de fato, melhor.
 

Esclarecemos inicialmente que vemos como positiva a iniciativa da realização de um exame nacional para os alunos egressos do ensino médio. Um exame adequadamente formulado e corretamente interpretado pode ser uma contribuição fundamental para o diagnóstico e a

eventual correção de rumos da política educacional. Estamos também conscientes da dificuldade de tal empreendimento, pela sua magnitude e pelas disparidades de toda sorte que caracterizam o país e, em particular, seu ensino. Ainda assim, entendemos que o exame tal como concebido e executado tem ficado algo aquém do desafio e algumas mudanças seriam desejáveis.

O ponto que consideramos mais questionável é a decisão de excluir da prova grande partedos conteúdos tradicionais (estamos nos referindo particularmente à área de Matemática, masisso também ocorre nas demais    áreas). Ainda que os organizadores da prova não sejam muitoclaros sobre esse ponto, o ENEM tende a se tornar, na prática, não só uma espécie dediagnóstico sobre a situação do ensino médio mas também uma referência para os caminhos (e em particular programas) a serem adotados (ver entrevista da ministra interina da Educação Maria Helena Guimarães Castro ao jornal “O ESTADO DE SÃO PAULO” de 23/09/02). Esse último ponto é especialmente importante em vista da inexistência de uma diretriz nacional clara para os currículos dos cursos de nível médio, já que os PCNs (Parâmetros Curriculares
Nacionais), apesar de colocarem uma proposta clara e articulada de objetivos e métodos, são bastante vagos quanto aos conteúdos mínimos a serem abordados. Além disso, entendemos que a própria exclusão no ensino médio de tópicos importantes para sua formação posterior indica para o estudante uma certa desvalorização do “saber acadêmico” um tanto difícil de compatibilizar com a motivação desejável para o prosseguimento dos seus estudos.

Além disso, não acreditamos que o ensino dos conteúdos tradicionais possa ser um empecilho ao desenvolvimento intelectual e aquisição das habilidades desejáveis. Ao contrário, muitos dos temas tradicionais de Matemática (para ficar em nossa área de competência) estão provavelmente entre os mais propícios tanto para a criação de bons hábitos de trabalho como para o desenvolvimento do raciocínio em suas várias formas.

Uma outra questão a considerar é a adequação do ENEM nos processos seletivos para o ensino superior. Um primeiro inconveniente aqui é a baixa capacidade de discriminação do exame nas faixas de desempenho mais altas. Por exemplo, entre os 1535 candidatos chamados para a segunda fase do vestibular da  FUVEST na carreira Medicina e Ciências Médicas, o número de pontos obtidos no ENEM varia (de um total de 63 pontos) de 49 a 63 e a média é de 56,55 pontos. Outro problema é que muitos dos tópicos não avaliados no exame são tradicionalmente considerados pré-requisitos nos cursos superiores; excluir tais tópicos num exame de ingresso pode acabar criando a necessidade de incluí-los na grade curricular do ensino superior.

Para terminar reafirmamos nosso ponto de vista de que o exame proposto tem prestado um apreciável serviço ao apontar dificuldades básicas na preparação dos alunos de nossos cursos médios. Entretanto, para que o exame possa cumprir adequadamente o duplo papel de diagnóstico do ensino médio e seleção para as instituições de ensino superior, seria necessário incluir questões que contemplem um espectro mais amplo de conhecimentos. Por outro lado, em vista dos resultados obtidos na prova tal como está, pode ser irrealista propor para todos os estudantes uma prova mais aprofundada. Uma possível saída seria oferecer dois ou mais níveis de prova. O formato atual poderia ser adequado para verificar a aquisição de um repertório mínimo de “habilidades e competências” que se considere necessário para uma atuação mais informada do cidadão na sociedade moderna. Uma segunda prova, mais exigente quanto aos conteúdos do ensino médio, poderia atender melhor aos interesses de seleção para o ensino superior e, talvez mais importante, indicar as metas a serem perseguidas pelo nosso ensino médio.