A Avaliação Como Pesquisa, Gestão e Ação Social

Robinson Tenório

 

Diferentes autores têm dado diferentes respostas ao que é avaliação. Apresentaremos de forma sintética, uma compreensão, um conceito de avaliação.
A avaliação é uma atividade que consiste no levantamento de informações fidedignas e precisas sobre um objeto ou processo, para subsidiar uma tomada de decisão com vistas a melhoria do objeto ou processo.
Em outras palavras, a avaliação comporta três grandes momentos:

1. O primeiro momento do diagnóstico, de busca de informações de qualidade, ou seja, fidedignas e precisas;
2. O segundo momento de julgamento, de tomada de decisão, em que as informações previamente levantadas, organizadas e analisadas servirão de subsidio para uma tomada de decisão com relação ao processo em avaliação;
3. E, finalmente, faz parte ainda da avaliação, um terceiro momento que é o uso dessa decisão no sentido de melhoria do processo.

Assim, incorpora-se no conceito de avaliação a própria finalidade da avaliação.
Ao longo da história, diferentes concepções de avaliação privilegiaram apenas uma parte deste processo. O conceito de avaliação, que inclui tanto o significado quanto o campo de aplicação, é uma construção eminentemente social e histórica, que nasce gradativamente e tem se consolidado nos últimos anos à medida que as elações sociais se modificam.
Enquanto campo sistemático de conhecimentos, a avaliação emerge nos primeiros anos do século XX, e vai adquirindo diferentes conformações ao longo deste último século. Guba e Lincoln (1989) denominaram de “gerações” cada uma das quatro grandes formulações conceituais que se sucederam neste período, ou seja, avaliação como medida, avaliação como verificação de objetivos, avaliação como julgamento e avaliação como negociação. Estas concepções se sucederiam da mesma forma que se sucederam as quatro gerações (cerca de 25 anos cada) de intelectuais (avaliadores, educadores, pesquisadores, etc.) que  as conceberam.
Há um claro equívoco na escolha terminológica aqui, suscitado devido à opção dos conhecidos autores citados, e com obra largamente disseminada na área, pela palavra “geração” para indicar o desenvolvimento do conceito de avaliação. A idéia de geração sugere e indica uma sucessão de conceitos independentes, e não necessariamente uma transformação conceitual historicamente informada, na qual uma fase conceitual contribui para a formação da fase conceitual posterior.
Sem dúvida, o caso é de transformação conceitual, cada fase ampliando o significado dado na fase anterior, indicando ao mesmo tempo manutenção, dada pela absorção do significado até então dominante, e transformação, pela introdução de novo elemento simbólico na formação do conceito de avaliação. A idéia de verificar alcance de objetivos não nega, mas absorve, a idéia de mensuração, a idéia de julgamento deglute e incorpora a de medida e de alcance de objetivos, e idéia de avaliação como negociação não pode prescindir de mensuração, de verificação de objetivos e de julgamento de valores. 
Por esse motivo poder-se-ia falar em dimensões da avaliação, que correspondem a elementos constitutivos da idéia contemporânea de avaliação, e que foram reconhecidas paulatinamente, estando cada dimensão relacionada a um momento histórico. Assim, não seria mais adequado falarmos nas quatro dimensões da avaliação (medida, objetivo, julgamento e negociação) do que em gerações? Esta re-significação sócio-histórica do conceito de avaliação, que ocorre com muitos conceitos transversais, é usual, importante, e, em nossa opinião, está prestes a ocorrer novamente em avaliação: a demanda crescente dos atores dos processos avaliados efetivamente utilizarem a avaliação para a melhoria do processo parece indicar que uma nova dimensão esta prestes a emergir.
 Adotando assim a idéia de dimensão, vamos examinar o surgimento ao longo da historia das cinco dimensões da avaliação que constituem a nossa definição de avaliação.
Inicialmente, a primeira geração de avaliadores no início do século XX, primeiro momento de reflexão sistemática sobre avaliação, considerou que avaliar era medir; o papel do avaliador era o de quantificar, estabelecer medida, de aplicar testes, e, portanto, nessa primeira concepção de avaliação praticamente a avaliação se identificava com o diagnóstico quantitativo, como a atividade de medida da realidade.
Isso é claramente insuficiente, por que a avaliação deve considerar os objetivos do processo e verificar se aqueles objetivos estão sendo atingidos - e esta foi a reflexão elaborada pela segunda geração de avaliadores, já na década de cinqüenta, que avançou na compreensão da avaliação entendendo-a como sendo uma verificação da adequação ou não dos objetivos previamente estabelecidos no processo.
Desta forma, a avaliação deixava de ser simplesmente um diagnóstico quantitativo, uma medida, para ser também uma análise qualitativa da consecução dos objetivos do processo avaliado. No conjunto, avaliar significava diagnosticar o objeto, qualitativa e quantitativamente, verificando os objetivos e analisando o grau de consecução destes objetivos. Nesta concepção de avaliação, como diagnostico, a avaliação se assemelha fortemente à pesquisa, e o papel do avaliador se aproxima do papel do pesquisador.
Isto, contudo, ainda se revelou, posteriormente, insuficiente e, já nos anos setenta, a idéia de que na avaliação era preciso tomar uma decisão com  base no diagnóstico (considerando os objetivos e suas medidas)  tomou conta da nova geração de avaliadores e passou-se a ter uma idéia de avaliação mais rica, em que  o julgamento, como forma de tomada de decisão,  passou a ser essencial. O avaliador passa a ter uma função adicional semelhante a do juiz, que julga e decide com base nas evidências.
Mais recentemente, nos anos noventa, a idéia de que essa tripla concepção de medir, verificar objetivos e julgar era inadequada, e colocou  em consideração a idéia de negociação como elemento inerente a avaliação.
A critica que se coloca no tipo de tomada de decisão com base na metáfora do avaliador como juiz é o poder extremado atribuído ao avaliador, detentor do saber e guardião dos valores de referencia para julgar e decidir.  E o interesse dos avaliados?
 A demanda social colocada pela sociedade contemporânea, plural, diversa, de forte manifestação das chamadas minorias, com fortalecimento das velhas e novas tribos, do multiculturalismo, da inclusão e da tolerância, é que os envolvidos no processo devem participar tanto da definição da própria avaliação, do diagnóstico, da tomada de decisão, bem como do uso dos seus resultados.
A etapa de tomada de decisão da avaliação, assim, passa a significar não só o julgamento, os valores e a vontade de um, o avaliador juiz, mas o julgamento participativo e a decisão coletiva.

 

Figura 1: Mapa conceitual das quatro primeiras dimensões da avaliação

Avançando ainda mais na construção de um significado atual de avaliação, propomos, a partir dos próprios clamores da sociedade contemporânea, dar um passo a mais, e fazer com que os responsáveis pela avaliação e todos os interessados pela avaliação participem também da melhoria do processo proposta. Isso já seria uma quinta dimensão de avaliação, que conforma a idéia da avaliação como envolvimento, comprometimento. Tanto avaliador como interessados passam a ter compromisso com a melhoria do objeto ou processo avaliado.
Dessa maneira, o novo conceito inclui todas as outras dimensões da avaliação, porém, estende a ação avaliativa para depois da tomada de decisão, ou seja, para depois daquilo que hoje são considerados os resultados da avaliação. Portanto, inclui radicalmente um novo modo de pensar os valores dos interessados, ou seja, os resultados da avaliação deverão ser observados após a própria avaliação, portanto, a ação durante a avaliação não pode ser incólume de seus resultados finais nos tantos outros interessados, por exemplo, meio ambiente, comunidade, sociedade.

Figura 2: Mapa conceitual das cinco dimensões a avaliação

A inclusão de um novo elemento conceitual permite pensar que se inaugura uma nova dimensão, a quinta dimensão da avaliação. Trata-se da avaliação como um compromisso com a sustentabilidade.
No quadro acima também se torna evidente o triplo caráter da avaliação: avaliação é ao mesmo tempo (1) pesquisa (aspecto técnico da avaliação), (2) gestão (aspecto político da avaliação) e (3) compromisso com a sustentabilidade (aspecto social da avaliação). Vamos tratar a seguir dos aspectos: (1) avaliação como pesquisa  e (2) avaliação como gestão; o compromisso com a sustentabilidade será tratado no Capitulo 1 – Educação, avaliação  e comunidades sustentáveis: elucidações conceituais.

1 AVALIAÇÃO COMO METODOLOGIA PARTICIPATIVA DE PESQUISA

 

Como a avaliação permite o julgamento e, portanto, interpretações, sujeitos diferentes podem discordar dos resultados. O envolvimento dos interessados promove a construção mútua do conhecimento em um processo dialógico de aprendizado. A verdade é definida dentro de uma construção em que se busca, mesmo que não se alcance plenamente, o consenso. O investigador e o investigado estão interligados de forma que os achados na investigação são criações dentro do processo. Uma metodologia é participativa quando envolve  interação dialética, análise crítica e re-análise com ampla participação de todos envolvidos no processo.
Podemos dizer que o centro de uma atividade avaliativa bem sucedida depende da capacidade de envolvimento e participação da comunidade ou organização na qual ocorre o processo. Trata-se de garantir o menor teor possível de desigualdade, de exploração e de mercantilização dos valores humanos.
O cerne do labor avaliativo está no desejo político de participação, que sedimenta suas metas de democracia, de liberdade e de convivência.
Tais características toórico-metodológicas podem ser mais claramente destacadas numa metodologia participativa de pesquisa nos seguintes itens:

1. Compreensão do objeto de avaliação enquanto representação coletiva resultante de uma determinada correlação de forças da comunidade;
2. Ampla participação e envolvimento dos membros da comunidade em todos os momentos da avaliação: desde a construção do objeto até a implementação dos resultados para melhoria da qualidade.
3. Intencionalidade de aplicação local

1.1 Definição do objeto

Em primeiro lugar não se trata de uma definição de técnicas de coleta de dados e sim de uma compreensão da especificidade do objeto estudado. Trata-se de conhecer a fundo as características da estrutura da comunidade a ser estudada, aspectos peculiares, seu comportamento, sua vida em grupo. Trata-se de uma visão de mundo que busca conhecer as relações estabelecidas e que ajude a formulação de categorias teóricas sólidas acerca de aspectos como a justiça, a liberdade, a confiança, os propósitos que são fundamentais para a natureza da comunidade e que serão expressos no objeto (programa ou projeto ou política) a ser avaliado. A descrição do objeto a ser avaliado trata-se já de uma atividade participativa a partir dessa concepção. Trata-se de uma construção coletiva.

1.2 Ampla participação e envolvimento dos membros da comunidade

Trata-se de uma compreensão de que a elaboração sistemática do processo de avaliação não é apenas uma atividade de especialistas, mas um constructo coletivo a partir da participação de todos envolvidos no processo. Sem esse crença uma equipe avaliadora pode entender que essa interrelação se dá apenas como forma de capacitação dos membros da comunidade ou da organização. Trata-se de muito mais. Trata-se da necessidade de envolvimento com responsabilidade. Trata-se de fazer com que todos participem de forma consciente de todos os processos, desde a eleição dos indicadores até a elaboração dos instrumentos de coleta de dados. Somente assim pode-se garantir a participação efetiva da comunidade e o seu envolvimento com os resultados.

1.3 Intencionalidade local

O que se quer evidenciar com intencionalidade local assemelha-se às pesquisas de estudo de caso. Ganha-se com a profundidade circunstancial e perde-se com a incapacidade de generalização, entretanto, a pesquisa em avaliação não intenciona a ampla aplicação generalizada e sim a melhoria de qualidade de um processo específico. Pode-se dizer que as preocupações do método científico convencional com a neutralidade e objetividade por parte do pesquisador-avaliador, a validadade e credibilidade dos dados, os níveis de qualidade dos resultados, os tipos de vieses introduzidos pelo avaliador e pelos instrumentos de coleta de dados etc. Tais reflexões impões à pesquisa à intencionalidade da avaliação enquanto pesquisa as seguintes premissas:

1. Ameaça constante de interferência nos resultados a partir da relação pesquisador/participação/envolvimento;
2. Impossibilidade de generaliação de resultados por limitar-se a aspectos da realidade local e circunstancial, não pretendendo ser um survey embora o supere em termos de profundidade.

 

2 PLANEJAMENTO, AVALIAÇÃO E GESTÃO

Vimos que a prática da avaliação depende dos objetivos que se pretende alcançar, dos pressupostos e do perfil dos avaliadores, dos interesses institucionais e da disponibilização de recursos para a sua realização. Evidencia-se, assim, o aspecto socializador da avaliação e a necessidade da negociação como parte do processo.
Esse movimento da avaliação como negociação traz a arte de comunicar e negociar como elementos fundamentais da avaliação, configurando-se também como um processo emancipador que desenvolve a autonomia intelectual, uma vez que articula saberes e práticas do cotidiano dos educadores. Por outro lado, na atualidade, a negociação está presente no mundo do trabalho, no espaço familiar, nas relações com a comunidade e em todas as etapas do processo educativo.
O avaliador-negociador promove, através de um processo de troca e de comunicação, a definição de critérios, dos objetivos e das estratégias. Nesse processo, o avaliador envolve os diversos segmentos interessados no objeto da avaliação, para, no final, divulgar e disseminar os resultados para que estes tenham, em toda a comunidade envolvida, os efeitos desejados. Negociação em avaliação envolve, portanto, disposição para articular objetivos, metas, princípios e saberes teóricos e da prática educativa, seja na escola ou na empresa, com a finalidade de propiciar a tomada de decisões para a melhoria do processo de formação.
A avaliação nas organizações (governo, mercado e terceiro setor), instrumento fundamental da gestão, configura-se, também, como elemento de controle, de regulação e de negociação para a tomada de decisão, a partir dos resultados obtidos nos processos implementados para o desempenho de funções específicas. A negociação como forma de buscar a solução de problemas contribuirá para a tomada de decisão quanto à melhoria da qualidade dos treinamentos e do desempenho dos atores envolvidos no processo de operacionalização dos programas desenvolvidos.

Figura 3 - Diagrama de tomada de decisão
 

As novas metodologias de apoio à decisão têm um caráter sistêmico, sendo participativas e dialogadas. A tomada de decisão é uma dimensão da gestão que também está implícita na avaliação. Em qualquer processo de gestão, as decisões tomadas são ações que visam estimular e guiar os empreendedores e demais atores envolvidos no processo ao compromisso, à intervenção. Como essas ações estão sujeitas ao planejamento e à avaliação, a tomada de decisão faz parte do processo de avaliação e gestão, aproximando ambas atividades, e permitindo que se afirme que a avaliação deve sempre ser parte imprescindível da gestão.
Já o planejamento é uma atividade estruturada que consiste na análise dos propósitos de uma atividade humana, levando em conta seus políticas e recursos disponíveis. Faz parte de todo planejamento indagações no âmbito do que fazer, como, por que, quando, por quem e onde.
Devemos diferenciar o planejamento de uma mera provisão ou de um plano. A previsão é a análise e a verificação de quais situações poderão ocorrer no futuro, levando em conta uma série de fatos, de acontecimentos e de probabilidades. Consistem em fazer conjecturas ou tentar predizer de antemão o que poderá acontecer. Já o plano é a consolidação, por meio de um documento formal, dos dados desenvolvimento no planejamento.
Todo planejamento é um grande instrumento de implementação de uma atividade. É necessário que o gestor educacional tenha um controle sistemático, acompanhando e participando ativamente no desenvolvimento dos trabalhos, realizando comparações entre as situações alcançadas e as situações previstas.
Com o processo de avaliação, os líderes educacionais podem verificar se suas estratégias estão conseguindo dar o resultado desejado e se as ações estão adequadas às situações atuais. Este é o momento de reflexão e de análise sobre a necessidade de desenvolver novas ações diante dos resultados obtidos.
Planejamento, avaliação e gestão, articulados como um só instrumento, e afinados num mesmo tom, podem assegurar de forma efetiva o desempenho a ser alcançado, pois identificam erros e falhas, tendo-se a oportunidade de corrigi-los oportunamente.
Um fator relevante nesse processo é a constante participação e envolvimento das equipes sobre o desenvolvimento das atividades, tanto os resultados obtidos como nas ações reparadoras. É preciso incentivar o otimismo, a determinação e a disciplina para não perder o foco e manter o rumo a ser seguido. Ao melhorar a qualidade dos processos ou inovar uma determinada sistemática através da avaliação, os gestores levarão a educação a patamares superiores de excelência.

*      *      *

A presente publicação é resultado do trabalho coletivo do Grupo de Avaliação – GA através do desenvolvimento do Projeto Limites e Possibilidades do Uso de um Sistema de Avaliação e Seus Indicadores para a Gestão da Educação Básica com Qualidade Social. O projeto foi desenvolvido no sistema de educação municipal do Município de Teodoro Sampaio, Bahia, pelo Grupo de Avaliação da Faculdade de Educação da Ufba com o apoio da Fapesb – Fundação de Apoio à Pesquisa do Estado da Bahia.
No contexto educacional os investimentos em avaliação vêm se intensificado, o que mostra uma preocupação com o processo avaliativo e um espaço para a reflexão com os dados que são apresentados para os gestores do sistema municipal de educação, contudo ainda há pouco espaço de discussão referente à utilização dos resultados obtidos pelos gestores educacionais. Nesse sentido, a pesquisa buscou relacionar a gestão e a avaliação, principalmente porque recursos públicos estão sendo empregados no processo avaliativo da educação e isso significa diminuir os investimentos em outros campos educacionais. Assim, esse projeto nasceu da necessidade de elaboração de propostas para a utilização dos resultados das avaliações educacionais por parte dos municípios, assim como a elaboração de um software aplicativo de um sistema da avaliação. Sendo assim, a sua finalidade foi desdobrada em dois objetivos. O primeiro foi identificar e analisar os limites e possibilidades do uso de sistema de avaliação e seus indicadores, em prol da gestão do sistema municipal de educação, visando à melhoria da qualidade social da educação. E a partir do conhecimento gerado nesse momento da pesquisa, o projeto apresentou a proposta de inovação tecnológica em termos do desenvolvimento de um sistema informatizado de avaliação da educação básica do município. Esse produto foi uma inovação tecnológica, pois proporcionou  um modelo informatizado de avaliação da educação básica a ser utilizado pela gestão educacional do município e que tem a pretensão de estabelecer uma cultura de utilização das avaliações e indicadores dos processos avaliativos externos em prol da gestão da educação básica.
A metodologia utilizada teve um caráter qualitativo e quantitativo e foi realizada em dez fases denominadas na seqüência de: a estrutura do Sistema Educacional do Município, o Sistema de Gestão Educacional do Município, os estudos de avaliação nesse campo, os limites e possibilidade do uso da avaliação e seus indicadores, o modelo participativo, o uso da avaliação para gestão, a proposta técnica do aplicativo gerado com base no modelo conceitual, a implantação do aplicativo, a capacitação e a divulgação dos resultados. Para atender aos objetivos específicos foi realizado um levantamento bibliográfico sobre a avaliação e gestão no âmbito do sistema municipal de educação, dando também um enfoque à literatura que versa sobre as avaliações externas e internas em municípios, existentes no Brasil. Esse levantamento auxiliou na construção de indicadores e aprimoramento da concepção teórica que deu suporte à pesquisa de campo. Para a realização desse trabalho foram desenvolvidas análises documentais, entrevistas com a equipe gestora, um Grupo de Diálogo, entre outros.
Espera-se que esse livro abra ainda mais espaços para uma reflexão em relação a utilização dos resultados da avaliação nos Sistemas Municipais de Ensino, assim como contribua para a  percepção da importância de tomar decisões utilizando como auxilio os resultados das avaliações externas e internas.

*      *      *

A presente publicação está organizada em uma introdução e duas partes. A introdução faz uma abordagem teórica do tema da avaliação e suas relações com a atividade da pesquisa e da gestão; remete o leitor à razão de ser desta publicação enquanto relatório de pesquisa para em seguida expor sistematicamente as partes nas quais estão estruturadas o texto.  
A primeira parte: Educação, Avaliacao e Gestão, trata de aspectos conceituais das relações entre a avaliação e a gestão da atividade educativa e encontra-se estruturada nos seguintes capítulos:  Educação e comunidades sustentáveis: elucidações conceituais; A avaliação como suporte às Políticas, à Gestão e ao Planejamento;  Avaliação: implicações para a gestão escolar; Gestão escolar e comunidades sustentáveis; A Participação na visão da comunidade de Teodoro Sampaio; Concepções de avaliação da comunidade local e escolar de Teodoro Sampaio.
A segunda parte: Uso de indicadores para a gestão da educação, como o próprio título já indica, esta composta de vários capítulos que tratam da utilização de indicadores de avaliação para a gestão da melhoria da educação municipal e se compõe dos seguintes capítulos:  Usos da Informação para Gestão Educacional no município de Teodoro Sampaio; Indicadores: Ferramentas para a Qualidade em Educação; Indicadores educacionais em uso: alguns exemplos; Contribuições do Ideb para a educação do município de Teodoro Sampaio; Prova Brasil: avaliação a serviço da qualidade em educação. (Todos os capítulos da segunda parte também terão um breve comentário após a formatação definitiva).
Finalmente, nos Apêndices são apresentados o texto original do Projeto ProAge e o currículo resumido dos autores.