Case: Avaliação de programas de inclusão produtiva e transferência de renda no meio rural no Estado da Bahia 

Quando falamos em avaliação de impacto de um programa social, estamos falando sobre o desafio de escolher a melhor técnica para aferir quais foram as mudanças verificáveis que foram, com alto grau de confiança, produzidas pelo programa, e não por fatores externos. Grande parte do trabalho de avaliação de impacto é enfocado em entender o que de fato mudou e qual foi o nível de contribuição do programa para as mudanças identificadas.

Para isso existem dezenas de metodologias disponíveis, que devem ser escolhidas de acordo com as questões avaliativas, os recursos disponíveis e o horizonte temporal. A avaliação de impacto deve ser realizada de modo pragmático e de acordo com o contexto operacional do programa.

Embora o termo “impacto” seja amplamente utilizado no universo da avaliação de programas sociais, o termo deve ser usado com cautela: o impacto é a mudança social que foi gerada pela ação programática, e deve considerar métodos para desprezar mudanças (positivas e negativas) devidas a contextos externos, e que, portanto, estão fora do controle do programa.

Podemos citar como exemplo, um programa de aumento de renda em comunidades rurais em que, após dois anos de programa, o financiador realizou uma avaliação e detectou de fato um aumento na renda em comparação com a linha de base. Todavia, ao comparar com outras comunidades em que o programa não atua, foi verificado que a renda aumentou ainda mais, fator devido a programas de renda estaduais e novos investimentos no território. Ou seja, neste exemplo, o impacto do programa deve ser repensado à luz da comparação com outras regiões. Termos mais complexos como “grupo de controle” e “tratamento”, e “contrafactual” são sempre usados neste contexto, de entender quais foram as contribuições especificas do programa, diretamente atribuíveis a ele.

Acreditamos que avaliações de impacto devem mesclar elementos qualitativos e quantitativos, com uso de técnicas narrativas e econométricas, triangulando resultados para obter fotografias mais claras sobre os resultados do programa avaliado. 

Case de aplicação: Usando o Índice de Progresso Social (IPS) na área de influência de empresas
Parceiros: Fundación Avina, Klabin S/A, IPARDES

Neste projeto, desenvolvido pelo Banco Mundial, o foco foi a avaliação do impactos de programas de inclusão produtiva e transferência de renda para o meio rural, tanto federais com estaduais, no Estado da Bahia. Neste projeto foram focalizados quatro eixos fundamentais para o desenvolvimento de programas, que são a focalização, o provimento, a coordenação e integração e, por fim, o monitoramento e avaliação de resultados.

A metodologia empregada foi mista, sendo a participação de membro da Anattá no desenvolvimento do estudo quantitativo. No estudo quantitativo foram coletados e analisados dados de disponibilidade de ATER, de distribuição de Cisternas, acesso ao Pronaf, Garantia Safra, aquisição em PAA e PNAE, e a programas como o Produzir. Foram também desenvolvidos estudos sobre condições socioeconômicas de beneficiários de programas inscritos no CadÚnico. Os resultados da análise quantitativa, associados à análise qualitativa, permitiu a composição de um quadro analítico profundo sobre os programas avaliados. Parte dos resultados foi publicada em: https://www.academia.edu/42187247/PSIA_Estudo_de_Impacto_dos_Programas_de_Inclus%C3%A3o_Produtiva_e_de_Transfer%C3%AAncia_de_Renda_o_caso_da_Bahia_Relat%C3%B3rio_Final