Classici moderni della valutazione - Seminario partecipato di lettura critica

Ciclo: Valutazione Second Life: Analisi e simulazioni di valutazioni
coordinato da Laura Tagle

"Io credo che il valutatore flessibile e sensibile possa spostarsi da un paradigma all'altro all'interno di un singolo setting di valutazione. Nel fare questo, un valutatore così flessibile e aperto può osservare gli stessi dati dalla prospettiva di ciascun paradigma, ed aiutare i seguaci di ognuno dei paradigmi ad interpretare i dati in più di un modo"
(M.Q. Patton, "Il dibattito sui paradigmi", in Classici della valutazione, a cura di N. Stame, FrancoAngeli, 2007, p. 228)

L’obiettivo del modulo è di fissare gli apprendimenti realizzati negli scorsi due cicli del Seminario "Classici della Valutazione" provando, con il beneficio del sostegno del gruppo, a contestualizzarli in relazione con compiti concreti di valutazione. Il ciclo di seminari, che diversamente dagli altri è disperso nel tempo, richiede ai partecipanti un investimento iniziale, con cui capitalizzare gli apprendimenti realizzati nelle precedenti edizioni del seminario sui classici. Durante ciascun seminario, infatti, si richiede ai partecipanti di assumere, individualmente o insieme ad altri, l'"identità" di un teorico della valutazione: tale scelta è libera, può cambiare da sessione a sessione, ma deve essere comunicata all'atto della registrazione.
Ciascun incontro verterà su una valutazione pubblicata avente per oggetto un intervento o un insieme di interventi di politica regionale. Il materiale verrà volta per volta inviato ai partecipanti registrati in tempo per prepararsi alla sessione. La sessione consisterà in una brevissima presentazione, in una simulazione e, in alcuni casi, nella predisposizione, individuale o collettiva, di materiali (p.e., disegni di valutazione, relazioni di Steering Group, rapporti di metavalutazione, etc.).

23 febbraio 2010, 15-17
Introducono e moderano: Laura Tagle e Marina Forestieri
Scelta del Classico
Presentazione

13 ottobre 2010
Introducono e moderano: Laura Tagle e Marina Forestieri

Ciclo: Le revisioni sistematiche per lo sviluppo di politiche basate sulle “evidenze”: analisi dei principali approcci e prospettive
coordinato da Liliana Leone

Le revisioni sistematiche della letteratura sono metodi che si sono sviluppati per identificare, stimare e sintetizzare le evidenze offerte dalla letteratura in merito agli esiti dei programmi. Esse sono ampiamente utilizzate e/o "invocate" per supportare processi decisionali basati sulle evidenze e sono state utilizzate in molti ambiti di policy. Le conoscenze prodotte dalle revisioni sistematiche vengono diffuse e tradotte in linee guida allo scopo di promuovere decisioni politiche e pratiche professionali maggiormente informate. Una delle questioni più discusse riguarda la natura delle evidenze, il tipo di generalizzazioni inferibili dalla valutazione di programmi e le metodologie adeguate utilizzabili nel processo di cumulazione delle conoscenze. Non tutti, però, concordano con il fatto che le revisioni sistematiche siano strumenti desiderabili; poiché diverse argomentazioni sono frutto spesso di fraintendimento e scarsa conoscenza circa la storia e i metodi delle stesse, un obiettivo del laboratorio è permettere ai partecipanti di esplorare con maggiori cognizioni le diverse criticità e le prospettive per il superamento delle stesse.

30 marzo 2010, 15-17
La meta-analisi
introducono: Liliana Leone e Roberto Celentano
I laboratorio. Le meta-analisi: cosa sono, utilizzi, trucchi e suggerimenti per riconoscere le bufale, di Liliana Leone (pdf)
La revisione sistematica e la meta-analisi. Linee guida della Campbell Foundation, di Roberto Celentano (pps)
riferimenti:
Campbell Foudation, "Systematic Reviews Guidelines for the Preparation of Review Protocols" (rtf)
Higgins JPT, Green S (2005), Cochrane Handbook for Systematic Reviews of Interventions Version 4.2.5 (rtf)
Jefferson Tom (2006), Attenti alle bufale. Come usare la evidence-based medicine per difendersi dai cattivi maestri, Il pensiero Scientifico Editore, Presentazione
Petticrew M. (2003), "Why certain systematic reviews reach uncertain conclusions" (rtf), British Medical Journal, 5 Apr 2003, 756-758

20 aprile 2010, 15-17
Le narrative reviews
introducono: Liliana Leone e Veronica Lo Presti
II laboratorio. Narrative Review e sintesi narrative, di Liliana Leone (pdf)
Aspetti metodologici delle Narrative Review: l'implementazione di interventi per la prevenzione degli incendi, di Veronica Lo Presti (pdf)
Le narrazioni nel servizio sociale: A critical review, di Laura Taronna (pdf)
riferimenti
Popay, J., Roberts, H., Sowden, A., Petticrew, M., Arai, L., Rodgers, M. and Britten, N. with Roen, K. & Duffy, S. (2006). Guidance on the conduct of narrative synthesis in systematic reviews. Final report, Institute of Health Research, Lancaster: ESRC Methods
Rodgers M. et Al. (2009), “Testing Methodological Guidance on the Conduct of Narrative Synthesis in Systematic Reviews”, Evaluation, Vol. 15, No. 1, 49-73 DOI: 10.1177/1356389008097871
Arai, L., Britten, N., Popay, J., Roberts, H., Petticrew, M. , Rodgers, M., Sowden, A. (2007), “Testing methodological developments in the conduct of narrative synthesis: a demonstration review of research on the implementation of smoke alarm interventions”, Evidence & Policy: A Journal of Research, Debate and Practice, Volume 3, Number 3, pp. 361-383(23)
Popay J., Williams G., “Qualitative research and evidence-based healthcare”, Journal of the Royal Society of Medicine, Supplement No. 3 5 Volume 91, 1998

17 giugno 2010, 15-17
I nuovi approcci: la proposta della sintesi realista
introducono: Liliana Leone, Daniela Ferrazza, Laura Fantini e Nicoletta Stame
Pawson R., Reviewing inner mechanisms: youth mentoring, di Laura Fantini e Daniela Ferrazza (pps)
Le sintesi realiste, di Nicoletta Stame (pdf)
Le sintesi realiste, di Liliana Leone (pdf)
Pawson, Evidence Based Policy, cap. 4(pdf)
Pawson, Evidence Based Policy, figure cap. 4(pdf)
Pawson, Evidence Based Policy, cap. 4(pdf)
Pawson, Evidence Based Policy, figure cap. 6(pdf)
riferimenti:
Leone L. (2007), “Review sistematiche, sintesi theory-driven e utilizzazione delle evidenze. Il caso dei programmi di prevenzione”, Rassegna Italiana di Valutazione, n. 35
Pawson R. (2006), Evidence Based Policy, Sage, London
Pawson R., Boaz A. (2006), "Evidence-based policy, theory-based synthesis, user-led reviews", ESRC UK Centre for Evidence Based Policy and Practice, London
Petticrew M. (2003), “Why certain systematic reviews reach uncertain conclusions”, British Medical Journal, 5 Apr 2003, 756-758

16 novembre, 15-17
I diversi tipi di sintesi e l'utilizzazione delle evidenze nel ciclo di policy
presentano Liliana Leone e Nicoletta Stame

Ciclo: La valutazione come analisi del valore
coordinato da Barbara Befani

Il ciclo si propone di collocare la valutazione nell'ambito delle attività umane (scientifiche e produttive) anche dal punto di vista storico (valutazione rudimentale vs. valutazione sofisticata), sottolineando la logica e i principi comuni che sottintendono tutte le valutazioni nei vari campi e nelle varie epoche

gennaio 2011, data da stabilire
L’analisi del valore nelle scienze e nelle attività umane
cubo di Scriven; esempi da diverse scienze e attività; aspetti storico-filosofici - oggettività / soggettività, possibilità di valutazione scientifica; rudimentalità / sofisticatezza della valutazione
introducono: Barbara Befani e Serenella Stasi
riferimenti:
Chappell T. (2009), Ethics and Experience: Life Beyond Moral Theory, Acumen
Corin C., Hattie J. (2006), "The Transdisciplinary Model of Evaluation", in Journal of Multidisciplinary Evaluation, 3(4)
Scriven M. (2009), The Domain of Evaluation (manoscritto)
Scriven M. (2003), "Evaluation in the new millennium: the transdisciplinary vision", in S.I. Donaldson, M.Scriven Evaluating social problems: visions for the new millennium, Routledge
Scriven M. (1980), The Logic of Evaluation, Inverness CA, Edgepress

febbraio 2011, data da stabilire
L’analisi scientifica del valore
criteri di merito; standard; sintesi; aspetti dinamici e di confronto - come cambiano i valori? introducono: Barbara Befani e Alessandra Decataldo
riferimenti:
Davidson, J. (2005), Evaluation Methodology Basics, Sage
Befani, B. (2010), "Criteria and Theory in the Evaluation of Organisations", Evaluation, di prossima pubblicazione

marzo 2011, data da stabilire
La costruzione scientifica dei criteri di merito: la proposta dell'appreciative inquiry
rapporto tra approccio dell'AI e valutazione, la costruzione dei criteri di merito nei modelli 4-D e 4-I, analisi di un esempio di valutazione con l'approccio dell'AI
introducono: Barbara Befani e Veronica Lo Presti
riferimenti:
Preskill, H.T., Tsavaras Catsambas T. (2006), Refraiming Evaluation Throught Appreciative Inquiry, London, Sage