Podcast: Play in new window | Download (Duration: 36:51 — 16.9MB)
Zapisz się! Apple Podcasts | Email | RSS
Zapraszamy do prezentacji, którą wykorzystaliśmy w trakcie warsztatów o mierzeniu wpływu społecznego sportu. Odpowiada na pytania:
– Co to jest wpływ społeczny?
– Jak można rozumieć wpływ społeczny sportu / organizacji sportowych?
– Jak zabrać się do mierzenia wpływu społecznego?
Omawiamy też pięciostopniową sekwencję, porządkującą podejście do mierzenia wpływu społecznego, którą na bazie swojej organizacji / projektu może przerobić słuchacz.
Warsztaty odbyły się pod koniec czerwca 2019, prowadzili je Aleksandra Gołdys i dr Paweł Zembura z Centrum Wyzwań Społecznych Uniwersytetu Warszawskiego.
Co to jest wpływ społeczny?
“logiczne następstwo efektów, w którym wkład (zasoby) i działania organizacji prowadzą do produktów, rezultatów i finalnie do osiągania wpływu społecznego” (Ebrahim i Rangan, 2010)
Dlaczego warto mierzyć wpływ społeczny?
LINK do artykułu na sportimpakt
Transkrypcja
Jak mierzyć wpływ społeczny w sporcie i dla organizacji sportowych – wstęp
W tej prezentacji chcę przekazać informacje o podstawach mierzenia wpływu społecznego w kontekście sportu: przede wszystkim dla organizacji sportowych i przede wszystkim w ujęciu projektowym. Celem jest uporządkowanie procesu mierzenia wpływu i rzucenie światła na to, jak taki proces może wyglądać.
Jest to nagranie prezentacji, z której korzystałem w trakcie pierwszych takich warsztatów dla organizacji sportowych, które zrealizowaliśmy pod koniec maja 2019. Prowadziłem je ja czyli Paweł Zembura i moja koleżanka z Centrum Wyzwań Społecznych Uniwersytetu Warszawskiego Aleksandra Gołdys, która zgodnie z moją wiedzą ma największe doświadczenie w ewaluacji programów sportowych w Polsce. Kierowała m. in. ewaluacjami programów Orlikowych, programów społecznych UEFA 2012 w trakcie Mistrzostw Europy w Piłce Nożnej, czy wielu programów Ministerstwa Sportu i Turystyki w ramach programu Sportu Wszystkich Dzieci.
Oboje mamy doświadczenie w analizie wpływu, wykraczającej poza obszar sportu.
Pytania, na które postaramy się odpowiedzieć w tej prezentacji:
– Czym jest wpływ społeczny?
– Co wiemy o wpływie społecznym sportu?
– Jak można mierzyć wpływ społeczny? – przejdziemy też przez 5 elementów programu, które stanowią taki wstęp do mierzenia wpływu
Zachęcam do przerobienia ich w trakcie prezentacji we własnym zakresie – to znaczy w odniesieniu do programu czy organizacji, którą się słuchaczu zajmujesz.
Nie będziemy natomiast wchodzili w techniczne szczegóły mierzenia wpływu – np. metody badań czy wskaźników, które stanowią nieodłączny element mierzenia wpływu. To znaczy – prezentacja jest dla przedstawicieli organizacji, nie dla naukowców.
Zacznijmy od definicji. Ogólnie, definicji wpływu społecznego jest bardzo wiele, nie ma też pojedynczej definicji w odniesieniu do obszaru sportu. Można wspomnieć, że definicje różnią się zakresem (czyli, tym jak rozumiany jest termin „społeczny”) oraz tym, czy koncentrują się na literaturze z zakresu zarządzania projektowego, czy może ogólniejszej teorii zarządzania – w odniesieniu do organizacji. W takim ujęciu projektowym, można powiedzieć, że jest to:
„logiczne następstwo efektów, w którym wkład (zasoby) i działania organizacji prowadzą do produktów, efektów i finalnie do osiągania wpływu społecznego”
W dokumentach UE np. o podmiotach ekonomii społecznej wpływ rozumiany jest natomiast przez to, w jaki sposób działanie wpływa na zamierzonych beneficjentów.
Co istotne, wpływ może być pozytywny, jak i negatywny. Wpływ może być też zaplanowany, jak również niezaplanowany.
Wpływ społeczny można ogólnie rozumieć jako długotrwałe rezultaty, jaki organizacja czy program ma na społeczeństwo i środowisko. Myśląc o mierzeniu wpływu patrzymy na ten rezultat jako na proces, który prowadzi do następujących po sobie efektów, będących właśnie wynikim działań organizacji czy pojedynczego programu.
W praktyce trochę inaczej wygląda badanie wpływu “projektu” i organizacji, szczególnie takiej, która działa od dłuższego czasu – bo jest ta perspektywa czasowa i trzeba analizować retrospektywnie. Natomiast w przypadku badania wpływu jakiegoś projektu nasza analiza może przybrać po prostu formę eksperymentu czy, bardziej realnie – quasi-eksperymentu, w którym porównujemy co się zdarzyło np. w efekcie wdrożenia programu z sytuacją, w której nie został on wdrożony. Staramy się przez to wyodrębnić efekty naszego programu od innych zewnętrznych czynników.
Łatwiej wpływ społeczny – wyjaśnić na diagramie. Wyobraźmy sobie, że organizacja prowadzi prosty program, którego celem jest nauka kompetencji ruchowych i szerzej rozumiane zaszczepienie aktywnego trybu życia w grupie dzieci, które prowadzą siedzący tryb życia i nie mają dostępu do wielu opcji aktywnego spędzania czasu wolnego.
Oto model logiczny (lub łańcuch przyczynowy), który przedstawia za jakim pośrednictwem działania skutkują wynikami z wykorzystaniem zasobów (nakładów). Stanowi on zarówno plan osiągania wyników, jak i wyjaśnienie sposobu, w jaki wynik osiągnięto (wyjaśnienie post factum).
Obejmuje on z jednej strony zasoby i aktywności organizacji, z drugiej założone efekty krótko i długoterminowe.
Te efekty powinny mieć między sobą relacje – to znaczy docelowo jeden efekt np. będący bezpośrednim rezultatem projektu – jak osiągnięcie kompetencji gry w piłkę siatkową, miałby się przełożyć np. na wyższe poczucie kompetencji ruchowej dziecka (subiektywną ocenę, że dobrze sobie w tej grze radzi) i w jeszcze bardziej odległym czasowo terminie – większą jego aktywność fizyczną.
Właśnie – co to są te efekty, które będą się przewijały przez prezentację?
Za dokumentem Standardy Mierzenia Wpływu Społecznego przyjęliśmy definicję „efektów” programu jako „korzyści, które program ma przynieść, lub zmiany, jaką ma wywołać”. Efektem może być na przykład zmiana zachowania, wiedzy, umiejętności, postaw, warunków życia lub innych cech jednostek albo społeczności. „Efekty” są wynikiem prowadzonych w programie (projekcie) „działań”, czyli jej aktywności i dostarczonych „produktów” (na przykład szkoleń, konferencji, konkursów, spotkań, lekcji, akcji).
O ile mówiąc wpływ przyjęło się przede wszystkim myśleć o długoterminowych efektach warto powiedzieć, że mierzenie wpływu zakłada również analizę samych aktywności czy bezpośrednich efektów i produktów projektu czy organizacji (czyli również tej części organizacyjnej).
Na tym wykresie chciałem też zebrać różne terminy określające poszczególne elementy modelu logicznego z ich anglojęzycznymi odpowiednikami.
W literaturze przewijają się różnorodne rozumienia słowa outputs, outcomes i impact. Outputs to zwykle te bezpośrednie produkty programu, outcomes – efekty krótkoterminowe a impact – docelowe efekty. Nie będę się jednak koncentrował tu na słownictwie, tylko uczulam na to zagadnienie w innych publikacjach.
Jeśli mielibyśmy powiedzieć o pojedynczym wyzwaniu, które wpływa na to, że mierzenie wpływu społecznego nie jest w wielu krajach i kontekstach popularne, to jest to problem z ujednoliceniem metodologii, wskaźników i języka, które ograniczają możliwości odniesienia danej organizacji czy projektu do szerszego kontekstu.
Wpływ społeczny będzie na przykład specyficzny dla danej branży. Dziś rozmawiamy o sporcie, gdzie można z całym przekonaniem stwierdzić, że prób podsumowania i kwantyfikowania wpływu społecznego sportu jest coraz więcej. Obszarem, który otrzymuje takie zainteresowanie jest na przykład sport wyczynowy. Nie jest bowiem przypadkiem, że rozwinięte kraje coraz rzadziej ubiegają się o duże wydarzenia sportowe, a nawet jeśli chcą je podejmować politycy, to spotyka się to z dużym oporem lokalnej społeczności. Wynika to właśnie z tego, że kwestionowane są korzyści z takiego goszczenia imprez, a analizy dotyczące ich dziedzictwa np. Igrzysk Olimpijskich w Londynie czy Mistrzostw Świata w piłce nożnej w Brazylii pokazują, że ich wartość dla społeczności jest bardzo ograniczona… To co mieszkańcy sami identyfikują znajduje też podstawę w opracowaniach naukowych.
Oto przykład takiego podsumowania wpływu społecznego sportu wyczynowego autorstwa de Bosscher wraz z De Rycke (2019). Można w nim zauważyć, że tych potencjalnych obszarów wpływu jest wiele, natomiast nie charakteryzują one wyłącznie pozytywnych zmian. Zwracam też uwagę, że potencjalna analiza – czy to klubu sportowego, czy właśnie goszczenia dużej imprezy, musi uwzględnić tą złożoność, nie może być wybiórcza.
Inną analizę prowadził zespół z Uniwersytetu w Sheffield Hallam, który na zlecenie Department for Culture, Media and Sport (DCMS) m. in. Sport England. – starał się pokazać potencjalny wpływ społeczny sportu dla wszystkich. W analizie chodziło to takie przeanalizowanie potencjalnego wpływu przede wszystkim programów sportowych, które następnie ułatwiłoby opisanie ich ujednoliconymi wskaźnikami i zmierzenie ich efektywności w konkretnych obszarach. Oto przykład: efektywność 12 miesięcznego programu skierowanego do grupy nieaktywnych fizycznie seniorów w wieku między 65 a 75 rokiem życia można z jednej strony opisać zmianą ich samopoczucia, subiektywnego postrzeganego zdrowia, jak również tym, że rzadziej upadają a w rezultacie – rzadziej korzystają ze służby zdrowia albo dłużej żyją w zdrowiu.
Z praktycznej strony mierzenie wpływu jest zazwyczaj częścią ewaluacji.
Ewaluacja w takim bardzo ogólnym spojrzeniu – to proces refleksji nad sensem naszych działań (Ostrowski, Wiśnicka).
Jeśli mierzymy wpływ programu, to można w ramach badania ewaluacyjnego zadać właśnie pytania o skutki (społeczne) czy efekty działań, korzyści dla beneficjentów w krótkim czy dłuższym terminie, oraz – czy program przyniósł jakieś skutki uboczne.
Skoro wiemy już ogólnie, czym jest wpływ społeczny, można zastanowić się, po co jego analiza może się przydać samej organizacji.
Zakładając, że zależy nam na możliwie efektywnym działaniu można stwierdzić, że podstawowym celem analizy wpływu społecznego jest szansa na podniesienie naszej skuteczności w osiąganiu efektów, które zakładamy.
Badanie wpływu – jak ewaluacja – umożliwia nam spojrzenie zewnętrznymi oczami na nasze działania, pozwala często uzmysłowić sobie założenia, które wykorzystujemy na co dzień w naszej pracy, a niekoniecznie są uświadomione.
Oto przykład. Pracowaliśmy z organizacją, której działania opierały się na pracy z trenerami- liderami młodzieży, gdzie wielką rolę w osiąganiu celów programu – czyli większego wsparcia społecznego dzieci i młodzieży z środowisk, które można nazwać trudnymi – odgrywał styl pracy trenera: zainteresowanie, które okazywał on tej młodzieży, jak również to, że dbał on o integrację swojej grupy i poświęcał temu czas. Wpisuje się to w teorie, które pokazują, że do osiągania celów społecznych zajęcia sportowe są tylko pretekstem czy kontekstem, a ważne jest realnie to jak wygląda właśnie takie wsparcie w najbliższym środowisku dziecka. Badanie wpływu pomogło upewnić się w takim modelu działania i zrewidować program tak, aby trenerzy poświęcali więcej czasu i uwagi wsparciu dzieci a także byli edukowani o tym, jak lepiej prowadzić ten proces.
Nie do przecenienia jest również wartość mierzenia wpływu społecznego w kontekście komunikacji działań organizacji. Pozwala bowiem na pokazanie bardzo konkretnych efektów działań, w przeciwieństwie do sytuacji, w której operuje się jakimiś mniej lub bardziej ogólnymi celami. To przydaje się choćby w relacjach z dojrzałymi grantodawcami, którzy porównują projekty w kontekście osiągania przez nie założonych celów.
Mierzenie wpływu społecznego umożliwia również skoncentrowanie się na efektach, a nie bezpośrednich produktach działań, co jest niestety w Polsce nagminne. Organizacje – w tym te największe – charakteryzują swoje sukcesy jako robienie czegoś np. przeprowadzenie 100000 zajęć WF, zamiast przekazania, co w ich wyniku się zmieniło. Wyobraźmy sobie, że pracownik ma samodzielne stanowisko sprzedażowe. Gdy szef chce go rozliczyć i pyta – jakie są efekty Pana pracy pracownik odpowiada, że przychodził do niej codziennie. Tak można opisać to raportowanie liczby przeprowadzonych zajęć zamiast odniesienia do efektów pracy – w tym przykładzie – np. liczby pozyskanych klientów.
Mamy za sobą cześć teoretyczną a teraz możemy przejść do praktycznej części warsztatów.
W tym celu wykorzystamy model, który ułatwia systematyczne spojrzenie na mierzenie wpływu.
Przejdziemy przez 5 obszarów problemowych, których dodefiniowanie jest kluczową składową mierzenia wpływu społecznego.
Bazuję tu na pracy Aleksandry Gołdys i Marii Rogaczewskiej z Centrum Wyzwań Społecznych UW i Łukasza Ostrowskiego z publikacji Standardy Mierzenia Efektów Działań dla Forum Darczyńców. Nie ma pojedynczego modelu prowadzącego do „prawidłowej” analizy, ten model ułatwia nad nimi pracę i jest „sprawdzony w boju”.
Modele mierzenia wpływu społecznego przypominają niejednokrotnie pracę nad rozpisywaniem samych projektów. Kluczowa ich cecha to, że są oparte o teoretyczne podstawy – czyli gdy zakładamy jakiś efekt, to musimy mieć uzasadnienie teoretyczne. Jeśli go mamy w ogóle osiągnąć – to muszą być przesłanki do jego osiągnięcia w aktywnościach. Mierzenie wpływu społecznego to praca dokładna i wymagająca bardzo dobrego zrozumienia otaczającej nas rzeczywistości – tak jak tworzenie interwencji.
Jeśli myślisz o mierzeniu wpływu społecznego – zastanów się nad tymi zagadnieniami i pytaniami w stosunku do swojego projektu czy organizacji.
To co jest istotne – to fakt, że praca nad mierzeniem wpływu społecznego w rzeczywistości powinno być ciągłym procesem, będącym motorem do ulepszania naszych programów.
Sekwencja mierzenia wpływu społecznego
Po pierwsze – próbujemy zdefiniować problem, jaki chcemy zaadresować. Aby móc to zrobić nie wystarczy perspektywa pojedynczego człowieka. Definicja problemu wymaga bardzo dobrego rozpoznania sytuacji.
Konsultujemy więc odpowiedzi na pytania dotyczące problemu z innymi interesariuszami, którzy mają być zaangażowani w projekt, jak również z samymi beneficjentami projektu. Patrzymy, jak inne organizacje, działające w obszarze podobnym do naszej, definiują problem. Słuchamy, jakie są jego składowe.
To, w jaki sposób organizacja rozumie problem zwykle pomaga określić, czy w ogóle jej działania mogą go efektywnie adresować. Im bardziej złożony problem, tym więcej jest zwykle jego przyczyn i tym większą pracę na tym etapie trzeba wykonać. To znaczy – nie chodzi oczywiście o to, aby następnie adresować wszelkie składowe problemu, ale być z stanie zdefiniować, czego w danym kontekście jest on pochodną.
Istotne jest też ścisłe określenie grupy docelowej – kogo dokładnie dotyka problem i do kogo chcemy kierować nasze działania.
Diagnoza to zrozumienie rzeczywistości, w której działamy.
Musimy wiedzieć i rozumieć, co się dzieje w obszarze, którym się zajmujemy i w jego najbliższej okolicy. Robimy to, żeby być lepiej przygotowanymi do kolejnych etapów mierzenia naszego wpływu. Musimy wiedzieć co robią inne organizacje, jak wygląda „krajobraz” wokół problemu, kto jest potencjalnym wartościowym partnerem.
Teoria zmiany jest uproszczonym modelem, ale uwzględnia następujące po sobie efekty działań – przyczynowo – skutkowe relacje (założenia), które muszą się dokonać, aby osiągnąć zakładane cele – aby wizja stała się rzeczywistością. Czyli – staramy się zrozumieć mechanizmy zmiany.
Teoria zmiany to nasza hipoteza dotycząca sytuacji w danym obszarze, którą chcemy zmienić, i mechanizmów wywołujących tę sytuację. Mamy swoją teorię zmiany często nieświadomie i posługujemy się nią intuicyjnie, na przykład wydaje się nam, że dzieci nie chcą się uczyć matematyki, ponieważ jest trudna (z badań wynika, że powodem jest raczej zaniedbywanie uczenia się podstaw matematyki na bardzo wczesnym poziomie i podprogowe negatywne nastawienia do matematyki). Teoria zmiany to stworzony na podstawie rozumienia przyczyn mechanizm wprowadzania zmiany. Teoria zmiany jest tworzona, gdy rozumiemy, co zrobić, żeby zaszła zmiana
Łatwiej pokazać to jeszcze raz na wykresie, gdzie mamy jasne relacje między kolejnymi, następującymi po sobie efektami. Każda ze strzałek na tym wykresie to realnie hipoteza badawcza, którą będziemy przyjmować albo odrzucać w naszym badaniu wpływu.
Czyli na poziomie między aktywnościami a efektami krótkoterminowymi będziemy sprawdzać, czy udział w programie ukierunkowanym na rozwój umiejętności życiowych (np. komunikacji) będzie rzeczywiście na te umiejętności oddziaływał. Dalej, czy te wyższe umiejętności życiowe, połączone z wyższą samooceną będą prowadziły do większej otwartości na doświadczenia zawodowe jak wolontariat. Wreszcie, na ile różnorodne
Teoria zmiany powinna nas w kolejnym kroku doprowadzić do operacyjnego modelu interwencji, czyli schematu tego, co będziemy robić. Musi być to spójne z teorią i odkryciami z diagnozy (czyli z krokiem drugim i trzecim). Cały czas pilnujmy, czy nie gubimy z pola widzenia naszego wstępnego celu, czyli pierwotnego powodu naszych działań. Model interwencji jest, innymi słowami, opisaniem naszych działań, ale w powiązaniu z naszym rozumieniem przyczyn sytuacji, którą zmieniamy. Często się zdarza, że modele interwencji tworzy się jakby automatycznie, kopiując działania najbardziej rozpowszechnione, na przykład szkolenia z kompetencji miękkich. Nie zawsze są one najskuteczniejsza odpowiedzią na trapiące nas deficyty. Namawiamy, żebyście w tym kroku starali się być możliwie „twórczy” z jednej strony i wsłuchani w dane oraz wiedzę z raportów i analiz – z drugiej.
W odniesieniu do aktywności – przede wszystkim warto zastanowić się nad kontekstem beneficjenta. Jeśli celem jest zatem osiągnięcie umiejętności pływania, należałoby stwierdzić, ile lekcji i w jakich warunkach jest potrzebnych uczniowi, aby móc te cele osiągnąć. Aktywnością może być zatem przeprowadzenie 20 godzin zegarowych zajęć z pływania na lokalnej pływalni. Aktywnością może być również praca nauczyciela, który zabiera dzieci na tą pływalnię itd. Ponieważ opisujemy to aktywności w programie, można policzyć też, ile dzieci musi objąć program, aby w założonej perspektywie czasowej osiągnąć cel.
Przykładem wskaźnika w przypadku programu zdrowotnego, który celuje w rozwijanie świadomości zdrowotnej młodzieży może być na przykład odsetek dzieci, które same potrafią przygotować zbilansowany obiad, albo mają podstawową wiedzę o zdrowym żywieniu – np. jakieś zalecenia żywieniowe.
W odniesieniu do naszego Fair Play Programu, który wcześniej omawiałem, wskaźnikami może być Postrzegana liczba osób bliskich dla uczestnika w odniesieniu do nowych kontaktów społecznych uczestników czy zmiana samoocena uczestników w skali samooceny SES w odniesieniu do samooceny uczestników.
Wymyślenie mądrego wskaźnika, po którym rzeczywiście można zobaczyć zmianę, jest trudne i nie odbędzie się bez mądrego i – najlepiej – kolektywnego myślenia we wszystkich poprzednich krokach.
Byłoby wspaniale, gdyby przy opracowaniu wskaźników możliwe było użycie wystandaryzowanych narzędzi – to znaczy takich, które umożliwiają porównanie rezultatów do jakiegoś kontekstu. Wracając jeszcze raz do programu Fair Play, do oceny samooceny młodzieży można choćby wykorzystać istniejące skale samooceny, w tym wypadku skalę samooceny SES Morrisa Rosenberga. Podnosi to rzetelność naszego badania i umożliwia np. odniesienie oceny bazowej do innych grup – czyli możemy sprawdzić, czy rzeczywiście samoocena naszych uczestników jest niższa niż w przypadku „populacji”.
To już koniec tego wstępu do myślenia o mierzeniu wpływu społecznego w sporcie.
Chcę podkreślić, że nie koncentrowaliśmy się na metodach badania – czyli bardziej technicznych aspektach takiej analizy. Zrobiliśmy natomiast wstęp do myślenia o mierzeniu wpływu programu organizacji w kontekście sportu.
Zapraszam do kontaktu jeśli planują Państwo takie działania, chcąc lepiej zrozumieć wpływ swojej organizacji czy efektywność prowadzonych działań w obszarze społeczny. Mamy takie unikalne doświadczenia wcześniejszych analiz w polskim kontekście.
Zapraszam też do subskrybowania kanału, oraz na stronę Sportimpakt.org do naszego podcastu, gdzie regularnie odnosimy się do tematu mierzenia wpływu społecznego w kontekście sportu.
Polecana lektura
Gołdys A., Ostrowski Ł., Rogaczewska M. (2017), Standardy Mierzenia Efektów Działań – Podręcznik Dla Organizacji Społecznych, Forum Darczyńców, LINK