Writing

Titaantjes

Jongens waren zij, maar aardige jongens.

Nu zit de ene op 60jarige leeftijd in het ziekenhuis met acute pancreatitis. Hij was conducteur op de treinen die binnen Athene lopen, maar zijn echte baan was eigenlijk drinken. De laatste tijd ging hij naar de supermarkt “om prijzen te vergelijken” – daar koopte hij een sixpack bier, die hij in de gangen van de supermarkt dronk, en pas dan ging naar de kassa om te betalen.

De andere heeft kanker – longkanker is de officiële diagnose, maar dat is niet helemaal waar – het is zeer waarschijnlijk dat het verspreid is – zes maanden tot een jaar, maximaal. Als geitenboer kon ie alleen ‘s avonds drinken, maar wel de hele dag roken. Nu moet zijn vrouw alles verkopen, niemand meer kan voor de geiten zorgen, en kankerbehandeling is wel duur.

De derde is getrouwd met een vrouw die alles over alles weet, dus zwijgt ie, meestal. Zij besloot dat hij niet veel moet drinken, maar als hij elke zomer de twee anderen zag, groeten zij elkaar dus: “Oh, lieverd, hoe gaat het met jullie?”. Dan zaten ze samen een biertje of een (flesje) wijn te drinken. Nu heeft ie zware depressie, blijkbaar.

Alledrie komen uit en klein dorpje in het zuiden van Griekenland, waar ze ook opgroeiden. Alledrie hadden als jongens geen echte vooruitzichten hun levens te verbeteren – maar het is zwaar te bepalen welk voor de andere kwam – het alcoholmisbruik of het verlies van hun toekomst. Wat erg moeilijk te accepteren is, is het totale gebrek aan hulpverlening – door middel van preventieve diensten, of verslavingszorg, of psychische ondersteuning. Het is niet modieus, maar dit soort dingen waren, en zijn nog steeds, zeer beperkt toegankelijk – dat is echter geen vervolg van de crisis, ook als de crisis alles erger heeft gemaakt – voor hulpverleners én klanten. De artsen kunnen wel zeggen “je moet nooit meer drinken” maar, als er geen follow-up of maatschappelijke zorg bestaat, dan kunnen mensen niet hun oude copingmechanismen veranderen. Het probleem is ook niet individueel; het heeft invloed op de hele gezin, vooral op hun kinderen, en op hoe zij met moeilijkheden omgaan.

Dit kleine verhaal toont aan hoe alcoholmisbruik als iets normaals waargenomen is – des te meer in tijden van economische groei – toen onze jongens nog jongens waren. Dan viert iedereen – beter gezegd, heeft een recht op vieren. Zij drinken gewoon omdat het iedereen doet, het is geen verslaving, tevens zijn er geen alcoholisten in Griekenland, niet als in Noord-Europa, waar ze wachten op het weekend om uit te gaan. Dat doen we iedere dag, hoor! Zo gaat de verhaal die mensen elkaar vertellen. Maar misschien is de volgende vraag de moeite waard: Als een minimum van drie in de ongeveer tien overblijvende gezinnen in dit heel heel klein dorpje op de een of de andere manier onder de invloed van verslaving zijn, hoe groot is dit maatschappelijke probleem? Die vraag blijft onbeantwoord, en de redenen daarom worden onder het tapijt geschoven, want nu is het tijd om nog een keer te vieren – Griekenland heeft haar schulden ook onder het tapijt geschoven.

Advertisements

Impact – maakt het onderzoek eigen verschil in de beleidsvorming?

Het afgelopen jaar heb ik veel mensen ontmoet die “iets voor de vluchtelingen” willen doen. Meestal is dat “iets” een onderzoeks- of kunstproject, of een combinatie van allebei. Meestal geloven ze dat hun project zal de toestand van vluchtelingen bekend maken helpen. Daarom is het heel belangrijk dat ze “vluchtelingsverhalen” verzamelen en publiceren, zodat beleidsmakers, en het grote publiek, leren wat er precies aan de hand is. Hoe de vluchtelingen Europa bereikten, wat ze nu doen, hoe lang ze wachten moeten, totdat ze naar Duitsland (want het is bijna altijd Duitsland) kunnen gaan.

Enkele jaren geleden geloofte ik absoluut dat het onderzoek een impact op de wereld kan hebben. Goede onderzoeksuitslagen, en concreet advies, op “harde feiten” gebaseerd, kan een grote verschil maken wanneer een beslissing moet genomen worden, dacht ik.  Daarom moeten we onderzoeksgegevens verzamelen, analyseren, en daarna proberen om deze harde feiten toegangelijk te maken, zodat politici en beleidsmakers kunnen ze goed begrijpen, zodat ze hun beslissingen op actuele feiten kunnen baseren. Dat is wat ik geloofde, totdat ik een tijdje bij de Griekse Ministerie van Gezondheid aanwezig was.

Nu weet ik dat evidence hoeft geen verschil te maken, ook als het sterven naar evidence-based beslissingen het gestelde doel is. Of, beter gezegd, dat is niet het manier waarop beslissingen genomen worden. Het maakt niet uit hoeveel vluchtelingsverhalen verzameld worden. Het maakt niet uit hoeveel workshops georganiseerd worden om die verhalen met het grote publiek te delen. Het maakt niet uit of de uitslagen van een onderzoek samengevat op een bladje papier kunnen worden.

Als beleidsmakers je uitslagen niet serieus willen nemen, dan is dat eenvoudig genoeg. Ze kunnen bijvoorbeeld zeggen dat individuele verhalen “subjectief” zijn, of dat het onderzoek geen antwoord voorstelt op de kwesties die beleidsmakers moeten kunnen antwoorden. Sommige kunnen de laatste tijd zelfs zeggen dat het “fake news” is, en dat er “alternatieve feiten” bestaan, die naar het tegenovergestelde van je onderzoek wijzen. Zeker cynisch, maar niet helemaal onverwacht, vooral in gepolariseerde politieke culturen.

Aan de andere kant, er is ook het probleem van hoe precies onderzoekers contact met beleidsmakers kunnen opnemen. Dat is geen klein probleem, vooral als je in een land werkt dat niet je land waarvan je afkomstig bent is. In Griekenland, bijvoorbeeld, komen heel veel mensen uit Engeland, Duitsland, Nederland zelfs aan, en ze willen onderzoek doen over de leefomstandigheden van vluchtelingen – in de camps, in bezette gebouwen, op de eilanden, enz. Er bestaat dus de kwestie: op wie is het onderzoek gericht, als het beleidsgericht is?

Dus verzamelen onderzoekers hun vluchtelingsverhalen, door interviews, participant observation en door eigene participatie op verschillende activiteiten, zoals kraakvergaderingen, kinderopvang, protesten, koken. Dan gaan ze tergug naar huis, en ze schrijven een mooi boek, of een congresbijdrage, of stukken die in een paar bladen verschijnen, of ze maken een documentaire uit fragmenten van video’s die de vluchtelingen op de boot hebben gemaakt. Én, ze schrijven een verslag, dat voor de onderzoeksfinancier en/of de (Engelse/Duitse/Nederlandse/Griekse) overheid bedoeld is.

Wat gebeurt er als deze verslagen op het bureau van de Griekse beleidsmaker aankomen?

Nou, meestal heben wetenschappelijke medewerkers van ministers, kamerleden, secretarissen-generaal, enz., geen tijd om de verslagen door te lezen. Meestal gaan ze van vergadering naar vergadering, van bureau naar bureau, van telefoongesprek tot teleconferentie, van emails antwoorden tot rapporten zelf schrijven. Daarna gaan ze terug naar huis naar hun kinderen, of ze gaan wat drinken (drinken en roken kunnen wat problematisch zijn bij dit soort functies – dat wil zeggen dat als er stress bestaat, roken en drinken mensen veel meer, zelfs bij het Ministerie van Gezondheid).

Soms zijn dit soort beleidsmakers ook wat achterdochtig tegen onderzoekers. Het is wel moeilijk om de deur van een ministerie te bereiken, dan een afspraak maken, iets over je onderzoek zeggen, en dan je rapport achterlaten. Dus moeten onderzoekers contacten vanuit binnen de overheid al hebben, of proberen te maken. En dit soort contacten kan niet iedereen maken, zelfs als hun onderzoek ijzersterk is. Dus zijn soms dit soort contacten van een persoonlijke natuur, oude collega’s, of voormalige schoolvrienden, bijvoorbeeld. En als iemand niet in de mal past, dan wordt er misschien niet veel aandacht op hun advies gegeven. Vanuit het perspectief van de beleidsmaker is het eenvoudig genoeg: iedereen heeft een politieke agenda, dus, als de beleidsmaker iemand niet persoonlijk kent, en daarom niet weet of ze politiek betrouwbaar zijn, dan is het niet de moeite waard naar hun aanbeveilngen te luisteren. Beleidsmakers moeten zelf overtuigt worden van de uitslagen van een onderzoek, en daarna moeten ze hun bazen ook overtuigen dat hún aanbeveilingen goed beleid zullen maken. Dat leidt to een echo chamber effect, waar relatief kleine netwerken van mensen invloed op het beleid hebben, door persoonlijke contacten, die geen tijd hebben om te lezen en/of te luisteren naar onderzoeksuitslagen die misschien het niet mee eens zijn met wat ze al geloven goed (voor de prioriteiten van de overheid, voor de partij, voor hun carrière) is.

Dus, de Deense onderzoekers hebben gelijk – politici willen niks te maken met gegevens die tegen hun geloven spreken.

Ai Weiwei and refugees

The thought experiment of the drowning child is important in philosophy. Devised by Peter Singer, its main claim is: “if you can save a life without sacrificing anything of moral significance, you ought to do so”. Its implications are far reaching. What if the child is far away? What if there are many children, and no way of assessing which one is in most urgent need? The list of questions goes on. Singer’s argument is not without problems, but the parallel between the thought experiment and what is happening now in Europe is obvious.

The very image of drowning children is now a daily occurrence in Europe. How should we respond? How are we responding, in the here and now? The answers to these questions have both practical and ethical implications.

The aesthetic, and not the ethical, aspect of this question forms part of the answer. What do photography, performance and visual art have to say about the way we see refugees?

The recent photograph of Chinese artist Ai Weiwei posing as Aylan Kürdi is interesting in this respect. Attempting to “raise awareness about the plight of refugees”, Weiwei ends up aestheticizing. He uses what has now become a symbol of refugee deaths in the Mediterranean in a way that brings to mind a fashion shoot (try googling “refugee fashion”). Posing as Aylan, Weiwei strips the original image of its visual impact. Instead, he renders it into a mere substitute of a representation (that is, of another substitute). A cultural signifier, symbolizing all refugees coming into Europe in 2015 and beyond. Yet it cannot serve as anything but an approximation of the reality of death by drowning. The image of the child is thereby stripped of its connotations of unspeakable violence. Instead, it becomes just another way to represent “what it is to be a refugee”. The reason it does not quite achieve its purpose is simple. Reactions to the image of drowned Aylan were a mixture of shock and grief. The image heightened reactions to the point of powerlessness, like during natural disasters.

Let us compare the image of Weiwei (and similar depictions or representations of the life of refugees), and Michael Haneke’s body of work. Close examination of Haneke’s work reveals a preoccupation, fixation even, with how violence is used (or not used) as a plot device in cinema. In interviews, Haneke has argued that not showing violence has greater impact than showing them in gory detail. The moral reason for this aesthetic choice is uncomplicated. We must not become used to the violence, stripped of context and without room to think about our options. Yet Weiwei’s photograph does just that: it reproduces the pose to raise awareness but, in doing so, normalizes war and the struggle to escape it.

There is still something which we do not see: how people came to be refugees. We seldom see the bombings, the terror campaigns, the troops deployed to fight ISIS. In this sense, what Weiwei is doing is sensationalize the product of that violence. Yet violence and its result are not easy to distinguish between in the context of flight from war. The very flight of refugees is violence in itself. The hardening stance of the powers that be is another type of violence, of which drowning is only the most obvious form.

Weiwei is not the only culprit. The photograph of dead Aylan was already one of the most viewed images in 2015, well before Weiwei posed as him. This reveals much about the way we react to the arrival of war stricken people in Europe. Dead Aylan is, furthermore, the contemporary equivalent of starving children in Somalia in the ’80s. Those images, like the photo of Aylan now, were used to mobilize and raise awareness but, through overuse, their message was lost. “Feed the World” is now yet another Christmas chorus. Aylan, the only name that survives among hundreds of thousands.

Singer argues that, were we able to save the drowning child by, for example, sending $700 to her country, then we ought to do so. The volunteer experience on the Greek islands shows that many people would very much agree. Yet the same time, we run the risk of aestheticizing. Thinking we can save the drowning children by taking photographs of them, or of ourselves as them, using the latest $700 iPhone.

Medical Errors

Recently, the death of a 4 year old girl following routine surgery in Iraklion, Crete has drawn much attention. In light of this, the way in which medical error can act as a stimulus for health care system reform is worth examining.

Medical error does not mean negligence or momentary lapses in judgement of individuals. Exposés of medical scandals show that fatal errors are the result of a series of shortcomings. Rarely is only one person to blame (logical enough, since medical practitioners work in teams).

Our stance towards the anesthesiologist involved in this recent case, who accepts part of the blame for the death of the child, is minor detail. This is because no doctor (in a hospital environment, at least) can or should act alone. The situation is more complicated than the guilt or innocence of an individual.

International experience shows that systemic errors are often the culprit for patient deaths. This is the case, for example, at the Bristol Royal Infirmary in the UK, where a high number of child deaths after cardiac surgery were recorded. The inquiry revealed that staff shortages, a lax approach to safety, secrecy on doctors’ performance, and inadequate guidance and coordination by management, all played a role. Those deaths were not considered “isolated incidents”, but symptoms of serious underlying problems. This led to a stricter framework for pediatric cardiac operations, and a clearer set of evaluation criteria for doctors.

The term “evaluation” is often met with hostile responses in Greece. Many argue that medical practice cannot be evaluated through metrics. This is true to some extent. Yet it is wrong to presuppose that evaluation requires measurement and ranking to be effective. To go back to the case which inspired this article, evaluation could be linked to targets. For example improving coordination between hospital teams, hospital units and between different hospitals. It is unacceptable that, in 2016, the relatives of patients or even the Ministry of Health must intervene before a bed in an Intensive Care Unit is found. We need to look at entrenched attitudes and beliefs, and redesign the system to change them.

At its core, evaluation assesses how well a design works. While good design can often be measured, the qualitative aspects of the experience cannot be ranked, yet they shape it. It is with this mindset that evaluation approaches need to move forward.

Currently, a health care reform programme with specific targets exists. Yet the state hospitals are in is like the state of other public services. Poor coordination and accountability,  fear of responsibility – these are but a few of the ills of public administration. It looks like they may never be defeated.

We have yet to see if, and how, the case in Iraklion will affect developments in the health care sector. A sector in which responsibility, accountability and patient rights are obvious prerequisites.

Flows and Barriers

Cruel nature has won again*

*Song lyric from the song “On battleship hill” by PJ Harvey, from her record “Let England Shake”.

 

It is often repeated that the issue of refugees reveals much about today’s Europe. The political response may widen the rift between EU member states. The language used to describe the movement of refugees from warzones into Europe is telling in this respect.

Mainstream media talk about “the migration phenomenon”, “refugee flows”, “a wave of migrants/refugees”. These terms strip agency from people. Using the language of geology, they conceal what caused people to become refugees. At the same time, they cast refugee arrivals as natural phenomena limited to a particular area. Nothing more natural, then, than the creation of barriers to limit “inflows”.

To what degree do images of reality refugees face lead to the awakening of consciences? Much debate followed the circulation of the photograph of dead Alan Kurdi on social media. In a society feeding on violence, how is it still possible that violent images, reproduced out of context, awaken consciences? Combined with water metaphors, reactions are like those to a natural disaster. A disaster for which no one is to blame and which no one can stop.

This may be fulfilling an aim, namely the avoidance of real cooperation in Europe. This is compounded by the dramatic developments of this year’s “Greek summer”. Guardian economics editor Larry Eliott draws parallels between the current situation and the beginning of the First World War. He argues that the Greek crisis is point zero for the new European breakup. Failure to meet obligations towards refugees may be the next episode in this saga. Cruel nature seems to be winning again…

Impact: Context is key

In the run-up to REF 2014, there is much talk about the ‘impact agenda’ and on how, if at all, the impact of research can be measured. This is an oft-expressed concern in our interviews for the STEaPP impact project.

Given that impact is likely to be of increasing importance for REF 2020, it may now be worth revisiting the debate about impact measurement.

Altmetrics promise to “help discover and share the full impact of research”. Their evolution in recent years may reflect some academics’ embracing of blogging and tweeting as ways to share research. Yet that is not to say that altmetrics do not have their disadvantages. Criticism centers on how they act as an incentive to share research articles on the basis of catchy press releases, not scientific merit. This is nowhere more true than for studies of nutrition and health.

Some have called for the replacement of peer review in the REF by some combination of metrics. While this may reduce bureaucracy (and associated costs), it is unlikely tocapture how impact happens.

A point often made by participants in our interview study is that impact is about “people, not papers”. Networks and timing (“being in the right place at the right time”) are crucial for ensuring research is used outside academia. Yet these often serendipitous processes are difficult to document in the four pages of a REF impact case study.

If metrics replaced case studies, the problem would become worse. In our report, we identified knowledge transfer and collaboration as the main “pathways to impact”. These are umbrella terms which include a host of not necessarily measurablce activities.

The way forward would be to recognize that research impact is a process, not a product. Processes can be non-linear, serendipitous and fragmented. They involve conversations, emails, telephone calls, tweets, Facebook messages or even non-verbal communication. It is these things that form the context under which products can be used, and, in the case of impact, context is key.

The impact agenda in REF 2014 – an overview

The 2014 Research Excellence Framework evaluated the impact of UK research for the first time. As such, it is not surprising that much commentary focused on it.

HEFCE presented the results thus:

“For the first time, the assessment provides evidence of the impact of UK research. Impressive impacts were found in all disciplines, and from many diverse UK universities with submissions of all sizes.

On average across all submissions, 44% of impacts were judged outstanding (4*) by over 250 external users of research, working jointly with the academic panel members. A further 40% were judged very considerable (3*).

Outstanding impacts on the economy, society, culture, public policy and services, health, the environment and quality of life – within the UK and internationally – were found. These reflect universities’ productive engagements with a very wide range of public, private and third sector organisations, and engagement directly with the public.”

As Jonathan Wolff points out: “[M]eritocratic hiring, vibrant research environments, impactful research, and open-access publishing […]” could not happen without assessment. Frequent assessments could benefit workload, tracking impact, and reduce stigma for non-participants.

Caution has been raised against the overinterpretation of REF2014 results. Simon Marginson argues that ‘game-playing’ biases the assessment of research. It is hard to imagine an evaluation in which the requirements are not made known to researchers in advance. Besides, a certain degree of game-playing is a factor in many professional situations.

Moreover, impact may be easier in certain subjects. This may be why most articles in an upcoming literature review for the STEaPP impact project are from health disciplines.

Jack Stilgoe warns against an over-reliance on the concept of “excellence”. He claims this makes for a blinkered view of how science and technology operate in society. The proportion of “world leading” or “internationally excellent” research in REF2014 is so high as to suggest inflation.

To coincide with the publication of REF results, we carried out an analysis of case studies from UCL BEAMS. Our focus was on identifying where and how impact occurred, as well as on whom.

Most of the impact of BEAMS research had businesses and public policy as beneficiaries. Most took place within the UK, though several case studies also reported international impacts. This may be because researchers may not know exactly when and where their research has been used.

By not relying on published REF results for our analysis, we distanced ourselves from what Chris Shore has termed “the audit culture”. Instead, we focused on how a subset of case studies described impact, and the evidence used.

We must remain careful in our interpretation of results for impact. The “reach and significance” of research beyond academia depends not only on the research itself, but also on the context. Individual case studies paint a nuanced picture of the wealth of impact activities. The important thing is that impact cannot be compared in league tables and rankings.