反毒政策評估:從「有感」到「改變」
2018-6-06
2018年6月1日法務部發佈了一份新聞稿,提到「107年政府反毒作為滿意度」民意調查顯示,有六成八的受訪者對於政府過去一年在緝毒、防毒、拒毒、戒毒等不同工作面向上給予肯定。附件的民調報告顯示,民眾滿意度最高的政策是「提高販毒刑度及沒收販毒所得的修法方向」,滿意度為87.6%;而滿意度最低的是「建立全國毒品資料庫以協助緝毒的成效」,滿意度是42.1%。會有這份民調及新聞稿是因為,2018年國家發展委員會所訂的國家發展計畫重大政策跨機關KPI其中之一就是「反毒策略」。它的KPI是「人民對政府反毒作為滿意度50%以上」,衡量標準則是「由國發會採用民調方式辦理滿意度調查」。
用民眾滿意度來評估反毒策略的成效,是不好的作法,而可惜的是,相關部會似乎並沒有意識到。本文接下來會先說明毒品政策評估的重要性,用民眾滿意度來評估反毒策略的成效有什麼問題,而建議改採怎樣的作法。
2017年歐盟有發佈一篇毒品政策評估指南Evaluating drug policy: a seven-step guide to support the commissioning and managing of evaluations,裡面指出政策評估對決策來說很重要,因為可以協助確保政策和相關方案能達成所欲達成的效果、有效的運用資源,並避免產生非預期的負面後果。
對毒品政策來說,適當的政策評估方式又特別重要,因為「毒品」在我國社會中就很容易召喚恐懼。為了回應恐懼而作出的「亮點」政策,可能會傾向短期讓民眾感覺「政府有在做事」、「好像可以安心」,但不見得能真正改善問題,甚至長期來說可能有許多副作用。我國常見的作法就是加重毒品相關之罪的刑責,但是欠缺配套。在監獄超收,處遇資源不足的情形下,把更多人抓進去、關更久,出來後沒辦法適應社會,再犯也是可以想見。
要說明用「民眾滿意度調查」來評估反毒策略成效的問題,要先說明「指標」是什麼。指標就是量化或質化的要素或變項,用來測量你想要測量的東西。
要能夠「測到你想測的東西」,在這邊先要界定「想測的東西」是什麼,接著才能去想「用什麼指標去測」。以毒品政策來說,大方向上你想測的到底是「人民對反毒政策有多滿意」,還是「特定政策對毒品濫用情勢造成了什麼影響」,就要先決定。這個決定之後,就會影響你所選擇的指標。以前者來說,指標定為「人民滿意度」,測量方式為「民意調查」就是自然的道理。而如果是後者的話,就很奇怪,因為人民對特定政策「感到滿意」,不見得直接等於特定政策實際上到底對社會產生什麼影響。
我國政府一再強調台灣毒品氾濫,政府要改善、解決這個問題,那合理來說,指標要測量的應該是「特定政策對毒品情勢造成了什麼影響」才對。例如行政院院長賴清德在2018年5月23日的毒品防制會報中指示,各部會應將降低新生毒癮者人口做為反毒工作首要目標,先不論這個目標適不適當[1],至少它應採用的指標是「初次吸毒的發生率」,而不是「人民對政府反毒作為滿意度」。
「政府反毒作為滿意度」民意調查報告本身,就顯示了它作為KPI是不適當的。調查報告中民眾滿意度最高的政策是「提高販毒刑度及沒收販毒所得的修法方向」,但請問一下有人知道這個政策到底對社會具體產生了什麼影響?我國於2015年時就曾經將製造、販賣、運輸三級毒品罪,最低法定刑從5年提高到7年(最高法定刑度沒變,都是有期徒刑的上限15年),請問一下政府有評估這個修法到底嚇阻了多少人不去販毒?而不同種類的販毒者被關多少對他們再犯又有什麼影響?在影響評估根本沒做的情形下,用民眾滿意度來宣稱特定政策的成效,根本是自欺欺人。
除此之外,民眾滿意度最低的是「建立全國毒品資料庫以協助緝毒的成效」。要了解建立全國毒品資料庫對協助緝毒的成效,難道不是去看建立資料庫後多破獲了多少(重大)毒品案件嗎?如果真的要看滿意度,也應該是去了解執法人員覺得這個資料庫多大程度地協助他們緝毒。民眾滿意度最低,代表的不是毒品資料庫協助緝毒的成效不好,而可能只是人民不太知道這個資料庫是什麼。
不適當的政策評估,輕微的問題是「沒有測到真正應該測的東西」,嚴重的問題則是引導錯誤的施政方向。法務部部長自己說「國人都迷信重刑化」,如果繼續採用民調來評估反毒政策的成效,那可能很難有機會破除這個迷信。
毒品政策評估該怎麼,本文不覺得直接給出建議的KPI是個好作法,真正解決問題的方式,是建構出好的作政策評估的條件,那好的評估就可以自然長出來。本文以下參考歐盟的毒品政策指南,建議我國政府可以如何建立發展政策評估的條件。而如果有朋友有興趣了解歐盟的毒品政策評估具體來說怎麼做,也可以參考歐盟drug policy evaluation的網頁,裡面有列歐盟歷年的毒品策略、計畫及其評估,由此可以了解指南中所建議的政策評估是怎麼一步步發展起來的,也可以藉此想像如果我國要做好政策評估報告,可能的模樣為何。
準備基礎
好的政策評估有一些基本條件:
領導者的許諾。政府評估需要投注資源,需要花時間也要有人有錢,而且評估的建議要能回饋到下一步行動才有意義,因此政府中有決策權的官員對這項工作有深切的許諾很重要。
利害關係人的參與。政府評估需要利害關係人參與,因為他們可以協助取得資料、確保作法務實且評估能涵蓋政策的重要面向。更進一步,應組成包含利害關係人的指導小組,在整個評估過程中提供指引。指導小組的成員應包括:相關政府部門決策者、負責協助落實決策的公務員、受政策影響的目標群體(例如相關醫事人員、警察、社工、使用服務的群體)、毒品政策及熟悉評估方法的專家及公民團體。
從我國設置國發會,並且將設定KPI當成是國家發展的一部分來說,可以看到政府逐漸在重視政策評估這塊,只是發展得不夠成熟。而為了追求KPI的達標,也讓許多公務員疲於奔命。或許在國發會,我們需要首長們開始了解好的政策評估要怎麼做,他們是不是有意願認真推動這一塊。
此外,以反毒策略KPI的訂定而言,看國發會的會議記錄,目前只看到相關政府部門的代表出席討論而已,這產生了一些問題。從會議記錄來看,反毒策略KPI的訂定有兩股力量在拉扯,一是會議主席,認為既有的KPI訂定各單位往往不是訂真正重要的,而是訂可以做到的。而因為只訂可以做到,而不是民眾有感的,所以民眾對政府作為並不滿意。另一股力量則是相關政府部門的代表,有的認為人民滿意度不是好的指標,有的擔心KPI設定為人民滿意度,他們很難掌控,可能不見得能達標。國發會主委想要擺脫過去KPI只訂一定達得到的目標,努力值得肯定,但直接投向民眾滿意度,並不是好的作法。要能深化討論,關鍵恐怕還是在於政策評估必須納入利害關係人。從國發會的組成來說,不太適合把利害關係人列為委員,但是有沒有可能國發會授權設置工作小組,在工作小組中納入利害關係人,參與政策評估的規劃,並持續關注政策評估的進行?
而最後一個比較屬於台灣特有情形,但攸關工作小組能不能運作良好的問題:政府機關有時在開會前,就先將決議擬好,這樣的習慣容易導致會議的空洞化。從國發會的會議記錄上,就可見這樣的情形。主席基本上已經定調要以人民滿意度作為反毒策略的KPI了,看不太出來有實質上的意見交換和互相說服。主席和幕僚當然可以也需要事先擬定一些對策供討論,如果真的要把這件事做好,那要做二件事,第一是會前會,幕僚在還沒開會前,就先請與會者提供意見,並協助整理。第二是列出不同方案,說明不同方案的優缺利弊,供與會者參考,但不是只列一種方案。而這些準備工作也要讓主席清楚狀況,而他的工作就是用會前的準備,讓當場的討論成為有效率的溝通。
建立評估團隊
政策評估需要專業團隊來作,不是業務單位努力作paper work就可以了。由業務單位自己說明自己作了多少事,並評估成效,是目前台灣的常態。但其實政策評估涉及到評估設計,這進一步涉及研究問題、研究方法、持續的資料蒐集、資料分析等事項。這不是業務單位兼著作就作得來,更別提這涉及評估他們自己的表現,很難期待他們能作到不偏不倚。
建立評估團隊必須決定是要選擇建立內部團隊或是找外部團隊來做。內部團隊的好處是比較知道政策脈絡、較容易取得資料,而外部團隊的好處則是較具獨立性。以台灣目前的狀況來說,建議嘗試內部團隊為主,視需要納入外部專家,並公布評估報告;如有需要更具獨立性的評估,則可不定期辦理委託研究案,由外部團隊承包。
建議嘗試以內部團隊為主,是因為政府內部溝通和資料取得有一定的方便性,本身建立這樣的團隊,也是嘗試從內部開始將評估工作從業務單位分離出來,由評估團隊承接。評估團隊必須跟業務單位溝通,哪些資料應該要提供,業務單位之後也還是有一定的paper work和自我評估,但是資料的產出是以比較有意義的方式來做。此外,這也是要求政府長期培養評估專業人才,並長期跟相關業務單位互動,建立內部評估文化。如果內部團隊有缺哪些人才,再向外尋才。而內部團隊的評估報告應公開,外界能予以檢視,藉由透明性來促使團隊做到不偏不倚。
以目前毒品政策主辦還是法務部來說,建議可由法務部司法官學院犯防中心來做政策評估,但一定要有跨部會合作,因為毒品政策涉及到許多不同部會,衛福部、勞動部、教育部、內政部都相關,評估所需要的資料可能散在不同部會。而開始作這件事可能光是請不同部會提供資料就很花力氣,但是如果逐漸漸立制度,外部的評估團隊要作評估也會比較容易。
決定評估的類型、範圍,以及進行評估設計
前面提到的政策評估指導小組,它要決定評估的類型、範圍,而評估團隊則要與指導小組共同合作,具體化評估設計。
政策評估分成期前、期中、期末評估,範圍可以是整體政策或政策中的個別要素。期前評估最典型的就是法案送立院要作的人權影響評估。期中評估比較是在了解政策的擬定與實施是否有落差,以及初步檢視施政產生的效果。期未評估主要就是看政策是否達到原訂的目標、所產生的預期或非預期效果,並提出之後的施政建議。整體政策評估和個別要素的評估,差別在前者會去了解不同政策要素之間的關係,但因為範圍大不容易作得深入,後者深入研究特定政策要素,就可以作得比較深入。
以目前國發會對反毒策略KPI的設計來看,它兼有期中和期末評估的色彩,範圍是整體政策,有點像人民定期給政府施政作為打個分數的概念。
如果國發會主要想做的是年度政府施政成效的評估,然後希望擺脫各政府部門設定自己可以達標的KPI的作法,那建議是從構思期末評估著手。而要構思期末評估,應先從大家到底覺得哪些毒品問題很嚴重,需要改善談起。從必須要改善的現象出發,再來決定要如何測量這個現象,並了解施政作為如何改變這個現象,這個階段必須由評估團隊具體化為研究問題、研究方法及資料蒐集。簡而言之,就是把政策評估拆成「構思要改變什麼」,以及「作評估設計」兩個階段。
要能構思期末評估,很重要的思考工具是「效果鏈」(result chains),也有人稱為「因果鏈」(cause -and-effect chains)或「邏輯模型」(logic model)。關於效果鏈在台灣毒品政策分析上的運用,以及由此延伸的結果評估,有興趣的人可以參考〈新世代反毒策略——想望,但尚未到來〉一文,本文不再重覆。
最後,還是要提醒,評估設計的落實,必須要花錢花時間建立監測資料,才有意義,不可能委外做個民調了事。就整體政策部分,如果政府很關心少年毒品濫用的情形,或許需要長期性的少年物質濫用社會調查。這類社會調查雖然會有低估的問題,但可以用來測監毒品濫用的長期趨勢。它用在整體毒品政策評估上,或許不能建立因果關係(因為整體政策變項太多,很難控制),但可以監測趨勢變化與同時間的政策作為,提出政策可能需要調整之處。除了整體政策之外,關於個別政策要素的部分,建議優先建立毒品犯罪者相關處遇成效的監測資料,因為那塊的資料範圍有限又相對容易取得,而且政府本來就有責任提供適當的處遇協助他們復歸社會。
我國以「人民對政府反毒作為滿意度50%以上」作為反毒策略的KPI,這是有問題的作法,因為它測量的是民眾「有感」,但不是測量實際上反毒作為到底「改變了什麼」。用人民滿意度來評估反毒政策的成效,從台灣的本土脈絡來看,不是一件太奇怪的事,說起來可以說是台灣民主轉型過程中的產物,也就是各種政治勢力漸漸習慣以「民意」為訴求,並視為理所當然。而在這種理所當然中,也產生了一些問題,其中之一就是忽略了民眾「有感」和實際上的「改變」不是同一件事,而偏偏這在政策評估上是天差地遠的事。
本文認為改變不當政策評估的方式,要從調整長出政策評估的土壤作起,因此提出了一些改良土壤的建議,包括政策評估指導小組和評估團隊的建立,以及如何作政策評估規劃和設計的思考。
在改良政策評估的土壤時,政府可能要試著擺脫「亮點政策」的思維,也就是做了某件事,民眾立即有感,拍手叫好,並反應在選票上。這樣的改變並不容易,但是值得關心台灣未來的政府內與外的朋友們嘗試。在政府內由幾個首長、幾個部門開始逐漸推動起評估文化,在政府外的各種發聲也不再過度訴求政策要讓人民有感,而是真正的改變。
※本文刊於2018/6/5公視新聞議題中心
註釋