審查機制的設計與發展

審查委員的組成

        一個計畫的審查委員和計畫規劃者幾乎同等重要，因為選擇合適團隊、給予合適的審查意見，都足以改變計畫執行的成效。教育部中綱計畫一般是由計畫辦公室設計審查機制、擬定邀請審查委員名單，報部之後由部長圈選、排序、補充，再把核定名單交由計畫辦公室依序邀請委員。審查委員名單每年（期）都會重新提報、圈選、邀請。審查委員的姓名在評選後就不再保密，而且計畫辦公室經常邀請審查委員一起參加後續的訪視、交流、增能或推廣活動，會與執行團隊持續互動。

        UFO計畫的審查委員設計是分為三大領域邀請：前瞻議題專家、高等教育教學專家、相關業界代表。這樣的安排有些不同於以往的中綱計畫。首先，邀請業界專家參與審查算是UFO計畫的創新，而且是制度性的安排，確保每份計畫書都會被議題類、教學類與業界這三類學者專家審查。審查過程類似建築評圖，邀請業界及學界專家一起評審。目的是為了讓本計畫的內容與規劃不會與社會實況脫節，也可受到一定程度的監督、比較。例如有業界審查委員反應，有些團隊提案的經費規模甚鉅，內容卻很貧瘠，就是來自業界追求效率的長期經驗比較而來。也有好多位業界委員曾反應，有些計畫寫得很差，是該大刀一砍，還是勉予鼓勵？由於我們觀察以往中綱計畫的學界評審多半抱持老師的態度在審查，會評出有鑑別度但仍具鼓勵性的結果（較為白話的說法就是分出高下，但是差距不大，大部分及格）。但是這種情形在業界專家眼裡並不妥適，特別是長年擔任高階主管者，大都認為能清楚選出幾個及格者、優良者即可，其他落選者的分數該多少就多少，無所謂勉予鼓勵的。因此，我們從第零期即發現有業界參與評審機制是很好的做法，雖然業界專家人數只有三分之一，但是能從大方向、主軸上清楚區分入選者與落選者。

        其次，在大學教授審查委員部分，依照議題或一般教學計畫專長分類，目的有二。其一是和業界代表合作共同評選議題的部分，畢竟是否具有前瞻性、是否符合計畫宗旨的大方向，如果學界、業界意見一致，大概不會有問題；若有少見的互有出入情形，會由教學類專家的意見來看團隊是否提出具體可行、符合教學宗旨的規劃。其二，有些教師固然學有專精，對於一般行政與教學行政未必清楚局限與特性所在，因此，UFO計畫邀請的教學類專家都是長年參與各種教學計畫，本身擁有執行計畫、審查計畫、規劃計畫的經驗，或是曾任行政主管、計畫辦公室主持人者。因此，他們可以從實際執行面評判各計畫內容的可行性與執行力。當然有少數委員的資歷豐富，可以同時擔任議題或一般教學類的委員，他們就會被計畫辦公室視為可以靈活調度、平衡委員組成的人選。

       有些UFO計畫的審查委員從計畫書的成形、idea的生成、概念的分享就已經涉入，比如說一開始規劃時就邀請委員演講「何謂前瞻」。有的審查委員從計畫書的審查，期初、期中的團隊交流及訪視，期末的成果分享，幾乎是從頭到尾都有參與，這可能也是UFO計畫的創新之處。總辦與計畫團隊接觸的各種活動，審查委員都會參與，可以提供更多樣的看法。其中有幾位委員長期參與UFO計畫，例如業界的施典志委員、學界的朱曉萍委員與黃俊儒委員更是從第零期到第四期都參與審查工作。大部份委員也多半參與UFO計畫兩期以上的審查。

 

審查程序

        審查程序與審查委員一樣，有時也影響審查結果的走向。除了公平性之外，計畫辦公室最在意的是能否達到於原先預定的目標，挑出最適合（未必是最厲害）的團隊。因此，計畫辦公室的審查機制規劃，一開始即設定研發期的第零期是要挑選方向、方法正確而團隊有潛力者，因此執行面的規劃若不成熟亦無妨；換句話說就是選方向與團隊，而不選教學內容。該期的審查方式與機制也就與後面幾期不同。計畫第一期要從眾多案件擇優、策略性選取實驗團隊，所以比較複雜。第二期則要汰換部份團隊，須兼顧第一期執行者與新進者的公平競爭，以及計畫的理想性；因為是最後一次可以調整計畫執行方向與結果的機會，甚為重要。第三期則因為執行團隊需要成熟發展，沒有後面追來的競爭者，所以重點在於激勵既有團隊持續進步、達成目標。第四期則因時程與經費都縮減，對於有心推廣者，審查重點在於如何合理分配極為有限的經費。

因此，可說UFO計畫各期的審查機制都不同，需要隨計畫執行階段的重點目標不同而調整。而且執行面還須顧及每位審查委員的審查時間有限，因此件數也不能太多，何況政府的審查費用單價是固定的，不會因為任何計畫較複雜難審而可提高；所以斟酌衡量每位委員的專長、審查件數與時間分配，需要設計合理的評價、計分方式，以及審查會議中有效率的討論方式。以下是UFO計畫各期的審查方式概略。

第零期依照計畫分類，首先A、B類分開書面初審，委員就所有計畫書（180件），進行書面資料審閱及評分。由於數量龐大，各計畫書僅由2位委員審查，但為求公平，由計畫辦公室將各委員對個別計畫之分數，經標準化公式計算出該計畫之標準化分數，並將各委員對該計畫之標準化分數相加，除以委員數，計算出該計畫之單一總分，加以排序。然後A、B類計畫在複審會議中彙整會議審查結果，再討論、議決計畫補助名單及補助經費額度。

第一期則分為三階段。初審為書面審：各計畫書由議題、教育與業界等3類各1位合計3位委員審查，依照計畫辦公室設計的各項審查指標評分。審查指標分為兩大類，滿分各為100分。第一大類僅包含計畫精神與方向，作為及格門檻，須平均70分以上者，方能進入複審評分排序；第二大類為計畫內容與策略，而第一大類及格者之第二大類平均總分即為其複審評分。複審採用複審會議形式，委員就書面資料審查結果、申請案之品質，決定邀請B類團隊須來決審會議報告的名單。最後決審時，B類申請單位有些會被邀請列席報告，澄清一些問題。決審會議中委員會考量補助經費限制、選作執行項目之品質及可執行性、主題或議題之分佈、學校之性質、類型、區域、資源等，經委員討論及取得共識後，決定A類、B類計畫之入選名單及補助經費額度。

        第二期亦是同等慎重，更細分為四階段，並稍微改良第一期的作法，因為當時發現第一期入選者的第一大項（計畫精神與方向）得分多半不高、鑑別度也稍低，希望更加強主題與方向的選擇。初審亦是書面審，但是先採「快篩原則」：每位委員只審一類（A或B類），但須審閱該類之全數計畫書，並著重前瞻議題論述之完整性與合理性，擇優列出10-12個團隊進入推薦名單。這部份主要針對「前瞻議題論述之深廣度」以及「前瞻人才描述之合理性」兩項目進行評等。第二階段的複審先進行書面審查，希望委員綜合考量前瞻論述的完整性、及計畫內容之創新性、合理性以及可行性，分別針對第一期團隊與新進團隊有不同的評量項目：第一期受補助團隊重視自評報告完整性與執行情況，以及申請報告書之經費、時程與人力配置規劃；非第一期受補助團隊則看團隊潛力與計畫執行之可行性，包含經費、時程與人力配置是否合理可行。這階段希望審查委員細審執行力，所以每位委員只審一類（A或B類），但須審閱該類之全數計畫書。第三階段是複審的列席簡報與問答：聚焦於各團隊對於UFO計畫精神目的之了解、規劃內容亮點、以及團隊執行力和解決問題之能力。最後第四階段的複審會議是依據各團隊第一、二階段複審成績表現，及地區均衡、議題多元、學校屬性分布、推廣亮點等考量，由委員決定第二期受補助名單及建議補助金額。

      在這階段，計畫辦公室為求能充分支援委員的審查決策，提供委員相關的資料，還特別包括加權建議，例如：議題、子題之多元性vs.集中性、學門領域多元性、區域平衡、是否拉高私立學校通過率等。委員針對各項建議決定加權與否及加權程度，再由下列公式計算出各團隊的成績。最後受補助名單由總成績排序決定。

複審參考成績＝第一階段（書面）正規化平均成績50%＋第二階段（簡報）正規化平均成績50%

加權成績＝因地區、議題、學校屬性，或額外進行之推廣工作之額外加分

總成績＝複審參考成績＋加權成績

        第三期的評選相對較為簡單，因為此階段只有第二期的團隊才能申請，總數剩下13件，因此只須邀請三類共5位委員（業界1位、其餘各2位），針對13個團隊的5個工作項目，分別給予亮點推薦、推薦、或不推薦之評等。而各工作項目若有3位以上之委員選擇不推薦，則該項目不予補助。若團隊之5個工作項目均未獲得補助，則淘汰該團隊。最後結果為13個團隊皆通過，因此只剩委員議決經費額度之考量。

        第四期也較為簡單，因為只針對第三期團隊開放，且以推廣計畫為主要審查內容，由全體委員看完12件申請案（有一組團隊自行放棄申請），再評分取平均。

 

 

文章出處：陳政宏，〈UFO計畫的目標與整體規劃〉，收入：陳政宏主編，《高教實驗林：營造育才的環境機制》（臺北市：教育部，2022），頁70-106。