政府采購評審專家評分異常的判定和管理

政府采購評審專家評分異常的判定和管理

■ 湯駿

在政府采購中，專家評審環(huán)節(jié)是實(shí)現(xiàn)公平、公開、公正“三公”原則的重要環(huán)節(jié)之一，評審結(jié)論通常決定了中標(biāo)供應(yīng)商花落誰家。專家評審制度是我國政府采購法律、法規(guī)體系中一項(xiàng)重要的制度設(shè)計，《中華人民共和國政府采購法》賦予了評審專家對投標(biāo)文件的評審權(quán)和中標(biāo)供應(yīng)商的推薦權(quán)，專家的評審水平影響著政府采購綜合效益的發(fā)揮。然而，長期以來屢屢出現(xiàn)的評分異?，F(xiàn)象成為困擾政府采購監(jiān)管部門的一大難題，同時，還易引發(fā)供應(yīng)商的質(zhì)疑、投訴以及采購人對采購結(jié)果的不滿意。

當(dāng)前，越來越多的呼聲要求對政府采購評審專家的評分異常情況進(jìn)行科學(xué)地評估和有效地監(jiān)督管理。

評分異常的界定及原因分析

關(guān)于評審專家異常評分的定義，無論在理論界還是在政府采購行業(yè)內(nèi)至今沒有形成統(tǒng)一的意見。我國政府采購法律、法規(guī)體系中關(guān)于評分異常也沒有明確闡述。在《中華人民共和國政府采購法實(shí)施條例》《政府采購貨物和服務(wù)招標(biāo)投標(biāo)管理辦法》等文件中涉及“傾向性言論”“評分畸高、畸低”等少量表述，僅局限在一些原則性的規(guī)定上。

筆者理解，所謂評分異常的本質(zhì)，無外乎是“異于常規(guī)”或“異于常人”，即評審專家憑借個人喜好，隨意給出不符合普遍認(rèn)知或有悖于常理的得分。《政府采購評審專家管理辦法》中就評審原則有專門要求，即科學(xué)、公正、不受任何干擾，獨(dú)立負(fù)責(zé)。換言之，凡是違反上述規(guī)定的，都可以視為評分異常。

導(dǎo)致評委評分異常的原因大致可以分為主觀因素和客觀因素兩類。

主觀因素是指評審專家個人意志或主觀判斷等因素。例如：有的專家受利益驅(qū)使給特定關(guān)系人打出“關(guān)系分”；有的專家因?yàn)樯矸荻嘀兀ū热缤瑫r作為供應(yīng)商代表或者采購單位代表），考慮到業(yè)務(wù)發(fā)展需要而為“朋友圈”相互關(guān)照打出“人情分”；有的專家受到其他專家的影響或者誘導(dǎo)，不問青紅皂白亂打“糊涂分”?？傊还苁侵鲃舆€是被動，不論是有意為之還是無心之失，都是評審專家的思想觀念、道德水平和職業(yè)素養(yǎng)出了問題。

客觀因素是指非評審專家個人因素導(dǎo)致異常評分的其他因素。例如：在評審專家的入庫遴選過程中專業(yè)分類不科學(xué)、不精細(xì)或者審核標(biāo)準(zhǔn)不明確，導(dǎo)致專家“混崗使用”，因能力欠缺而無法科學(xué)地評分；政府采購評審專家?guī)烊藛T數(shù)量不足，專家易被圍獵、被腐蝕，難以公正評分；部分采購項(xiàng)目供應(yīng)商過多，評審工作量過大，專家在短時間內(nèi)無法完成超額的評審任務(wù)，不得不采取敷衍塞責(zé)的態(tài)度完成評標(biāo)任務(wù)；一些地方的專家對法律法規(guī)、專業(yè)技能、廉潔自律教育等長期漠視，動態(tài)考核管理機(jī)制尚未建立等，這都給評分異?，F(xiàn)象的出現(xiàn)埋下了隱患。

評分異常的判定方法

評分異常是對投標(biāo)文件中的主觀性評審內(nèi)容而言，因?yàn)榭陀^性評審內(nèi)容（比如供應(yīng)商的資質(zhì)、項(xiàng)目負(fù)責(zé)人的執(zhí)業(yè)資格、職稱專業(yè)核定等）實(shí)際上不應(yīng)當(dāng)存在偏差，所有評審專家的結(jié)論應(yīng)當(dāng)一致。

對于政府采購主觀內(nèi)容的評審是允許存在個體評審差異的，這種差異在合理范圍（區(qū)間）之內(nèi)，被看作為“偏差”。當(dāng)然不能簡單地將“偏差”與“異常”混為一談。關(guān)于異常評分的判定標(biāo)準(zhǔn)，一直以來眾口不一，尤其是要從定量的角度去刻畫難度更大，但可以明確的是，偏差達(dá)到極限就是異常。盡管不同的偏差類型判斷的標(biāo)準(zhǔn)有所不同，但超出合理偏差范圍的評分就是異常評分。因此，要結(jié)合偏差的類型具體分析并建立合理的偏差模型。

評分偏差類型可以分為兩類，一類是橫向偏差，另一類是縱向偏差。

所謂橫向偏差，主要是指專家個人與同時參與同一個項(xiàng)目評審的其他專家相比，評分出現(xiàn)偏離，也就是“自己和別人比”有偏差，這種偏差容易甄別。中南大學(xué)的唐光杰在《科技評審中評分偏差模型的研究與應(yīng)用》一文中提出，此種偏差可采用基于統(tǒng)計、距離、密度的異常檢測方法；河南大學(xué)的焦易于等人在《基于異常評分行為分析的虛假評論商品識別方法》一文中則提出，此種偏差可采用正態(tài)分布擬合和時序數(shù)據(jù)突變點(diǎn)的檢測方法。不管采用何種方法，只要構(gòu)建相對科學(xué)、合理的數(shù)理模型，都可以比較直接地檢測出專家的評分偏離，有沒有接近或超過極限值，從而判定其是否為異常評分。

橫向偏差大致可細(xì)分為四種情況。第一，個性偏差。例如，不以招標(biāo)文件規(guī)定的評標(biāo)辦法為依據(jù)，而是根據(jù)個人喜好隨意給出評標(biāo)結(jié)論。這類偏差有的出于有意（受利益驅(qū)使），有的出于無意（工作態(tài)度敷衍塞責(zé)）?？傊?，這類偏差屬于純粹的主觀臆斷，是主觀惡意最大的偏差。第二，學(xué)識偏差。因評審專家的專業(yè)技術(shù)水平或者實(shí)踐經(jīng)驗(yàn)達(dá)不到評標(biāo)所需的標(biāo)準(zhǔn)而出現(xiàn)的非主觀層面的偏差。例如，待評審項(xiàng)目的專業(yè)要求與專家自身從事或者熟悉的專業(yè)大相徑庭，甚至有些專家完全不了解所評項(xiàng)目的專業(yè)特點(diǎn)，這屬于專家能力不足導(dǎo)致的一種偏差類型。第三，認(rèn)知偏差。認(rèn)知偏差是專家基于自身的認(rèn)知程度，對同一份投標(biāo)文件的同一個評分項(xiàng)存在不同理解的情形，這也會導(dǎo)致評標(biāo)結(jié)論存在較大差異。例如，對于“最近三年來無重大質(zhì)量安全事故”的時限起算點(diǎn)的爭議，專家A認(rèn)為，應(yīng)從行為發(fā)生之日起算。專家B則認(rèn)為，應(yīng)從認(rèn)定存在重大質(zhì)量安全問題法律文書的生效之日起計算。導(dǎo)致這類偏差產(chǎn)生的原因主要是招標(biāo)文件的評標(biāo)標(biāo)準(zhǔn)設(shè)計不嚴(yán)謹(jǐn)，使專家在評審過程中產(chǎn)生理解上的分歧、認(rèn)識上的偏差。第四，隨機(jī)偏差。隨機(jī)偏差是專家出于非主觀原因?qū)е碌囊环N無意識的偶然偏差。例如，對于夜間施工噪聲，兩個投標(biāo)文件提供了不同的控制方案，一種安裝了聲屏障，另一種則砌筑了降噪棚，但是兩者都將噪聲控制在招標(biāo)文件規(guī)定的55分貝之內(nèi)。專家出于無心過失給出了不同的分值。

橫向偏差判定（Determination of lateral deviation，LAD）。在橫向偏差判定時應(yīng)關(guān)注兩個指標(biāo)：一是在同一項(xiàng)目中，對同一投標(biāo)單位所有評標(biāo)專家評分的平均值與各個專家評分對平均值的偏離程度；二是在同一項(xiàng)目中，以單個評標(biāo)專家為對象分別計算其對所有投標(biāo)單位打分的平均值偏離程度。至于偏離的置信區(qū)間可預(yù)先設(shè)定一個區(qū)域（如±10%—20%），根據(jù)評標(biāo)項(xiàng)目不同屬性分別設(shè)置。如勘察設(shè)計、監(jiān)理等技術(shù)服務(wù)類項(xiàng)目主觀評審因素影響較大的，可以適當(dāng)放寬區(qū)域上下限。

通常，設(shè)定專家評審得分為Pi，對于同一個投標(biāo)單位的其他專家的評審平均分為P，預(yù)設(shè)的橫向偏離區(qū)間為Δ，則合理橫向偏離幅度應(yīng)當(dāng)滿足公式①。

所謂縱向偏差主要是專家個人在評審類似項(xiàng)目時出現(xiàn)的評分偏離，也就是專家“自己和自己比”有偏差。這種偏差類型目前國內(nèi)研究者尚無人關(guān)注也未有人提及，但其實(shí)是十分關(guān)鍵的偏差來源之一。其理論依據(jù)是，在評審過程中，如果有兩個項(xiàng)目供應(yīng)商提交的投標(biāo)文件在資格條件、響應(yīng)程度、履約能力等各方面都高度一致（或相同），同一個專家對于這兩個項(xiàng)目應(yīng)該給出相近或者相同的評分。否則，就存在偏差傾向。當(dāng)然，這兩個項(xiàng)目可能不在同一時期出現(xiàn)，因此甄別起來就比較困難，沒有數(shù)據(jù)庫的積累和大數(shù)據(jù)分析工具的支持，很難捕捉到其中的差別，而這點(diǎn)正是大多數(shù)人容易忽略的情形，有時甚至連專家本人都無法解釋為何出現(xiàn)評分偏差。

縱向偏差判定（Determination of longitudinal deviation，LOD）。專家的縱向偏差判定比較困難，因?yàn)樾枰凶銐虻臉颖竞痛髷?shù)據(jù)工具的支持。從相對簡化角度來看，可按照以下步驟處理：首先，要判斷待評審項(xiàng)目與以往已評審過的歷史項(xiàng)目，在項(xiàng)目特征、采購需求和投標(biāo)供應(yīng)商的響應(yīng)程度方面是否高度相似；其次，要分析待評審的投標(biāo)供應(yīng)商與以往投標(biāo)項(xiàng)目過程的基本情況有無明顯變化（如資質(zhì)、資格、產(chǎn)品規(guī)模等）；再其次，選擇同一個供應(yīng)商時在時間跨度上不宜太大，否則會受政策環(huán)境、評標(biāo)標(biāo)準(zhǔn)變化等因素影響；最后，滿足前三個基本條件的，可以對專家的評分進(jìn)行縱向抽樣比較。如發(fā)現(xiàn)專家對同一個企業(yè)的評分存在明顯偏離的，就有理由懷疑其存在異常評分行為。

設(shè)專家本次評分結(jié)果為Qi，歷史上專家對于該企業(yè)的評分為Q，預(yù)設(shè)的縱向偏離區(qū)間為▽，則合理縱向偏離幅度應(yīng)當(dāng)滿足公式②。

評審時長判定（Determination of bid evaluation duration，EVD）是橫向偏差判定和縱向偏差判定以外的一個重要且簡捷有效的補(bǔ)充判定方法。理論依據(jù)簡單，即沒有足夠的評審時長保障，專家不可能作出合理的評審結(jié)論。由于我國的政府采購一般都是通過計算機(jī)評審系統(tǒng)對電子投標(biāo)文件進(jìn)行評審，因此，專家在瀏覽電子文檔的駐留時間很容易被計算機(jī)自動記錄下來（一般利用Ajax輪詢技術(shù)就可調(diào)用專家瀏覽投標(biāo)文件的后臺日志），如此容易判斷專家能否給出公正的評審結(jié)論。這個時間維度的指標(biāo)可以從多個角度來定義或者計算，比如，可以計算單頁駐留時長、全文本頁面平均駐留時長、頁面停留極端時長（即單頁最長或者最短駐留時長）等。

當(dāng)然要構(gòu)建合理的標(biāo)書文件駐留時長模型不易，因?yàn)闀r長模型涉及的參數(shù)眾多，要充分考慮投標(biāo)文件字體的大小、文字內(nèi)容的難易程度、信息密集程度，以及專家的閱讀習(xí)慣、專業(yè)水平等。有時為了方便起見，也可以采用縱橫比較的方法來作一些粗略的判斷，比如評標(biāo)時長不到其他專家平均時長的1/5，那就需要重點(diǎn)關(guān)注該評委有沒有存在草率評標(biāo)的情形。另外，專家對于不同的投標(biāo)文件存在明顯的瀏覽時間差異也是一個應(yīng)當(dāng)引起重視的現(xiàn)象，因?yàn)?，很難想象，專家對于不同的投標(biāo)文件在嚴(yán)重不對等的時長分配下能給出令人信服的結(jié)論。

異常評分判定公式

政府采購評審中，應(yīng)當(dāng)分別運(yùn)用以上三種判定方式，最終分析得出專家的評分是否屬于異常評分情形。當(dāng)然也可以對以上三種方式進(jìn)行權(quán)重分配后給出一個綜合評價數(shù)值。

設(shè)橫向偏差、縱向偏差和時長偏差合理評分置信區(qū)間分別為[LADmin,LADmax]、[LODmin,LODmax]、[EVDmin,EVDmax]，評審專家的橫向、縱向、時長評分分別為LAD、LOD、EVD，綜合評價數(shù)值公式如③，且同時滿足公式②時，可判定為異常評分。

有時也可事先設(shè)定一個綜合置信區(qū)間，即假定綜合合理評分置信區(qū)間（Comprehensive confidence interval，CCI）為[CCImin，CCImax]，對橫向、縱向和時長偏差根據(jù)對異常評分的可能影響程度分別進(jìn)行權(quán)重分配，設(shè)權(quán)重系數(shù)分別是α、β、γ，則判定公式可更改為公式④。

從異常評分判定的科學(xué)性、全面性而言，公式③更加客觀、公正，但是計算量較大；公式④相對比較簡便，但是易造成誤判。需要政府采購管理部門在積累大樣本數(shù)據(jù)的基礎(chǔ)上適時調(diào)校置信區(qū)間參數(shù)。

如圖是江蘇省南通市政府采購評審專家的一份異常評分檢測報告。從圖上的分析結(jié)論來看，張姓評委在橫向偏離、縱向偏離都超過了預(yù)設(shè)的閾值（極限值），尤其是時長偏差明顯有悖于常理。因?yàn)槠湓趩雾摰钠骄鶠g覽時間只有4秒，47份投標(biāo)文件、4000多頁的文本在短短67分鐘內(nèi)就評審?fù)戤?，顯然是不符合評審規(guī)律的（甚至可以得出部分投標(biāo)文件根本沒有瀏覽的結(jié)論），因此判定其存在異常評分證據(jù)確鑿無疑。

異常評分的修正

從現(xiàn)行的政府采購法律體系看，即便能夠科學(xué)、公正地甄別出專家的異常評分也很難直接予以修正。首先，國家層面對異常評分還沒有明確的界定標(biāo)準(zhǔn)或處置方法。財政部雖然在《關(guān)于進(jìn)一步規(guī)范政府采購評審工作有關(guān)問題的通知》中指出，采購人、采購代理機(jī)構(gòu)……要對評審數(shù)據(jù)進(jìn)行校對、核對，對畸高、畸低的重大差異評分可以提示評審委員會復(fù)核或書面說明理由，但沒有允許直接修正評分。其次，多數(shù)評審專家對于自己的評分出現(xiàn)偏差也難以接受，更不會主動提出修改評審結(jié)論。最后，評分修正關(guān)系企業(yè)切身利益，決定了中標(biāo)供應(yīng)商資格的歸屬，無論是采購人還是行業(yè)監(jiān)督部門都不得不采取小心謹(jǐn)慎的態(tài)度，在沒有充分依據(jù)的情況下不會主動啟動評分修正程序。

基于上述原因，目前比較合適的做法是，把專家的異常評分與日常考核聯(lián)動起來，對于長期出現(xiàn)異常評分情況的專家，及時指出問題所在，加強(qiáng)監(jiān)督教育管理，拒不改正的，堅(jiān)決暫停其評審資格或者清理出庫。有條件的地區(qū)，可以在積累一定樣本數(shù)量的基礎(chǔ)上，通過大數(shù)據(jù)分析方法，研究哪些領(lǐng)域、哪些行業(yè)、哪種評標(biāo)方法容易引發(fā)異常評分偏差，定量分析專家的評審質(zhì)量波動幅度和趨勢，從而為政府采購行業(yè)主管部門制定標(biāo)后評估管理辦法提供科學(xué)的依據(jù)。

評審專家的異常評分在政府采購行業(yè)內(nèi)飽受詬病，它破壞了公平公正的市場秩序，違反了優(yōu)質(zhì)優(yōu)價的評審原則。要從根本上破解這個難題，需要從管理、技術(shù)和政策三個方面同時施策。

基于管理層面，異常評分的一個根本原因是評審專家擁有過大的自由裁量權(quán)，評分空間彈性太大，專家不恰當(dāng)?shù)匦惺惯^大的自主權(quán)很容易導(dǎo)致評分偏離正常的軌道。因此，要在評標(biāo)辦法的制度設(shè)計上壓縮自由評審的幅度和范圍。財政部在《關(guān)于進(jìn)一步加強(qiáng)政府采購需求和履約驗(yàn)收管理的指導(dǎo)意見》中明確指出，采購文件設(shè)定的評審因素要與采購需求對應(yīng)，采購需求相關(guān)指標(biāo)有區(qū)間規(guī)定的，評審因素應(yīng)當(dāng)量化到相應(yīng)區(qū)間。另外，在評標(biāo)方法的選擇上，要結(jié)合采購項(xiàng)目特點(diǎn)和實(shí)際需要選擇恰當(dāng)?shù)脑u標(biāo)方法。對于采用通用技術(shù)、成熟工藝的常規(guī)采購項(xiàng)目，宜采用價格單因素（包括經(jīng)評審的最低評標(biāo)價法）等客觀因素主導(dǎo)的評標(biāo)方法，不宜選用過度依賴評委主觀評判的綜合評分法，這樣從根源上就鏟除了可能滋生異常評分的不利因素。

基于技術(shù)層面，隨著信息化技術(shù)的進(jìn)步，利用人工智能來輔助評審是解決專家評分異常的有效工具。目前，一些地方已經(jīng)開始嘗試此做法，例如，中山大學(xué)研發(fā)出了一種快速采購系統(tǒng)，首次將人工智能AI與數(shù)據(jù)技術(shù)應(yīng)用于招投標(biāo)和評標(biāo)等采購過程中。智能評審的基本思路是將采購文件進(jìn)行結(jié)構(gòu)化拆解、抽取評分點(diǎn)信息、調(diào)用評審樣本數(shù)據(jù)庫，再借助半監(jiān)督機(jī)器學(xué)習(xí)算法，以知識圖譜技術(shù)為補(bǔ)充，實(shí)現(xiàn)對投標(biāo)文件的智能評審。這樣的評審結(jié)論基本上可擺脫人為的主觀判斷，結(jié)果的均衡性、穩(wěn)定性顯然大大優(yōu)于人為操作。

基于政策層面，如果能在科學(xué)論證的基礎(chǔ)上，適度賦予采購人在異常評分識別機(jī)制下可以自主修正評審結(jié)果的權(quán)利，則能一定程度上減小異常評分帶來的危害。

（作者單位：江蘇省南通市政府采購中心）

編后

政府采購中，無論是出于有意還是無意，評審專家主觀傾向性異常打分是直接影響政府采購評審公正的主要因素之一。目前，由于缺乏明確的依據(jù)和判斷標(biāo)準(zhǔn)，政府采購監(jiān)管部門很難進(jìn)行科學(xué)治理。而本文作者從產(chǎn)生異常評分的背景和因素出發(fā)，提出了判定異常評分的識別方法，并就如何有效預(yù)防異常評分提出相關(guān)建議。

構(gòu)建公平、健康、有序的市場環(huán)境，是政府采購的必然要求。我們相信，隨著政府采購制度的不斷完善以及科學(xué)技術(shù)的蓬勃發(fā)展，未來，政府采購領(lǐng)域?qū)υu審專家的異常評分可以有效地識別、分析、判定和管理。

本報擁有此文版權(quán)，若需轉(zhuǎn)載或復(fù)制，請注明來源于中國政府采購報，標(biāo)注作者，并保持文章的完整性。否則，將追究法律責(zé)任。