​Licitația pentru crearea unei platforme digitale cu resurse educaționale deschise la nivel național (bibliotecă virtuală), contract finanțat din fonduri UE estimat la peste 182,9 milioane de lei (fără TVA), a fost contestată. O firmă cere Consiliului Național de Soluționare a Contestațiilor (CNSC) să suspende ori să anuleze licitația pe motiv că cerințele financiare solicitate operatorilor economici interesați ar fi restrictive, dar și pe motiv că dezvoltarea unui asistent bazat pe inteligență artificială care să înțeleagă și să răspundă în limba română întrebărilor profesorilor ar fi imposibilă într-un termen de 18 luni.

Biblioteca virtualaFoto: SEAP

Agenţia de Administrare a Reţelei Naţionale de Informatică pentru Educaţie şi Cercetare (ARNIEC), care gestionează reţeaua RoEduNet, a demarat în data de 12 septembrie 2020, o licitație deschisă pentru dezvoltarea unei platforme digitale cu resurse educaționale deschise la nivel național (bibliotecă virtuală), contract finanțat din fonduri UE estimat la peste 182,9 milioane de lei (fără TVA).

La bază, sistemul IT reprezintă o bibliotecă digitală de conținuturi multimedia interactive și un asistent inteligent de învățare care oferă posibilitatea utilizării coerente, în relația directă profesor-elev folosirea unor instrumente pentru învățare, predare si evaluare, moderne și apropiate culturii digitale a tinerei generații, conform caietului de sarcini.

Termenul limită pentru primirea ofertelor este 21 octombrie 2020, dar procedura a primit deja o contestație, conform datelor din Sistemul electronic de achiziții publice (SEAP).

Numele firmei care a făcut contestație la CNSC este anonimizat, dar sunt prezentate în amănunt aspectele reclamate a fi nelegale. CNSC nu a emis încă o decizie în privința acestei contestații.

  • Cerințe financiare care ar fi restrictive și disproporționate - Media cifrei de afaceri pentru ultimii 3 ani să fie 75 milioane euro, dar la experiență ar fi de ajuns și contracte de 5.000 de euro

Primul aspect contestat vizează "restricționarea nejustificată a participării la procedura de atribuire prin impunerea unor cerințe restrictive/disproporționate".

Firma consideră că solicitarea din documentația achiziției, respectiv ca media anuală a cifrei de afaceri globale de e ultimii 3 ani (2019, 2018, 2017) să fie de cel puțin 365.989.478,38 lei (aproximativ 75,5 milioane de euro) este nejustificată și disproporționată în raport cu cerința privind experiența similară relevantă:

"Chiar și în contextul în care, potrivit art. 182 din legea 98/2016 un operator economic are dreptul să invoce susținerea unui/unor terț/terți în ceea ce privește îndeplinirea criteriilor referitoare la situația economică și financiară, considerăm că solicitarea valorii de 365.989.478,38 lei este excesivă și de natură să restricționeze accesul operatorilor economici la procedura în cauză.

De asemenea, considerăm că prin impunerea unei astfel de cerințe, a fost încălcat principiul proporționalității, principiu care în domeniul achizițiilor presupune corelarea dintre:

  • - necesitățile autorității contractante
  • - obiectul contractului de achiziție
  • - cerințele care trebuie îndeplinite de ofertanți pentru satisfacerea necesităților autorității contractante/achizitorului

Practic, pe de o parte, autoritatea contractantă solicită ca media cifrei de afaceri pe ultimii 3 ani să fie de peste 75 milioane de euro, dar pe de altă parte consideră că prezetarea, de exemplu, a unui contract de 5.000 de euro care a avut ca obiect furnizarea de pachete software, este suficientă pentru ca operatorul economic să demonstreze potențialul său de a îndeplini contractul de achiziție publică și de a rezolva eventualele dificultăți legate de îndeplinirea acestuia, în cazul în care oferta sa va fi declarată câștigătoare.", se arată în contestație.

Pentru a remedia acest aspect, firma solicită 'diminuarea la un nivel rezonabil' a cerințelor financiare din documentația de atribuire.

  • Dezvoltarea unui asistent bazat pe inteligență artificială care să înțeleagă și să răspundă în limba română întrebărilor profesorilor ar fi imposibilă în 18 luni

Al doilea aspect al contestației este de natră tehnică. Firma susține că durata de 18 luni a contractului este insuficientă pentru dezvoltarea mecanismelor de NLP (natural language processing) pentru limba română:

  • "În caietul de sarcini aferent procedurii, la pag 8, cap. 2.1.1 - Predarea pe proiector (kit mobil) a unei lecții inteligente cu răspunsuri automate la cereri în limbaj natural, autoritatea contractantă a solicitat următoarea cerință:
  • "Asistentul bazat pe inteligență artificială livrează în mod automat un flux de învățare oferind atât voce artificială cât și text scris (..) În funcție de conceptele care trebuie clarificate profesorul va adresa întrebări în limbaj natural către asistentul inteligent de învățare, care oferă răspunsuri pe baza unui algoritm de machine learning creați special în acest sens."

În plus, la pag. 150, capitolul 3.7.2 - Servicii și sesiuni de învățare pentru asistenții bazați pe inteligență artificială, a fost solicitată următoarea cerință:

  • "Mecanismul de învățare continuă trebuie să fie prezent în cadrul platformei astfel încâ asistenții IA să își îmbunătățească performanțele pe tot parcursul folosirii platformei prin luarea în calcul nu numai a sesiunilor de învățare de baza, dar și a experiențelor practice, prin înțelegerea cunoștințelor cursanților - oferirea răspunsurilor necesare - și evaluarea gradului de de înțelegere a aspectelor predate. Experiența inovativă în relația cu asistenții IA stă în capacitatea acestora de a livra conținut educațional din magazinul de resurse educaționale împreună cu experiențele precedente, din alte sesiuni de instruire".

Cu privire la cerințele enunțate anterior, firma contestă următoarele:

  • la acest moment cercetarea în domeniul procesării naturale (natural language processing - NLP) din cadrul centrelor universitare cu tradiție din București, Cluj, Iași și Timișoara, inclusiv a grupurilor de lucru care pun în comun resursele necesare instruirii acestor agenți pentru limba română este în stadiu incipient.
  • la acest moment, cercetarea în domeniul procesării naturale (natural language processing - NLP) este în stadiu incipent ținând cont de specificul limbii române, dialectele și regionalismele, departe de a permite industrializarea acestui gen de produse, lucru confirmat de altfel și de lucrările publicate în literatura de specialitate la nivel internațional.
  • Având în vedere aspectele cu caracter tehnic prezentate anterior și stadiul dezvoltării mecanismelor de NLP (natural language processing) pentru limba română, considerăm că cerințele autorității contractante sunt imposibil de realizat de către potențialii ofertanți prin ofertarea de produse software de tip COTS (commercial off-the-shelf) sau prin ofertarea de soluții informatice dezvoltate de către terțe părți, ținând cont că acestea nu există pentru limba română.
  • În plus, conform informațiilor din fișa de date a achiziției, contractul în cauză este unul de furnizare, neavând niciun cod CPV de dezvoltare software asociat, iar din cuprinsul Caietului de sarcini reiese că pentru componentele ce includ mecanisme de machine learning, sistemul ofertat trebuie să fie gata pentru a fi pus în producție.
  • De asemenea, durata de 18 luni a contractului este insuficientă pentru dezvoltarea mecanismelor de NLP (natural language processing) pentru limba română, care așa cum am precizat anterior, se află în stadiu incipient de cercetare, particularitățile limbii române (regionalisme și neologisme) și în special gramatica limbii, fiind extrem de complexe.
  • Pentru ca un sistem de machine learning să fie funcțional, trebuie ca inițial, să fie supus unei etape de învățare pentru a înțelege întrebările primite de la elevi sau pentru a putea interpreta răspunsurile acestora din urmă.
  • În cadrul documentației de atribuire nu sunt oferite informații despre modalitățile de instruire ale algoritmilor de machine learning, despre numărul de întrebări pentru care sistemul trebuie să fie proiectat în ceea ce privește primirea și răspunsul de întrebări.
  • În plus, autoritatea contractantă nu specifică în cadrul documentației de atribuire cine va efectua instruirea algoritmilor de machine learning (autoritatea contractantă sau potențialii ofertanți) și dacă va pune sau nu la dispoziția acestora îregistrările și adnotările necesare pentru instruire.
  • Având în vedere faptul că procesul de învățare și fine tuning al algoritmilor de machine learning în domeniul NLP este unul supervizat de experți în domeniu și este un proces continuu, considerăm că Autoritatea contractantă trebuia să specifice în cadrul documentației de atribuire în sarcina cui intră costurile aferente acestui proces și pentru ce perioadă trebuie el asigurat.
  • Considerăm că cerințele formulate sunt ambigue și incomplete și nu permit potențialilor ofertanți să întocmească o oertă tehnică pentru o soluție funcțională, și în plus insuficiente pentru aceștia pentru a-și putea bugeta costurile necesare implementării mecaismelor de machine learning din cadrul prezentului contract.
  • Suplimentar, considerăm că superficialitatea cu care au fost detaliate cerințele pentru mecanismele de machine learning va face imposibilă pentru autoritatea contractantă recepția modulelor/sistemelor ce conțin algoritmi de machine learning.
  • Atâta timp cât funcționalitățile tehnice ale mecanismelor de machine learning sunt neclare și necuantificabile, Autoritatea contractantă se va afla în imposibilitatea de a evalua din punct de vedere tehnic ofertele și produsele finale livrate de către potențialii ofertanți."

În baza acestor aspecte semnalate, firma solicită următoarele de la CNSC:

  • a) să dispună suspendarea procedurii de atribuire până la soluționarea prezentei contestații
  • b) să dispună adoptarea măsurilor de remediere a documentației de atribuire, care să asigure respectarea legislației în vigoare
  • c) În subsidiar, în situația în care Consiliul va considera că nu este posibilă remedierea aspectelor sesizate, să dispună anularea procedurii de licitație deschisă.