​Contestație la licitația pentru Biblioteca Virtuală din Educație: Cerințe financiare restrictive și termene imposibile pentru dezvoltarea asistentului bazat pe Inteligență Artificială

de Adrian Vasilache     HotNews.ro
Marţi, 6 octombrie 2020, 15:48 Economie | Telecom


Biblioteca virtuala
Foto: SEAP
 documente
(06 Oct 2020) PDF, 1MB
​Licitația pentru crearea unei platforme digitale cu resurse educaționale deschise la nivel național (bibliotecă virtuală), contract finanțat din fonduri UE estimat la peste 182,9 milioane de lei (fără TVA), a fost contestată. O firmă cere Consiliului Național de Soluționare a Contestațiilor (CNSC) să suspende ori să anuleze licitația pe motiv că cerințele financiare solicitate operatorilor economici interesați ar fi restrictive, dar și pe motiv că dezvoltarea unui asistent bazat pe inteligență artificială care să înțeleagă și să răspundă în limba română întrebărilor profesorilor ar fi imposibilă într-un termen de 18 luni.

Agenţia de Administrare a Reţelei Naţionale de Informatică pentru Educaţie şi Cercetare (ARNIEC), care gestionează reţeaua RoEduNet, a demarat în data de 12 septembrie 2020, o licitație deschisă pentru dezvoltarea unei platforme digitale cu resurse educaționale deschise la nivel național (bibliotecă virtuală), contract finanțat din fonduri UE estimat la peste 182,9 milioane de lei (fără TVA).

La bază, sistemul IT reprezintă o bibliotecă digitală de conținuturi multimedia interactive și un asistent inteligent de învățare care oferă posibilitatea utilizării coerente, în relația directă profesor-elev folosirea unor instrumente pentru învățare, predare si evaluare, moderne și apropiate culturii digitale a tinerei generații, conform caietului de sarcini.

Termenul limită pentru primirea ofertelor este 21 octombrie 2020, dar procedura a primit deja o contestație, conform datelor din Sistemul electronic de achiziții publice (SEAP).


Numele firmei care a făcut contestație la CNSC este anonimizat, dar sunt prezentate în amănunt aspectele reclamate a fi nelegale. CNSC nu a emis încă o decizie în privința acestei contestații.

  • Cerințe financiare care ar fi restrictive și disproporționate - Media cifrei de afaceri pentru ultimii 3 ani să fie 75 milioane euro, dar la experiență ar fi de ajuns și contracte de 5.000 de euro

Primul aspect contestat vizează "restricționarea nejustificată a participării la procedura de atribuire prin impunerea unor cerințe restrictive/disproporționate".

Firma consideră că solicitarea din documentația achiziției, respectiv ca media anuală a cifrei de afaceri globale de e ultimii 3 ani (2019, 2018, 2017) să fie de cel puțin 365.989.478,38 lei (aproximativ 75,5 milioane de euro) este nejustificată și disproporționată în raport cu cerința privind experiența similară relevantă:

"Chiar și în contextul în care, potrivit art. 182 din legea 98/2016 un operator economic are dreptul să invoce susținerea unui/unor terț/terți în ceea ce privește îndeplinirea criteriilor referitoare la situația economică și financiară, considerăm că solicitarea valorii de 365.989.478,38 lei este excesivă și de natură să restricționeze accesul operatorilor economici la procedura în cauză.

De asemenea, considerăm că prin impunerea unei astfel de cerințe, a fost încălcat principiul proporționalității, principiu care în domeniul achizițiilor presupune corelarea dintre:
  • - necesitățile autorității contractante
  • - obiectul contractului de achiziție
  • - cerințele care trebuie îndeplinite de ofertanți pentru satisfacerea necesităților autorității contractante/achizitorului

Practic, pe de o parte, autoritatea contractantă solicită ca media cifrei de afaceri pe ultimii 3 ani să fie de peste 75 milioane de euro, dar pe de altă parte consideră că prezetarea, de exemplu, a unui contract de 5.000 de euro care a avut ca obiect furnizarea de pachete software, este suficientă pentru ca operatorul economic să demonstreze potențialul său de a îndeplini contractul de achiziție publică și de a rezolva eventualele dificultăți legate de îndeplinirea acestuia, în cazul în care oferta sa va fi declarată câștigătoare.", se arată în contestație.

Pentru a remedia acest aspect, firma solicită 'diminuarea la un nivel rezonabil' a cerințelor financiare din documentația de atribuire.

  • Dezvoltarea unui asistent bazat pe inteligență artificială care să înțeleagă și să răspundă în limba română întrebărilor profesorilor ar fi imposibilă în 18 luni

Al doilea aspect al contestației este de natră tehnică. Firma susține că durata de 18 luni a contractului este insuficientă pentru dezvoltarea mecanismelor de NLP (natural language processing) pentru limba română:

  • "În caietul de sarcini aferent procedurii, la pag 8, cap. 2.1.1 - Predarea pe proiector (kit mobil) a unei lecții inteligente cu răspunsuri automate la cereri în limbaj natural, autoritatea contractantă a solicitat următoarea cerință:
  • "Asistentul bazat pe inteligență artificială livrează în mod automat un flux de învățare oferind atât voce artificială cât și text scris (..) În funcție de conceptele care trebuie clarificate profesorul va adresa întrebări în limbaj natural către asistentul inteligent de învățare, care oferă răspunsuri pe baza unui algoritm de machine learning creați special în acest sens."

În plus, la pag. 150, capitolul 3.7.2 - Servicii și sesiuni de învățare pentru asistenții bazați pe inteligență artificială, a fost solicitată următoarea cerință:
  • "Mecanismul de învățare continuă trebuie să fie prezent în cadrul platformei astfel încâ asistenții IA să își îmbunătățească performanțele pe tot parcursul folosirii platformei prin luarea în calcul nu numai a sesiunilor de învățare de baza, dar și a experiențelor practice, prin înțelegerea cunoștințelor cursanților - oferirea răspunsurilor necesare - și evaluarea gradului de de înțelegere a aspectelor predate. Experiența inovativă în relația cu asistenții IA stă în capacitatea acestora de a livra conținut educațional din magazinul de resurse educaționale împreună cu experiențele precedente, din alte sesiuni de instruire".

Cu privire la cerințele enunțate anterior, firma contestă următoarele:


  • la acest moment cercetarea în domeniul procesării naturale (natural language processing - NLP) din cadrul centrelor universitare cu tradiție din București, Cluj, Iași și Timișoara, inclusiv a grupurilor de lucru care pun în comun resursele necesare instruirii acestor agenți pentru limba română este în stadiu incipient.
  • la acest moment, cercetarea în domeniul procesării naturale (natural language processing - NLP) este în stadiu incipent ținând cont de specificul limbii române, dialectele și regionalismele, departe de a permite industrializarea acestui gen de produse, lucru confirmat de altfel și de lucrările publicate în literatura de specialitate la nivel internațional.
  • Având în vedere aspectele cu caracter tehnic prezentate anterior și stadiul dezvoltării mecanismelor de NLP (natural language processing) pentru limba română, considerăm că cerințele autorității contractante sunt imposibil de realizat de către potențialii ofertanți prin ofertarea de produse software de tip COTS (commercial off-the-shelf) sau prin ofertarea de soluții informatice dezvoltate de către terțe părți, ținând cont că acestea nu există pentru limba română.
  • În plus, conform informațiilor din fișa de date a achiziției, contractul în cauză este unul de furnizare, neavând niciun cod CPV de dezvoltare software asociat, iar din cuprinsul Caietului de sarcini reiese că pentru componentele ce includ mecanisme de machine learning, sistemul ofertat trebuie să fie gata pentru a fi pus în producție.
  • De asemenea, durata de 18 luni a contractului este insuficientă pentru dezvoltarea mecanismelor de NLP (natural language processing) pentru limba română, care așa cum am precizat anterior, se află în stadiu incipient de cercetare, particularitățile limbii române (regionalisme și neologisme) și în special gramatica limbii, fiind extrem de complexe.
  • Pentru ca un sistem de machine learning să fie funcțional, trebuie ca inițial, să fie supus unei etape de învățare pentru a înțelege întrebările primite de la elevi sau pentru a putea interpreta răspunsurile acestora din urmă.
  • În cadrul documentației de atribuire nu sunt oferite informații despre modalitățile de instruire ale algoritmilor de machine learning, despre numărul de întrebări pentru care sistemul trebuie să fie proiectat în ceea ce privește primirea și răspunsul de întrebări.
  • În plus, autoritatea contractantă nu specifică în cadrul documentației de atribuire cine va efectua instruirea algoritmilor de machine learning (autoritatea contractantă sau potențialii ofertanți) și dacă va pune sau nu la dispoziția acestora îregistrările și adnotările necesare pentru instruire.
  • Având în vedere faptul că procesul de învățare și fine tuning al algoritmilor de machine learning în domeniul NLP este unul supervizat de experți în domeniu și este un proces continuu, considerăm că Autoritatea contractantă trebuia să specifice în cadrul documentației de atribuire în sarcina cui intră costurile aferente acestui proces și pentru ce perioadă trebuie el asigurat.
  • Considerăm că cerințele formulate sunt ambigue și incomplete și nu permit potențialilor ofertanți să întocmească o oertă tehnică pentru o soluție funcțională, și în plus insuficiente pentru aceștia pentru a-și putea bugeta costurile necesare implementării mecaismelor de machine learning din cadrul prezentului contract.
  • Suplimentar, considerăm că superficialitatea cu care au fost detaliate cerințele pentru mecanismele de machine learning va face imposibilă pentru autoritatea contractantă recepția modulelor/sistemelor ce conțin algoritmi de machine learning.
  • Atâta timp cât funcționalitățile tehnice ale mecanismelor de machine learning sunt neclare și necuantificabile, Autoritatea contractantă se va afla în imposibilitatea de a evalua din punct de vedere tehnic ofertele și produsele finale livrate de către potențialii ofertanți."

În baza acestor aspecte semnalate, firma solicită următoarele de la CNSC:

  • a) să dispună suspendarea procedurii de atribuire până la soluționarea prezentei contestații
  • b) să dispună adoptarea măsurilor de remediere a documentației de atribuire, care să asigure respectarea legislației în vigoare
  • c) În subsidiar, în situația în care Consiliul va considera că nu este posibilă remedierea aspectelor sesizate, să dispună anularea procedurii de licitație deschisă.






Citeste doar ceea ce merita. Urmareste-ne si pe Facebook si Instagram.

















1631 vizualizari

  • 0 (0 voturi)    
    Deci (Marţi, 6 octombrie 2020, 17:24)

    Casargoz [utilizator]

    Nu vreau sa fac o analiza pe text. Nici sa judec daca e oportun proiectul sau daca specificatiile sunt bune sau rele.
    Dar:
    Având în vedere faptul că procesul de învățare și fine tuning al algoritmilor de machine learning în domeniul NLP este unul supervizat de experți în domeniu

    1. As vrea si eu sa numeasca domnul contestatar doi experti care supervizeaza algoritmii de invatare. Si sa nu vina cu doi vitenamezi mici numiti Ho și Min. Supervizat nu inseamna ca ai niste experti care stau cu ochii geana pe "procesul de invatare"
    2. Fraze de genul: lucru confirmat de altfel și de lucrările publicate în literatura de specialitate la nivel internațional.
    Se incadreaza in stilul procurorilor sovietici: se stie ca...
    Este un lucru confirmat de lucrari? pai nu ar fi util sa citam macar o lucrare?
    Exista o parte administrativa care va fi lamurita ( cifra de afaceri) si ar trebui probabil transata in favoarea admiterii cererii. O chestiune absolut justificata.
    In privinta cerintelor de ML si NLP nu inteleg ce doreste acesta contestatie: Sa vedem ca cel care a elaborta contestatia este destept sau talentat? Sa fie scos modului in cauza?

    Da am citit : Sa se remedieze :)

    Problema e genul acesta de contestatii este una din cauzele pentru care nu se fac proiecte.

    Lucrurile ar trebui sa fie simple:
    1. Cifra de afacei? Mica ca sa existe competitie.
    2.Cerinte tehnice. Licitatie deschisa. Daca e un singur participant sa se anuleze procedura. Povesti de genul eu vreau sa particip dar nu cred ca poate cineva din lumea asta sa faca ce nu pot face eu...
    Poate stie Google sa faca NLP in romana.(https://support.google.com/assistant/answer/9234753#interpreter_languages_mobile)
    You can ask the Google Assistant to translate into any of the following languages:

    Arabic
    Bengali
    Burmese
    Cambodian (also called Khmer)
    Czech
    Danish
    Dutch
    English
    Estonian
    Filipino (Tagalog)
    Finnish
    French
    German
    Greek
    Gujarati
    Hindi
    Hungarian
    Indonesian
    Italian
    Japanese
    Javanese
    Kannada
    Korean
    Malayalam
    Marathi
  • 0 (0 voturi)    
    Monopol (Marţi, 6 octombrie 2020, 17:38)

    Adrian Calin [utilizator]

    Cea mai mare problemă a acestei licitații nu o reprezintă cerința pentru cifra de afaceri ci faptul că va institui un monopol în sistemul public de educație pentru că nu se mai pot oferi soluții alternative. Cum va putea un director de școală să justifice că vrea să apeleze la o altă soluție dacă statul i-a băgat pe gât deja o platformă și niște cursuri?
    S-au mai cheltuit niște sute de milioane de euro pe soluții e-learning în trecut. Ați văzut profesori care să utilizeze acele soluții, ați auzit elevi încântați de cursurile online, ați auzit părinți care au avut acces la vreun catalog online sau chestii asemănătoare? Ați văzut ce cu pantalonii în vine ne-a prins pandemia. Profesorii abia știu să apese pe butonul de start la un calculator.
    Știm toți că este un tun și mai grav este că se dă un tun pe ceva ce nu se mai poate repara ani de zile. Dacă faci o stradă și se face prost, o mai cârpești, mai pui niște asfalt, scoți până la urmă o șosea cât de cât ok, chiar dacă s-a dat un tun. În cazul de față este inconștiență cruntă din partea tuturor celor implicați. Ne jucăm, în continuare cu educația.
    Cei care așteaptă să sifoneze vreo 25 de milioane (cam atât rămân de sifonat pentru că este totul supraevaluat și restrictiv ca să câștige cine trebuie) nu cred că vor avea vreo milă de noi, ne vor fura și acum pentru că ei gândesc doar pe termen scurt și foarte scurt.


Abonare la comentarii cu RSS

ESRI

Întâlniri on-line | #deladistanță

Top 10 articole cele mai ...



Hotnews
Agenţii de ştiri

Siteul Hotnews.ro foloseste cookie-uri. Cookie-urile ne ajută să imbunatatim serviciile noastre. Mai multe detalii, aici.



powered by
developed by