Gruppo di lavoro per l'individuazione di benchmark
INTRODUZIONE
Nei capitolati tecnici per l’acquisizione di PC, l’indicazione dei requisiti prestazionali è avvenuta finora in forma indiretta attraverso una descrizione dettagliata delle caratteristiche tecniche ritenute adeguate a garantire il livello desiderato di prestazioni del sistema quali ad esempio: la frequenza di clock del processore, le dimensioni della cache di secondo livello, il tipo di memoria RAM, la frequenza del bus, il tipo di memoria del sottosistema grafico. L’evoluzione del mercato dei processori e delle altre componenti del sistema ha portato a differenze tecniche e architetturali delle soluzioni offerte dai diversi produttori tali da rendere non più adeguato questo approccio che, oltre a non assicurare adeguate prestazioni complessive del sistema da acquisire, può portare a restringere in modo ingiustificato il numero di fornitori in grado di partecipare alla gara. Da qui la decisione di verificare la possibilità di passare ad un approccio basato su benchmark prestazionali in linea con quanto consigliato dai maggiori advisor internazionali nel campo dell’IT.
IL BENCHMARK PRESTAZIONALE
In informatica, un benchmark prestazionale è una procedura documentata che misura il tempo necessario a un sistema per eseguire un compito di calcolo ben definito. Si assume che questo tempo sia collegato alla performance del sistema stesso e che in qualche modo la stessa procedura possa essere applicata ad altri sistemi, così da poter fare confronti pertinenti fra diverse configurazioni hardware e software. I benchmark vengono utilizzati correntemente nei capitolati tecnici relativi a sistemi server per definire i livelli di prestazione richiesti. Tra i più utilizzati e riconosciuti come standard di mercato sono i benchmark messi a punto dal Transaction Processing Council (TPC) per valutare e confrontare le prestazioni dei server nelle principali tipologie di utilizzo o i benchmark come il Sysmark2004, sviluppati dal Consorzio Bapco per valutare e confrontare le prestazioni dei PC desktop.
IL GRUPPO DI LAVORO
Le strutture tecniche del CNIPA hanno approfondito la tematica concentrando l’attenzione sui benchmark applicativi, una particolare categoria di benchmark che utilizzano applicazioni reali per misurare le prestazioni dell’intero sistema in situazioni vicine a quelle di effettivo utilizzo. Nel caso dei personal computer sono disponibili sul mercato alcuni benchmark applicativi, sviluppati da società indipendenti o associazioni no-profit di fornitori, partendo dalla analisi delle attività svolte dagli utenti e dalle applicazioni utilizzate nelle diverse tipologie d’uso. In fase di esecuzione i benchmark attivano, attraverso degli script, un opportuno mix di applicazioni tipiche di ciascuna tipologia d’uso e misurano il tempo totale di esecuzione. Ad esempio, i benchmark sviluppati per valutare le prestazioni di personal computer utilizzati nel normale lavoro di ufficio attivano applicazioni di videoscrittura, foglio elettronico, presentazione, antivirus, browser, ecc. In particolare sono stati individuati alcuni benchmark basati su applicazioni di office productivity e sono stati effettuati test su personal computer messi a disposizione da alcuni fornitori. Queste attività di approfondimento hanno fornito alcune indicazioni di base che hanno guidato l’attività del Gruppo di Lavoro costituito dal CNIPA nel febbraio 2003, a cui partecipano rappresentanti delle associazioni dei fornitori Assintel, Assinform, Federcomin, Anie e Consip. Il GdL si pone come obiettivo di:
approfondire la tematica dei benchmark per la comparazione quantitativa delle prestazioni di personal computer desktop e portatili presenti sul mercato, che le amministrazioni pubbliche intendono acquisire;
fornire indicazioni, aggiornate con periodicità almeno semestrale, sui benchmark da utilizzare e sulle modalità di determinazione dei valori soglia e di esecuzione dei benchmark stessi.
I benchmark devono essere basati su mix di applicazioni vicini all’utilizzo medio previsto per le diverse tipologie di sistemi. Nel maggio 2004 i compiti del GdL sono stati estesi al fine di individuare benchmark anche per i server e i sistemi di storage.
LO STATO DELL’ARTE
I rappresentanti della Consip hanno individuato il profilo medio di utilizzo del software su personal computer da parte di alcune Amministrazioni intervistate, appartenenti alla struttura centrale e a quella locale. I risultati della indagine hanno evidenziato che circa il 70% del carico di lavoro è costituito da applicazioni di office productivity, mentre il restante 30% è costituito da applicazioni amministrative residenti per lo più su server. Le Associazioni hanno condiviso la scelta di utilizzo dello strumento benchmark per valutare le prestazioni e indicato le caratteristiche generali di cui devono essere dotati i benchmark da utilizzare. Tutti i contributi delle associazioni hanno indicato che, per la corretta ed equilibrata valutazione delle offerte, oltre all’utilizzo di benchmark prestazionali occorre porre attenzione alle caratteristiche qualitative dei prodotti. In particolare, per FEDERCOMIN "le valutazioni quantitative che emergono dall’utilizzo di benchmark prestazionali devono essere utilizzate a complemento di tutti gli altri parametri che concorrono alla valutazione globale dell’offerta (esempio aspetti di qualità dei prodotti)", mentre ANIE sottolinea "come la piena efficacia ed utilità del benchmark siano garantite soltanto se associate alla valutazione di tutti gli elementi qualificanti dell’offerta, al fine di non vanificare l’impegno delle imprese partecipanti per presentare offerte qualitativamente rilevanti". ASSINFORM afferma la "convinzione delle Aziende associate dell’assoluta importanza di tenere in particolare conto gli elementi qualitativi nella definizione delle specifiche di gara". Il GdL ha trovato un accordo sull’utilizzo del benchmark BAPCo Sysmark 2004 "Overall Rating" come strumento di misura delle prestazioni dei Desktop. Tale accordo è alla base della Circolare CNIPA del 5 ottobre 2004 (G.U. n. 240 del 12 ottobre 2004). In attesa che i partecipanti al GdL si accordassero sui benchmark più adeguati per la misurazione delle prestazioni dei pc notebook e server, il CNIPA ha ritenuto opportuno segnalare in una nuova Circolare del 27 dicembre 2004, n. 45 (G.U. n. 2 del 4 gennaio 2005) le caratteristiche generali dei benchmark da utilizzare. Successivamente il GdL ha trovato un accordo sull’utilizzo del benchmark BAPCo MobileMark 2005 come strumento di misura delle prestazioni dei notebook. Tale accordo è alla base della Circolare CNIPA del 1 giugno 2006 (G.U. n. 134 del 12 giugno 2006). Il CNIPA è disponibile a fornire supporto alle amministrazioni in merito all’utilizzo di benchmark applicativi. Per ulteriori chiarimenti in merito inviare un messaggio alla casella benchmark@cnipa.it.
Nei capitolati tecnici per l’acquisizione di PC, l’indicazione dei requisiti prestazionali è avvenuta finora in forma indiretta attraverso una descrizione dettagliata delle caratteristiche tecniche ritenute adeguate a garantire il livello desiderato di prestazioni del sistema quali ad esempio: la frequenza di clock del processore, le dimensioni della cache di secondo livello, il tipo di memoria RAM, la frequenza del bus, il tipo di memoria del sottosistema grafico. L’evoluzione del mercato dei processori e delle altre componenti del sistema ha portato a differenze tecniche e architetturali delle soluzioni offerte dai diversi produttori tali da rendere non più adeguato questo approccio che, oltre a non assicurare adeguate prestazioni complessive del sistema da acquisire, può portare a restringere in modo ingiustificato il numero di fornitori in grado di partecipare alla gara. Da qui la decisione di verificare la possibilità di passare ad un approccio basato su benchmark prestazionali in linea con quanto consigliato dai maggiori advisor internazionali nel campo dell’IT.