Facebook presenta Big Basin, il suo server GPU di prossima generazione

Nel corso dell’evento Open Compute Project (OCP) 2017, che si tiene a Santa Clara in California, Facebook ha presentato quattro nuovi tipi di hardware per i propri data center e i progetti verranno resi disponibili anche per altre società via Open Compute Project. Tra le macchine presentate c’è Big Basin, un nuovo modello di server che contiene GPU studiate appositamente per l’intelligenza artificiale.
Nel 2015 Facebook aveva già introdotto Big Sur, il proprio server GPU. La novità di Big Sur era la scheda madre di calcolo che era inserita tra connessioni PCIe a otto schede grafiche. Il grande cambiamento che avviene con Big Basin è che la scheda madre è stata resa esterna.

“Abbiamo bisogno di un nodo principale per la connessione. C’è una maggiore larghezza di banda I / O [Input / Output] per collegare Big Basin” ha detto il direttore dell’ingegneria di Facebook Eran Tal.

Attraverso la sua rimozione , Facebook ha anche ridotto le dimensioni del contenitore, che diventa più basso perché richiede soltanto tre unità di rack anziché quattro. Il Big Basin si connette con un nuovo server che si chiama Tioga Pass, il quale è l’evoluzione del Leopard di Facebook. Tioga Pass e Big Basin sono collocati nello stesso rack e collegati fra loro con un cavo PCle, in modo da poterli sostituire in caso di aggiornamenti futuri. Inoltre, questo design disaggregato consente una gestione dell’efficienza termica, che risulta nettamente migliorata.

Big Basin è diviso in 3 sezioni principali: l’acceleratore tray, lo chassis interno e lo chassis esterno. Con un design come questo le GPU possono essere servite in-rack utilizzando guide di scorrimento integrate. Utilizzando gli strumenti, le infrastrutture e i componenti hardware di Facebook esistenti, i tecnici sono in grado di ridurre ulteriormente la complessità operativa e tempi di inattività durante le riparazioni. Inoltre, grazie al design disaggregato, le GPU sono posizionate direttamente di fronte all’aria fredda in fase di elaborazione nel sistema, consentendo un controllo termico netto.

Con l’utilizzo di queste macchine, Facebook sarà in grado di formare i modelli di apprendimento automatico che saranno il 30 % più potenti rispetto a quelli di Big Sur, questo training quindi produrrà un miglioramento del 100% sulla rete neurale ResNet50.
Facebook oggi rivela anche la seconda versione del suo server Yosemite e il dispositivo di archiviazione Bryce Canyon, un aggiornamento di Open Vault (Knox).

In un post sul blog ufficiale, Facebook ha presentato nel dettaglio i nuovi strumenti. Scopriamo insieme queste novità.
Facebook, si avvale dell’AI per potenziare i servizi quali il riconoscimento del parlato, la traduzione di testi e linguaggio, la classificazione di immagini e la classificazione in tempo reale dei video. La società ritiene che ogni forma di progresso in materia di AI possa accelerare il processo di adozione di queste tecnologie in ambiti sempre più mirati e specifici. L’accelerazione avviene nel momento in cui le reti neurali vengono allenate in modo sempre più ampio e approfondito e – a tale scopo – è stato creato Big Basin che consentirà ai team di ricerca e a quelli ingegneristici di godere di una maggiore velocità nello sviluppo dei modelli di AI più complessi, per poi consentire all’AI di comprendere i testi, le foto, i video e fare delle previsioni più accurate sulla base di questi contenuti.

Dal momento in cui Big Sur è stato impiegato nei data center, la macchina ha ricevuto un feedback prezioso da parte dell’Applied Machine Learning (AML) e dal Facebook AI Research (FAIR), ovvero i team che si occupano della manutenzione delle infrastrutture a tutto tondo: dall’affidabilità, alle prestazioni e alla gestione dei cluster. E tutto questo è stato incorporato in Big Basin.

La modularità ha rappresentato uno dei punti cardini dello sviluppo di Big Basin. Il sistema è stato progettato per consentire la disaggregazione del calcolo CPU dalle GPU, permettendo di sfruttare e collegare i componenti OCP esistenti e integrarli nella nuova tecnologia in caso di necessità. Ogni componente diventa così non solo indipendente, ma anche scalabile.

Rispetto a Big Sur, Big Basin ci porta ad un guadagno sulle prestazioni per watt, beneficiando della singola precisione aritmetica in virgola mobile per GPU passando da 7 a 10,6 teraflop. Le stesse GPU avranno una memoria che passa da 12 GB a 16.