Sono progettate per implementare l'inferenza in situ all'interno dell'infrastruttura di alimentazione, raffreddamento e rack esistente del data center. Le GPU AMD Instinct su schede PCIe economiche completano il portfolio di calcolo AI di AMD, offrendo una gamma di opzioni per la tua azienda che sta affrontando la sua curva di adozione dell'IA. Il formato della scheda PCIe è una scelta eccellente per le aziende che necessitano di una potenza di calcolo AI superiore a quella offerta dalle CPU, ma non sono ancora pronte a investire in piattaforme di accelerazione GPU dedicate. Disponibili in sistemi raffreddati ad aria con un massimo di otto schede acceleratrici, le schede AMD Instinct MI350P PCIe sono ideali per modelli AI di piccole, medie e grandi dimensioni destinati a flussi di lavoro di inferenza e RAG.

Le schede PCIe AMD Instinct MI350P sono progettate per offrire prestazioni AI eccezionali con un eccellente rapporto costo-prestazioni. Le caratteristiche principali contribuiscono ad aumentare la velocità di elaborazione, semplificare l'implementazione e ridurre i costi, consentendo di passare dalla fase di valutazione ai risultati concreti: supporto nativo per MXFP6 e MXFP4 a bassa precisione, che garantiscono un'elevata velocità di elaborazione; accelerazione tramite supporto scatter per le precisioni a 8 e 16 bit più comuni; una velocità di elaborazione stimata di 2299 teraflops (TFLOPS) e fino a 4600 TFLOPS di picco in MXFP4, la velocità di elaborazione più elevata attualmente disponibile su una scheda PCIe enterprise; circa 144 GB di memoria HBM3E (High Bandwidth Memory 3e) con velocità fino a 4 TB/s; un ecosistema aperto con opzioni di stack di sviluppo a basso costo o gratuite che semplifica l'implementazione e contribuisce a ridurre le spese operative. 

Abbiamo progettato le schede AMD Instinct MI350P PCIe con standard aperti per garantire l'interoperabilità tra piattaforme diverse. La loro integrazione prosegue la nostra strategia volta a creare un ecosistema AI completamente aperto e a offrire ai clienti la possibilità di scelta negli ambienti aziendali. L'AMD Enterprise AI Stack è un componente fondamentale che si integra perfettamente con un ampio ecosistema di software e strumenti AI. Include Kubernetes GPU Operator per una gestione completa del ciclo di vita, microservizi di inferenza AMD nativi per il cloud e supporto nativo per framework AI come PyTorch. Tutto ciò consente di migrare i carichi di lavoro di inferenza con modifiche minime al codice. Forniamo l'AMD Enterprise AI Reference Stack open source ai nostri partner senza costi di licenza. Questo offre maggiore trasparenza del codice e contribuisce a ridurre le spese operative. Se combinato con le schede AMD Instinct MI350P PCIe e le soluzioni dei partner, lo stack consente alla vostra organizzazione di essere operativa rapidamente in locale senza costi ricorrenti.

Le schede PCIe AMD Instinct MI350P supportano la gamma di livelli di precisione più utilizzati dai modelli di intelligenza artificiale aziendali. Mentre i formati a bassa precisione MXFP6 e MXFP4 offrono prestazioni massimizzate in termini di TFLOPS e implementazioni efficienti dei modelli, i formati a precisione più elevata, come INT8 e BF16, beneficiano del supporto scatter della GPU AMD Instinct MI350P per offrire prestazioni efficienti. Indipendentemente dalla precisione, le aziende scopriranno che le schede PCIe AMD Instinct MI350P sono progettate per offrire massime prestazioni GPU e un ridotto utilizzo della memoria, contribuendo a diminuire il consumo energetico e i requisiti di raffreddamento. Il supporto per FP8, MXFP8 e MXFP4 è uno dei motivi principali per cui le schede PCIe AMD Instinct MI350P sono in grado di gestire i carichi di lavoro di intelligenza artificiale odierni nei data center standard con raffreddamento ad aria.

Con le schede PCIe AMD Instinct MI350P, la tua azienda può passare rapidamente da un'infrastruttura bare-metal a sistemi di intelligenza artificiale pronti per la produzione, su solide basi. Queste schede consentono di migrare i carichi di lavoro senza riscrivere il codice, integrarsi con i flussi di lavoro di intelligenza artificiale esistenti e scalare in base all'evoluzione dei carichi di lavoro. Adottare l'IA non significa ricostruire l'infrastruttura da zero. Con le schede PCIe AMD Instinct MI350P, le aziende possono eseguire più modelli e servire più utenti all'interno dei propri data center esistenti.

Ulteriori informazioni