L'empresa de xips Tenstorrent, dirigida per Jim Keller, ha llançat el seu processador Wormhole de nova generació per a càrregues de treball d'IA, que espera oferir un bon rendiment a un preu assequible.Actualment, l'empresa ofereix dues targetes PCIe addicionals que poden allotjar un o dos processadors Wormhole, així com estacions de treball TT-LoudBox i TT-QuietBox per a desenvolupadors de programari. Tots els anuncis d'avui estan dirigits a desenvolupadors, no a aquells que utilitzen plaques Wormhole per a càrregues de treball comercials.
«Sempre és gratificant posar més dels nostres productes a les mans dels desenvolupadors. Els sistemes de desenvolupament de llançaments que utilitzen les nostres targetes Wormhole™ poden ajudar els desenvolupadors a escalar i desenvolupar programari d'IA multixip», va dir Jim Keller, CEO de Tenstorrent.A més d'aquest llançament, estem emocionats de veure els progressos que estem fent amb la descàrrega i la posada en marxa del nostre producte de segona generació, Blackhole.
Cada processador Wormhole conté 72 nuclis Tensix (cinc dels quals admeten nuclis RISC-V en diversos formats de dades) i 108 MB de SRAM, que ofereixen 262 TFLOPS FP8 a 1 GHz amb una potència de disseny tèrmic de 160 W. La targeta Wormhole n150 d'un sol xip està equipada amb 12 GB de memòria de vídeo GDDR6 i té un ample de banda de 288 GB/s.
Els processadors Wormhole proporcionen escalabilitat flexible per satisfer les diverses necessitats de les càrregues de treball. En una configuració d'estació de treball estàndard amb quatre targetes Wormhole n300, els processadors es poden combinar en una sola unitat que apareix al programari com una xarxa central Tensix unificada i àmplia. Aquesta configuració permet que l'accelerador gestioni la mateixa càrrega de treball, es divideixi entre quatre desenvolupadors o executi fins a vuit models d'IA diferents simultàniament. Una característica clau d'aquesta escalabilitat és que es pot executar localment sense necessitat de virtualització. En un entorn de centre de dades, els processadors Wormhole utilitzaran PCIe per a l'expansió dins de la màquina o Ethernet per a l'expansió externa.
Pel que fa al rendiment, la targeta Wormhole n150 d'un sol xip de Tenstorrent (72 nuclis Tensix, freqüència d'1 GHz, 108 MB SRAM, 12 GB GDDR6, amplada de banda de 288 GB/s) va aconseguir 262 TFLOPS FP8 a 160 W, mentre que la placa Wormhole n300 de doble xip (128 nuclis Tensix, freqüència d'1 GHz, 192 MB SRAM, 24 GB GDDR6 agregats, amplada de banda de 576 GB/s) ofereix fins a 466 TFLOPS FP8 a 300 W.
Per contextualitzar 300 W de 466 TFLOPS FP8, ho compararem amb el que ofereix el líder del mercat d'IA, Nvidia, amb aquesta potència de disseny tèrmic. L'A100 de Nvidia no admet FP8, però sí que admet INT8, amb un rendiment màxim de 624 TOPS (1.248 TOPS quan és dispers). En comparació, l'H100 de Nvidia admet FP8 i arriba a un rendiment màxim de 1.670 TFLOPS a 300 W (3.341 TFLOPS quan és dispers), cosa que és significativament diferent del Wormhole n300 de Tenstorrent.
No obstant això, hi ha un problema important. La Wormhole n150 de Tenstorrent es ven per 999 dòlars, mentre que la n300 per 1.399 dòlars. En comparació, una sola targeta gràfica Nvidia H100 es ven per 30.000 dòlars, depenent de la quantitat. Per descomptat, no sabem si quatre o vuit processadors Wormhole poden realment oferir el rendiment d'una sola H300, però els seus TDP són de 600 W i 1200 W respectivament.
A més de les targetes, Tenstorrent ofereix estacions de treball prefabricades per a desenvolupadors, incloent-hi 4 targetes n300 a la TT-LoudBox basada en Xeon, més assequible, amb refrigeració activa, i la TT-QuietBox avançada amb funció de refrigeració líquida Xiaolong basada en EPYC.
Data de publicació: 29 de juliol de 2024