Tenstorrent, l'empresa de xips dirigida per Jim Keller, ha llançat el seu processador Wormhole de nova generació per a càrregues de treball d'IA, que espera oferir un bon rendiment a un preu assequible.Actualment, la companyia ofereix dues targetes PCIe addicionals que poden allotjar un o dos processadors Wormhole, així com estacions de treball TT-LoudBox i TT-QuietBox per a desenvolupadors de programari. Tots els anuncis d'avui estan dirigits als desenvolupadors, no als que utilitzen taulers Wormhole per a càrregues de treball comercials.
"Sempre és gratificant posar més dels nostres productes en mans dels desenvolupadors. Els sistemes de desenvolupament de llançament que utilitzen les nostres targetes Wormhole ™ poden ajudar els desenvolupadors a escalar i desenvolupar programari d'IA multixip", va dir Jim Keller, CEO de Tenstorrent.A més d'aquest llançament, estem emocionats de veure el progrés que estem fent amb la sortida de la cinta i l'engegada del nostre producte de segona generació, Blackhole".
Cada processador Wormhole conté 72 nuclis Tensix (cinc dels quals admeten nuclis RISC-V en diversos formats de dades) i 108 MB de SRAM, que ofereixen 262 FP8 TFLOPS a 1 GHz amb una potència de disseny tèrmic de 160 W. La targeta Wormhole n150 d'un sol xip està equipada amb memòria de vídeo GDDR6 de 12 GB i té una amplada de banda de 288 GB/s.
Els processadors Wormhole ofereixen una escalabilitat flexible per satisfer les diverses necessitats de càrregues de treball. En una configuració estàndard d'estació de treball amb quatre targetes Wormhole n300, els processadors es poden combinar en una sola unitat que apareix al programari com una xarxa central unificada i àmplia de Tensix. Aquesta configuració permet a l'accelerador gestionar la mateixa càrrega de treball, dividir-se entre quatre desenvolupadors o executar fins a vuit models diferents d'IA simultàniament. Una característica clau d'aquesta escalabilitat és que es pot executar localment sense necessitat de virtualització. En un entorn de centre de dades, els processadors Wormhole utilitzaran PCIe per a l'expansió dins de la màquina o Ethernet per a l'expansió externa.
Pel que fa al rendiment, la targeta Wormhole n150 d'un sol xip de Tenstorrent (72 nuclis Tensix, freqüència d'1 GHz, 108 MB SRAM, 12 GB GDDR6, 288 GB/s d'amplada de banda) va aconseguir 262 FP8 TFLOPS a 160 W, mentre que la placa Wormhole de doble xip n300 (128 nuclis Tensix, freqüència d'1 GHz, 192 MB de SRAM, 24 GB de GDDR6 agregat, 576 GB/s d'amplada de banda) ofereix fins a 466 FP8 TFLOPS a 300 W.
Per posar 300 W de 466 FP8 TFLOPS en context, ho compararem amb el que Nvidia, líder del mercat d'IA, ofereix amb aquesta potència de disseny tèrmic. L'A100 de Nvidia no és compatible amb FP8, però sí INT8, amb un rendiment màxim de 624 TOPS (1.248 TOPS quan són escassos). En comparació, l'H100 de Nvidia és compatible amb FP8 i assoleix un rendiment màxim de 1.670 TFLOPS a 300 W (3.341 TFLOPS escàs), que és significativament diferent del Wormhole n300 de Tenstorrent.
Tanmateix, hi ha un problema important. El Wormhole n150 de Tenstorrent es ven al detall per 999 dòlars, mentre que el n300 es ven per 1.399 dòlars. En comparació, una única targeta gràfica Nvidia H100 es ven al detall per 30.000 dòlars, depenent de la quantitat. Per descomptat, no sabem si quatre o vuit processadors Wormhole realment poden oferir el rendiment d'un sol H300, però els seus TDP són de 600 W i 1200 W respectivament.
A més de les targetes, Tenstorrent ofereix estacions de treball preconstruïdes per als desenvolupadors, incloses 4 targetes n300 al més assequible TT-LoudBox basat en Xeon amb refrigeració activa i l'avançada TT-QuietBox amb funció de refrigeració líquida Xiaolong basada en EPYC).
Hora de publicació: 29-jul-2024