La companyia de xips de Jim Keller, Tenstorrent, ha llançat el seu processador de cucs de propera generació per a les càrregues de treball AI, que espera oferir un bon rendiment a un preu assequible.Actualment, l’empresa ofereix dues targetes PCIE addicionals que poden acollir un o dos processadors de bucs, així com TT-Loudbox i TT-QuieTbox estacions de treball per a desenvolupadors de programari. Tots els anuncis d’avui s’adrecen a desenvolupadors, no a aquells que utilitzen taulers de cuc per a càrregues de treball comercials.
"Sempre és gratificant posar més els nostres productes en mans dels desenvolupadors. Els sistemes de desenvolupament de llançament que utilitzen les nostres targetes Wormhole ™ poden ajudar els desenvolupadors a escalar i desenvolupar programari AI de diversos xips", va dir Jim Keller, director general de TenSTorrent.A més d’aquest llançament, estem entusiasmats de veure els avenços que estem fent amb la cinta i la potència del nostre producte de segona generació, Blackhole ”.
Cada processador de forats de cuc conté 72 nuclis tensix (cinc dels quals admeten nuclis RISC-V en diversos formats de dades) i 108 MB de SRAM, proporcionant 262 TFLOP FP8 a 1 GHz amb una potència de disseny tèrmic de 160W. La targeta N150 del forat de cuc de xip està equipada amb memòria de vídeo GDDR6 de 12 GB i té una amplada de banda de 288 GB/s.
Els processadors de forats de cuc proporcionen una escalabilitat flexible per satisfer les diverses necessitats de les càrregues de treball. En una configuració estàndard de l'estació de treball amb quatre targetes N300 de forat de cuc, els processadors es poden combinar en una sola unitat que apareix al programari com a xarxa de nucli de tensix unificada i àmplia. Aquesta configuració permet a l’accelerador manejar la mateixa càrrega de treball, dividir entre quatre desenvolupadors o executar fins a vuit models d’AI diferents simultàniament. Una característica clau d’aquesta escalabilitat és que pot funcionar localment sense necessitat de virtualització. En un entorn del centre de dades, els processadors de forats de cucs utilitzaran PCIe per a l'expansió dins de la màquina o Ethernet per a una expansió externa.
En termes de rendiment, la targeta N150 de buca N150 de TENSTORRENT (72 nuclis de tensix, 1 GHz de freqüència, 108 MB SRAM, 12 GB GDDR6, 288 GB/s Amplada de banda) va aconseguir 262 TFLOPS FP8 a 160W, mentre que el buc-cuc de doble xip N300 (128 TENSIX CERES, 1 GHz Freqüència, 192 MB sram sram, 192 MB sram, 192 MB, sram, 192 MB, sram, 192 MB, Agregat 24 GB GDDR6, 576 GB/s amplada de banda) proporciona fins a 466 TFLOPS FP8 a 300W.
Per posar en context 300W de 466 FP8 Tflops, ho compararem amb el que ofereix la líder del mercat de l'AI Nvidia en aquest poder de disseny tèrmic. L’A100 de NVIDIA no admet FP8, però suporta InT8, amb un rendiment màxim de 624 tops (1.248 tops quan s’escassa). En comparació, l’H100 de NVIDIA suporta FP8 i assoleix el rendiment màxim de 1.670 TFLOPS a 300W (3.341 TFLOPS a escassos), que és significativament diferent del forat de cuc N300 de Tenstorrent.
Tot i això, hi ha un problema important. El Wormhole N150 de Tenstorrent es ven per 999 dòlars, mentre que el N300 es ven per 1.399 dòlars. En comparació, una sola targeta gràfica NVIDIA H100 es ven per 30.000 dòlars, segons la quantitat. Per descomptat, no sabem si quatre o vuit processadors de forats de cuc poden oferir el rendiment d’un sol H300, però els seus TDP són de 600W i 1200W respectivament.
A més de les targetes, Tenstorrent ofereix estacions de treball pre-construïdes per a desenvolupadors, incloent 4 targetes N300 a la caixa de refrigeració TT més assequible basada en Xeon amb refrigeració activa i la caixa de refrigeració de líquids de Xiaolong basada en EPYC)).
Posada Posada: Jul-29-2024