Google разшири осмото поколение TPU с две системи за автономни AI агенти

Google разширява осмото поколение на своите AI ускорители с две нови системи. TPU 8tx е предназначена за изпълнение и настройване на модели с чувствителни данни, а TPU 8i Max е насочена към задачи, при които автономни AI агенти трябва да обработват контекст от порядъка на милиони токени. С тях конфигурациите в поколението стават четири.

TPU 8tx защитава данните по време на обработка

TPU 8tx използва същата чипова архитектура като TPU 8t в комбинация със специализирани хост системи с процесори AMD. Според Google хардуерната защита позволява чувствителните данни и самите модели да останат изолирани по време на обработка. Системата е насочена към държавни институции и организации в регулирани сектори, които използват собствени модели или AI агенти с достъп до поверителна информация.

Екипите могат да изпълняват и дообучават модели в една и съща система, без да прехвърлят чувствителни данни между отделни клъстери. Google посочва, че мрежата Boardfly намалява латентността наполовина спрямо TPU 8t при многостъпкови задачи на AI агенти, с практически нулев спад в производителността.

TPU 8i Max удвоява изчислителната мощ и пропускателната способност на паметта

Спрямо TPU 8i новата конфигурация предлага двойно повече изчислителна мощ, два пъти повече SRAM и двойно по-висока пропускателна способност на HBM паметта. Целта е паметта да успява да захранва ускорителите с данни, когато няколко агента работят едновременно върху голяма кодова база или анализират часове видеоматериал.

Според Google TPU 8i Max побира и два пъти повече чипов хардуер в същото пространство в сървърния шкаф. Това увеличава изчислителната мощ, която центровете за данни могат да разположат на единица площ.

Новите системи допълват TPU 8t за обучение на големи модели и TPU 8i за изпълнение на модели с ниска латентност. Google използва TPU за обучение и работа на своите модели Gemini и ги предоставя на клиенти чрез Google Cloud. Компанията предлага и внедряване в центровете за данни на самите клиенти и посочва, че бизнесът ѝ с TPU вече има близо 100 клиенти.