Google показа портативен AI преводач, който работи изцяло офлайн

Екип от инженери на Google е създал компактен AI преводач, който може да превежда реч без интернет връзка. Устройството използва модела Gemma 4 E4B, работещ локално върху Raspberry Pi 5, и разполага със собствен екран, микрофон, високоговорител и физически контроли. По-интересното е, че проектът е отворен за ентусиасти – кодът и файловете за 3D отпечатване на корпуса са публикувани и могат да се използват за създаването на собствено устройство.

Проектът е практически пример за възможностите на по-компактните AI модели, които могат да работят директно върху потребителски хардуер, вместо всяка заявка да бъде изпращана към облачна инфраструктура. След първоначалната настройка преводачът не се нуждае от Wi-Fi или мобилна мрежа, което го прави потенциално приложим при пътуване или на места с ограничена свързаност.

Gemma 4 E4B работи директно върху Raspberry Pi 5

В основата на устройството стои Raspberry Pi 5, върху който локално се изпълнява Gemma 4 E4B. Google представи E2B и E4B като по-компактните представители на семейството Gemma 4, насочени именно към локална обработка върху устройства с ограничени изчислителни ресурси.

За изпълнението на модела инженерите използват LiteRT-LM. Това е технология на Google, предназначена за работа с езикови модели директно върху различни класове устройства. Компанията вече официално поддържа Gemma 4 и LiteRT-LM върху Raspberry Pi 5. Според публикувани от Google тестове платформата достига 133 tokens/s при първоначалната обработка на входа и 7,6 tokens/s при генерирането, когато моделът работи върху процесора на Raspberry Pi 5.

Самият преводач е разработен с Google Antigravity. Хардуерът е поставен в специално проектиран 3D отпечатан корпус и включва малък сензорен дисплей, върху който се показва преведеният текст.

Добавени са микрофон и високоговорител, физически бутон push-to-talk и въртящ се контролер за смяна на езиците. Така устройството е замислено като самостоятелен преводач, а не просто като демонстрация на модел, работещ върху Raspberry Pi.

От реч до превод без облак

Работният процес комбинира няколко отделни компонента. Потребителят говори чрез микрофона, системата обработва речта локално, а Gemma 4 E4B извършва необходимата езикова обработка и превод. За възпроизвеждането на преведената реч през високоговорителя се използва Moonshine.

Интерфейсът на малкия сензорен екран едновременно показва превода като текст, а физическите контроли позволяват избор на език и започване на разговор без необходимост от навигация през сложни менюта.

Ключовата особеност е, че след необходимата първоначална настройка целият процес протича локално. Това означава, че преводачът може да се използва в самолет, в чужбина без мобилни данни или на места, където няма надеждно мрежово покритие.

Локалната обработка има и друго потенциално предимство – аудиото не трябва да бъде изпращано до отдалечен сървър за извършването на самия превод.

Офлайн AI става все по-практичен

Проектът е част от по-широката посока на Google към изпълнение на генеративен AI директно върху потребителски устройства. Gemma 4 вече се поддържа на Android и iOS, Windows, Linux и macOS, както и върху edge и IoT хардуер като Raspberry Pi 5.

Компанията работи и за намаляване на хардуерните изисквания на моделите. Версиите на Gemma 4 с Quantization-Aware Training (QAT) използват техники за компресиране, които намаляват необходимата памет. Gemma 4 E2B и E4B са сред моделите, за които Google предлага такива оптимизирани версии.

Друг пример е Google AI Edge Gallery, чрез което Gemma 4 може да работи локално върху съвместими смартфони. Сред възможните приложения вече са офлайн транскрипция, обработка на изображения, работа с текст и превод.

Това поставя новия хардуерен преводач в малко по-различен контекст. Самото офлайн превеждане не е новост – Google Translate от години позволява изтеглянето на езикови пакети за определени функции. По-интересното в случая е използването на генеративен AI модел върху евтин компактен компютър като Raspberry Pi, без необходимост от постоянна връзка с център за данни.

При Google Translate например офлайн функционалността вече обхваща текст и изображения, а през тази година бяха открити и признаци, че Google разработва офлайн вариант на Live Translate за разговори.

Всеки може да създаде собствено устройство

Google не третира разработката като готов потребителски продукт. Вместо това тя е демонстрационен проект, който показва как Gemma може да се използва за изграждането на специализирани локални AI устройства.

Кодът на преводача и необходимите файлове за 3D отпечатване на корпуса са публикувани в GitHub. Това позволява на разработчици и ентусиасти да сглобят собствен вариант, да променят софтуера или да адаптират конструкцията към различен хардуер.

Проектът Gemma Translator в GitHub

Този подход показва и едно от потенциалните приложения на малките AI модели извън смартфоните и компютрите. Вместо универсален чатбот, моделът може да бъде част от устройство, проектирано около една конкретна задача – в този случай превод на разговори.

За подобни приложения локалната обработка има ясни практически предимства: независимост от интернет връзката, липса на забавяне заради комуникацията с облака и възможност данните да останат върху самото устройство. Ограничението е, че производителността и възможностите зависят от наличния локален хардуер и от размера и качествата на използвания модел.

Източник: Android Authority