QNAP представи AI сървър за локално внедряване на големи езикови модели
QNAP обяви новия QAI-h1290FX – Edge AI сторидж сървър, предназначен за локално внедряване на големи езикови модели (LLM), генеративни AI приложения и системи за търсене с добавено генериране на данни (RAG). Решението е насочено към организации, които търсят висока изчислителна производителност и по-голям контрол върху данните си, без да разчитат на облачна инфраструктура.
Според компанията нарастващото използване на изкуствен интелект увеличава търсенето на локални AI платформи, които могат да осигурят ниска латентност, защита на чувствителна информация и предвидим контрол върху ресурсите. В отговор на тази тенденция QAI-h1290FX комбинира сървърен хардуер, изцяло флаш сторидж архитектура и поддръжка на графични ускорители от серията NVIDIA RTX.
Фокус върху локалния AI
Новият сървър е оборудван с AMD EPYC 7302P процесор с 16 ядра и 32 нишки, както и с дванадесет U.2 NVMe/SATA SSD слота. Системата поддържа и инсталиране на NVIDIA RTX GPU ускорители, включително NVIDIA RTX PRO 6000 Blackwell Max-Q Workstation с до 96 GB видеопамет. Според QNAP това позволява ускоряване на задачи като локално изпълнение на езикови модели, генериране на изображения и натоварвания, свързани с машинно обучение.
QAI-h1290FX работи с операционната система QuTS hero, базирана на файловата система ZFS. Сред поддържаните функции са моментни снимки (snapshots), дедупликация на данни и инструменти за виртуализация и контейнеризация. Системата осигурява директен достъп на GPU ресурсите до контейнери чрез Container Station, както и GPU passthrough за виртуални машини чрез Virtualization Station.
Предварително интегрирани AI инструменти
QNAP посочва, че сървърът пристига с предварително подготвена среда за работа с AI. Сред наличните инструменти са AnythingLLM, OpenWebUI и Ollama, които могат да бъдат използвани за изграждане на частни AI решения. Поддържа се и интеграция с платформи като Stable Diffusion, ComfyUI, n8n и vLLM за създаване на генеративни приложения, автоматизация на процеси и обработка на документи.
Компанията подчертава, че основната идея е организациите да могат да внедрят AI инфраструктура в собствената си среда, като същевременно запазят пълен контрол върху данните и ресурсите.
Мрежова свързаност и разширяемост
QAI-h1290FX разполага с два 25GbE и два 2.5GbE мрежови порта, а наличните PCIe слотове позволяват добавяне на 100GbE мрежови карти. Системата е съвместима и с разширителните QNAP JBOD решения за увеличаване на капацитета за съхранение на данни.
Потенциални приложения
Според QNAP сървърът е подходящ за внедряване на вътрешни AI асистенти, корпоративни системи за търсене в документи чрез RAG технологии, генериране на изображения за творчески екипи и автоматизация на бизнес процеси чрез AI инструменти. Сред примерите са обработка на вътрешни знания, работа с договори и отчети, както и автоматизирано създаване на съдържание и анализи.
Компанията определя QAI-h1290FX като решение за организации, които искат да внедрят генеративен изкуствен интелект в собствената си инфраструктура, като същевременно запазят контрол върху съхранението, обработката и достъпа до данните.
