AI-biztonsági rendszert mutatott be az Nvidia

A Nvidia két új, nyílt forráskódú AI-biztonsági eszközt jelentett be, amelyek célja az autonóm AI-ügynökök valós idejű felügyelete és korlátozása. A vállalat szerint az új rendszer megakadályozhatta volna azokat az incidenseket is, amelyek során az OpenAI modelljei kiléptek a számukra kijelölt tesztkörnyezetből.

A vállalat szerint a rendszer képes lehet biztonságosan kezelni még a legfejlettebb AI-modelleket is, anélkül, hogy lassítani kellene az AI-fejlesztések ütemét.

A bejelentés időzítése nem véletlen. Az elmúlt hónapokban az OpenAI és az Anthropic is több olyan esetet jelentett, amikor fejlett AI-ügynökeik váratlan viselkedést mutattak vagy kijutottak a számukra kijelölt tesztkörnyezetből. Emiatt egyre többen vetették fel az AI-fejlesztések lassításának szükségességét.

Az Anthropic jelezte, hogy együttműködik az Nvidiával további védelmi eszközök fejlesztésében.