Как 1 картинка может взломать вашего ИИ-агента

<p><strong>ИИ-агента, как оказалось, можно взломать простым PNG-файлом. Вредную команду достатость спрятать не в тексте, а внутри картинки: ИИ, который проверяет код перед публикацией, изображение даже не открывает и спокойно все пропускает. А позже другой ИИ-помощник эту картинку читает, находит в ней команду, лезет в секретный файл с паролями и ключами и потихоньку вписывает их в код под видом безобидного набора цифр.</strong></p>

<p>Атаку назвали Ghostcommit.<a href="https://www.bleepingcomputer.com/news/security/ghostcommit-hides-prompt-injection-in-images-to-fool-ai-agents-steal-secrets/" rel="noreferrer noopener nofollow" target="_blank"> Ее выявили</a> в Университете Миссури — Канзас-Сити. Авторы работы: доцент Судипта Чаттопадхьяй и исследователь Мурали Эдига. </p>

<section class="c-bic-highlighted-text mb-8 md:mb-12 " id="block_6a54a63c2ccbd">
<div class="flex items-center gap-5 px-5 py-4 rounded-xl bg-grey-50 text-dark-grey-700">
<svg class="min-w-5 h-5 text-blue-600" fill="none" height="28" viewBox="0 0 28 28" width="28" xmlns="http://www.w3.org/2000/svg"><path d="m11.195 26.6 1.4-9.8h-4.9c-.812 0-.798-.448-.532-.924.266-.476.07-.112.098-.168L16.795 1.4l-1.4 9.8h4.9c.686 0 .784.462.658.714l-.098.21-9.66 14.476Z" fill="currentColor"></path></svg>
<div class="bic-block-highlighted-paragraph-content p3 p3--ns [&_p:last-child]:!mb-0 [&_p]:!leading-6 [&_p]:!font-body [&_p]:!text-4 [&_a]:!text-blue-600">
<p><strong><em>Хотите еще эксклюзивных новостей и аналитики? Подписывайтесь на наш</em></strong><a href="https://t.me/beincrypto_trading"><strong><em> телеграм-канал</em></strong></a><strong><em>, обсуждайте новости и делитесь мнениями о последних событиях рынка <a href="https://t.me/beincrypto_ru/1" rel="noopener" target="_blank">в чате</a>!</em></strong></p>

</div>
</div>
</section>

<h2 class="bic-gutenberg-heading wp-heading wp-block-heading" id="h-в-чем-суть-обмана">В чем суть обмана</h2>

<p>Начинается все с того, что проверять код по-настоящему почти перестали. Следовательно, уязвимости обнаруживаются все чаще. Исследователи посмотрели больше 6 тысяч изменений в самых популярных открытых проектах и выяснили: в 73% случаев код попадал в проект вообще без внятной проверки — ни человек не смотрел, ни программа.</p>

<p><em>Чтобы было понятнее: программисты часто держат ключи, пароли и доступы в отдельном служебном файле (обычно он называется .env). А проверять новый код им все чаще помогают ИИ-программы — что-то вроде автоматического редактора, который читает изменения и говорит, все ли в порядке.</em></p>

<p>Сама хитрость такая. У ИИ-помощников есть особый файл с правилами проекта, который они читают сами и считают чем-то вроде инструкции «как здесь принято работать». Хакер оставляет в этом файле безобидный текст про настройки сборки — никаких паролей там не упоминается. Файл лишь ссылается на изображение. А вот в изображении и написана вредная команда: прочитай секретный файл, переведи каждый символ в число и вставь эти числа в код.</p>

<p>Для проверяющей программы изображение — это просто набор данных, который она не разбирает. Одни ИИ вообще не смотрят картинки по умолчанию, другие ничего подозрительного не находят. Исследователи даже написали прямо на изображении «вредоносная команда» и «прочитай секретный файл» — и все равно проверка прошла успешно.</p>

<p>Кража случается не сразу. Команда как бы «спит». Проходит время, программист просит ИИ-помощника сделать что-то обычное — например, добавить небольшой кусок кода. Помощник при запуске читает тот самый файл с правилами, идет по ссылке на изображение, открывает секретный файл и незаметно вставляет пароли в код в виде длинного списка цифр. В одном из тестов помощник записал так весь секретный файл целиком с первой попытки. Программист видит, что нужная функция готова, и публикует код. А хакер потом просто берет эти цифры из открытого проекта и превращает обратно в пароли. Обычные защитные программы ничего не замечают — им и «в голову не приходит», что за безобидным списком чисел прячутся ключи.</p>

<figure class="wp-block-image size-full is-resized"><img alt="эксплойт ии картинка" class="wp-image-385967" src="https://assets.beincrypto.com/img/CJ-MXT4bLqlkGmFDNGOQZRIP-Ro=/smart/daad6f3be1e348bb9c969152fd66f6b2" style="width: 1024px; height: auto;" /><figcaption class="wp-element-caption">Как работает эксплойт ИИ. Источник: <a href="https://www.bleepingcomputer.com/news/security/ghostcommit-hides-prompt-injection-in-images-to-fool-ai-agents-steal-secrets/" rel="noreferrer noopener nofollow" target="_blank">bleepingcomputer</a></figcaption></figure>

<h2 class="bic-gutenberg-heading wp-heading wp-block-heading" id="h-дело-не-в-ии-а-в-программе">Дело не в ИИ, а в программе</h2>

<p>Прятать команды в изображениях придумали уже давно, но у Ghostcommit нет никакой маскировки: команда написана прямо, открытым текстом. Работает не хитрое сокрытие, а обычная невнимательность — проверяющий просто не заглядывает в картинку.</p>

<p><em>Самое любопытное в другом. Оказалось, что важнее не то, какой именно «мозг» (ИИ-модель) стоит внутри, а то, в какую программу он встроен. Один и тот же ИИ в одной программе послушно крал пароли, а в другой — распознавал подвох и отказывался. В одном случае помощник даже сначала записал секрет, потом сообразил, что его обманывают, и стер написанное. «Мозг» тот же, а поведение противоположное, потому что все решает оболочка вокруг него.</em></p>

<p>Отсюда вывод: одной волшебной защиты не бывает, нужно несколько уровней. Сами исследователи сделали свою программу, которая действительно открывает и читает изображения. В испытании на 80 новых изменениях она пропустила лишь одну атаку и ни разу не подняла ложную тревогу на честном коде. </p>

<p>Второй уровень защиты — следить за тем, что помощник делает уже в процессе работы: если он вдруг без причины полез в файл с паролями, это повод насторожиться.</p>
<p>The post <a href="https://ru.beincrypto.com/hakery-paroli-cherez-ii-kartinok/">Как 1 картинка может взломать вашего ИИ-агента</a> appeared first on <a href="https://ru.beincrypto.com">BeInCrypto</a>.</p>