Что ChatGPT может и чего не может сделать для разведки

В ноябре 2022 года ChatGPT стал лидером среди моделей больших языков (LLM) искусственного интеллекта (ИИ), привлекая внимание ЦРУ и других оборонных ведомств США. Общий искусственный интеллект — ИИ с гибким мышлением, как у людей — все еще находится за пределами технологического горизонта и, возможно, никогда не появится. Но большинство экспертов сходятся во мнении, что LLM — это крупный технологический шаг вперед. Способность студентов LLM давать полезные результаты в одних задачах и совершенно не соответствовать другим дает представление о возможностях и ограничениях ИИ в ближайшее десятилетие.

Перспективы ChatGPT для разведки неоднозначны. С одной стороны, технология кажется «впечатляющей» и «пугающе умной», но с другой стороны, ее собственные создатели предупреждают, что «она может создать обманчивое впечатление своего величия». В отсутствие экспертного консенсуса исследователи и практики должны изучить потенциал и недостатки технологии разведки. Чтобы устранить этот пробел, мы — ученые, изучающие анализ разведывательной информации, и инженер по информационным технологиям — попытались проверить способность ChatGPT (GPT-4) дополнять работу аналитиков разведки. Мы провели предварительную проверку, используя знаменитую просьбу Колина Пауэлла: «Расскажи мне, что ты знаешь. Расскажи мне, чего ты не знаешь. Тогда тебе будет разрешено сказать мне, что ты думаешь». Для каждой задачи мы предоставляем выходные данные ChatGPT, чтобы читатели могли воспроизвести анализ и сделать собственные выводы.

Основываясь на этих выводах, кажется возможным, что ChatGPT и его преемники могли бы исключить аспекты работы аналитика разведки (например, утомительное обобщение, хотя мы признаем, что ChatGPT не суммирует так, как это было бы понятно человеку) и дополнить другие (например, помощь в составлении критических замечаний по аналитическим продуктам). Несмотря на эти возможности, мы, как и другие, отмечаем, что ChatGPT имеет заметные ограничения (например, извлечение социальных сетей). Это также трансформирует аналитические навыки в командную работу ИИ и человека, где «задавать правильный вопрос» расширяется и включает в себя «оперативное проектирование». Оперативное проектирование — это процесс оптимизации способа представления вопросов или подсказок для извлечения заданных ответов из модели ИИ. Программы LLM также создадут новые риски посредством такой тактики, как «отравление данных», как мы объясним ниже.

Как работает ChatGPT

ChatGPT, или генеративный предварительно обученный преобразователь, — это своего рода модель искусственного интеллекта, которая генерирует текст в соответствии с предоставленной информацией. Это похоже на актера-импровизатора, который учился на огромном количестве сценариев и может устанавливать связи между различными темами. ИИ, как и гипотетический актер-импровизатор, ограничен предоставленной информацией. ChatGPT был обучен на информации до 2021 года, хотя доступные модели бета-тестирования основаны на обучающих данных из Интернета в режиме реального времени.

ChatGPT «обучается» в два основных этапа. Во-первых, он изучает основы предметной области, изучая огромный массив текста. Затем он настраивается для выполнения конкретных задач с использованием примеров и указаний. Благодаря этому методу становится лучше отвечать на вопросы и утверждения пользователей. Точность ее ответов зависит от нескольких факторов, включая, среди прочего, качество данных, предоставляемых модели, и используемые методы оперативного проектирования.

Зависимость модели от обучающих данных создает риски: от невинно ложных данных (дезинформации) до намеренно ложных данных (дезинформации). ChatGPT может отражать предвзятость в обучающих данных, потенциально искажая беспристрастность и объективность сгенерированных результатов. Сообщения СМИ о предвзятых результатах ChatGPT в отношении таких противоречивых политических деятелей, как Дональд Трамп и Джо Байден, иллюстрируют эту точку зрения. Другой риск заключается в том, что модель «отравлена» злоумышленниками, которые намеренно искажают данные обучения. Поскольку LLM в значительной степени полагаются на качество своих обучающих данных, отравленные данные могут включать в себя гнусные закономерности, которые трудно обнаружить и смягчить.

Насколько хорошо пользователь объясняет, что он хочет от ChatGPT (так называемое быстрое проектирование), имеет решающее значение для достижения лучших результатов от системы. В своей нынешней форме результаты ChatGPT находятся на поверхностном уровне, по крайней мере, без существенных и тщательных подсказок.