Опасные помощники?
Минуло почти три года с тех пор, как я впервые попробовал использовать большие языковые модели (LLM) для выполнения несложной прикладной задачи по яхтенной теме. Сделал я это по просьбе приятеля и помню, что с большим удовлетворением доложил ему о результате: модель с треском провалилась, выдав абсолютно противоречащий реальности ответ. Садясь писать этот текст, я снова задал одному из самых умных ИИ-ассистентов похожий вопрос об интегрированных в композитный корпус фотоэлектрических панелях и получил дивный по красоте завуалированной лжи пассаж.
Нет, я не собираюсь ругать LLM. Сталкиваясь с ними ежедневно, я вижу, что они объективно поумнели, стали полезнее и — не побоюсь сказать — человечнее. Прекрасный инструмент в умелых руках. А в неумелых — опасный.
«Да ладно! — возразит читатель. — Чего там опасного?» Опасна ситуация, когда искусно вплетенные в ткань ответа галлюцинации модели встречаются с отсутствием или недостаточным напряжением критического мышления у пользователя. Я с ужасом наблюдаю, как довольно умные люди из моего окружения с каждым днем все больше доверяют нейросетям, в том числе в вопросах, связанных с выживанием. Например, когда спрашивают их про нюансы погружений в техническом дайвинге. В итоге происходит классическая нормализация отклонений: сначала пользователи прощают ИИ-помощникам небольшую порцию безобидного вранья на фоне в целом правдивого ответа, а потом в какой-то момент перестают замечать перемены в соотношении этих составляющих. Один такой ответ вряд ли существенно навредит, но вот когда подобная «мягкая» дезинформация приобретает системные очертания, сами по себе некритичные ошибки однажды могут сложиться в опасную матрицу. Поэтому мой совет: если используете LLM для серьезных задач, а не просто болтаете с ней от нечего делать, заставляйте себя проверять предложенные вам факты. Причем проверять, выискивая подтверждение в авторитетных источниках, а не опираясь исключительно на когнитивные схемы, которые подкидывает мозг в рамках здравого смысла. Чем выше цена ошибки, тем тщательнее должна быть проверка.