Почему нейросеть выдумывает, а не говорит «не знаю»
Языковая модель не ищет ответ в базе фактов. Она продолжает текст так, как он чаще всего продолжается, и делает это очень убедительно. Если в запросе просят конкретную цифру или ссылку, а надёжных данных у модели нет, она всё равно выдаст что-то правдоподобное: правильного формата, с уверенным тоном и красивыми деталями. Поэтому по звучанию отличить правду от выдумки нельзя. Гладкий, подробный и спокойный ответ не говорит о том, что он верен. Это важно запомнить: сомнение должно включаться не тогда, когда ответ звучит странно, а тогда, когда ответ содержит то, что можно проверить, и от него что-то зависит.
Что нейросеть выдумывает чаще всего
Опаснее всего мелкие проверяемые детали. Чаще других выдуманными оказываются точные числа и проценты, даты событий, имена людей и названия организаций, номера законов и статей, цитаты «из книги» или «из интервью», адреса ссылок и названия научных работ, а также функции и настройки программ, которых на самом деле нет. Если в ответе есть ссылка на источник, это ещё не доказательство: нейросеть умеет придумывать и их, причём с правдоподобным названием издания и годом. Общие рассуждения, объяснения понятий и перефразирование вашего собственного текста выдумываются заметно реже, поэтому именно туда стоит направлять нейросеть в первую очередь.
Как поймать ошибку за пять минут: четыре проверки
Первая проверка: попросите указать источник и откройте его сами. Если страницы нет или на ней сказано другое, ответ нельзя использовать. Вторая: найдите исходное значение. Цифру сверьте с официальным сайтом организации, цитату поищите по точной фразе в кавычках, закон проверьте на официальном портале вашей страны. Третья: задайте тот же вопрос в новом чате другими словами. Если ответы заметно расходятся, это тревожный признак. Четвёртая: попросите нейросеть разделить ответ на «уверена» и «не уверена, нужно проверить». Это не гарантия, но помогает увидеть слабые места. Главное правило: всё, что вы собираетесь опубликовать, отправить или подписать, проверяется по первоисточнику.
Как писать запрос, чтобы выдумок было меньше
Лучший способ уменьшить выдумки: не просить нейросеть вспоминать, а дать ей материал. Вставьте текст, таблицу или выдержку и напишите, что отвечать нужно только на их основе. Добавьте разрешение сказать «в тексте этого нет»: многим моделям нужно прямо позволить признать незнание. Просите короткие ответы с цитатой из вашего материала: так проще проверить каждое утверждение. Не требуйте от нейросети «точных цифр из памяти» и не настаивайте на ответе, если она сомневается: давление повышает шанс на выдумку. Если нужны свежие данные, используйте режим с поиском в интернете там, где он есть, и всё равно открывайте ссылки сами.
Когда нейросети нельзя верить без проверки
Есть темы, где цена ошибки высока: здоровье и лекарства, юридические вопросы и сроки, налоги и деньги, безопасность, всё, что вы публикуете от своего имени или передаёте клиенту. Здесь нейросеть годится как помощник для подготовки вопросов и черновика, но не как источник решения. Для здоровья и права окончательный ответ даёт специалист, а числа и ссылки подтверждаются официальными источниками. Полезная привычка: перед тем как использовать результат, спросите себя, что случится, если это неправда. Если ответ «ничего страшного», быстрой проверки хватит. Если «будут последствия», проверьте по первоисточнику или обратитесь к специалисту.