Forwarded from Сумма технологий
В Тюменском госуниверситете студентам разрешили использовать искусственный интеллект при написании выпускных работ.
Студенты будут обязаны указать во введении к работе, что она написана с помощью нейросети, и описать использованную языковую модель и цели, для которых она применялась.
Кроме того, полученную информацию студент обязан подтвердить ссылками на надёжные источники.
Следить за объемом использования нейросети предполагается с помощью "Антиплагиата".
Де-факто в университете юридически закрепили то, что существует в теневом секторе высшего образования. Студенты и без разрешения пишут курсовые и дипломные с помощью нейросетей.
Отметим, что отследить тот факт, что работа написана именно нейросетью, "Антиплагиат" не способен по определению.
#нейросети
Студенты будут обязаны указать во введении к работе, что она написана с помощью нейросети, и описать использованную языковую модель и цели, для которых она применялась.
Кроме того, полученную информацию студент обязан подтвердить ссылками на надёжные источники.
Следить за объемом использования нейросети предполагается с помощью "Антиплагиата".
Де-факто в университете юридически закрепили то, что существует в теневом секторе высшего образования. Студенты и без разрешения пишут курсовые и дипломные с помощью нейросетей.
Отметим, что отследить тот факт, что работа написана именно нейросетью, "Антиплагиат" не способен по определению.
#нейросети
May 29, 2024
Forwarded from Сумма технологий
ChatGPT научился воровать данные пользователей?
Исследователь в области кибербезопасности Иоганн Рейбергер выявил уязвимость в ChatGPT, которая позволяет злоумышленникам внедрять ложную информацию в память чат-бота с помощью вредоносных запросов. Эта проблема может угрожать конфиденциальности данных пользователей, а также, что ещё более важно, менять логику системы и заставлять её делать ложные выводы.
ChatGPT использует долговременную память для хранения информации о пользователе, включая возраст, пол и личные предпочтения. Это упрощает общение, так как чат-бот помнит важные данные из предыдущих разговоров. Однако путём известного приёма в виде непрямых инъекций, например, с помощью документов или ссылок, можно заставить систему поверить в несуществующие и фальсифицированные факты. В эксперименте исследователь убедил нейросеть в том, что он живёт в матрице, а Земля плоская. Все последующие диалоги с нейросетью основываются уже на этих инъектированных данных.
Особенно тревожной оказалась возможность использования внешних файловых хранилищ, таких как Google Drive, Яндекс Диск или OneDrive, для проведения этих атак.
В мае 2024 года Рейбергер сообщил об этой проблеме в OpenAI, но его обращение закрыли, не придав ей большого значения.
#нейросети #ии #безопасность
Исследователь в области кибербезопасности Иоганн Рейбергер выявил уязвимость в ChatGPT, которая позволяет злоумышленникам внедрять ложную информацию в память чат-бота с помощью вредоносных запросов. Эта проблема может угрожать конфиденциальности данных пользователей, а также, что ещё более важно, менять логику системы и заставлять её делать ложные выводы.
ChatGPT использует долговременную память для хранения информации о пользователе, включая возраст, пол и личные предпочтения. Это упрощает общение, так как чат-бот помнит важные данные из предыдущих разговоров. Однако путём известного приёма в виде непрямых инъекций, например, с помощью документов или ссылок, можно заставить систему поверить в несуществующие и фальсифицированные факты. В эксперименте исследователь убедил нейросеть в том, что он живёт в матрице, а Земля плоская. Все последующие диалоги с нейросетью основываются уже на этих инъектированных данных.
Особенно тревожной оказалась возможность использования внешних файловых хранилищ, таких как Google Drive, Яндекс Диск или OneDrive, для проведения этих атак.
В мае 2024 года Рейбергер сообщил об этой проблеме в OpenAI, но его обращение закрыли, не придав ей большого значения.
#нейросети #ии #безопасность
October 2, 2024