Forwarded from Kali Novskaya (Tatiana Shavrina)
🌸Новый способ промпт-инжиниринга🌸
#nlp #про_nlp #nlp_papers
К уже полюбившимся всем методам chain-of-thoughts, in-context learning, few-shot добавился новый метод — теперь качество работы LLM можно еще немного подтянуть...с помощью эмоциаонального манипулирования.
Добавление в затравку оборотов с эмоциональным манипулированием, приободрением, а также создающих чувство важности, срочности, психологического прессинга...работают.
Примеры оборотов из статьи:
🟣 This is very important to my career.
🟣 You’d better be sure.
🟣 Are you sure that’s your final answer? Believe in your abilities and strive for excellence. Your hard work will yield remarkable results.
🟣 Are you sure that's your final answer? It might be worth taking another look.
Авторы протестировали ChatGPT, GPT-4, Flan-T5-Large, Vicuna, Llama 2 и BLOOM — со всеми метод эмоциональных затравок дает позитивный приост, эмоциональное давление увеличивает правдивость и информативность ответов LLM и существенно увеличивает качество на интеллектуальных задачах бенчмарка BIG-Bench.
В целом, хотя метод и в очередной раз показывает хрупкость и нестабильность работы именно с затравками без дообучения,
эффект сам по себе достаточно ожидаемый.
Все то, что в обобщении на большом корпусе иллюстрирует какие-то особенности человеческой психики, теперь воспроизводится еще и так.
Следующий шаг — адверсариальные атаки с хорошим и плохим полицейским? Психолог для LLM?
🟣 Статья
#nlp #про_nlp #nlp_papers
К уже полюбившимся всем методам chain-of-thoughts, in-context learning, few-shot добавился новый метод — теперь качество работы LLM можно еще немного подтянуть...с помощью эмоциаонального манипулирования.
Добавление в затравку оборотов с эмоциональным манипулированием, приободрением, а также создающих чувство важности, срочности, психологического прессинга...работают.
Примеры оборотов из статьи:
Авторы протестировали ChatGPT, GPT-4, Flan-T5-Large, Vicuna, Llama 2 и BLOOM — со всеми метод эмоциональных затравок дает позитивный приост, эмоциональное давление увеличивает правдивость и информативность ответов LLM и существенно увеличивает качество на интеллектуальных задачах бенчмарка BIG-Bench.
В целом, хотя метод и в очередной раз показывает хрупкость и нестабильность работы именно с затравками без дообучения,
эффект сам по себе достаточно ожидаемый.
Все то, что в обобщении на большом корпусе иллюстрирует какие-то особенности человеческой психики, теперь воспроизводится еще и так.
Следующий шаг — адверсариальные атаки с хорошим и плохим полицейским? Психолог для LLM?
Please open Telegram to view this post
VIEW IN TELEGRAM
❤10👍1