Усталость от уведомлений: как построить ИИ, который знает, когда замолчать

Год назад ранняя версия Nudge присылала занятому человеку ворох уведомлений в день. Сегодня их несколько штук, и они приходят в моменты, когда вы скорее всего что-то сделаете. Продукт не стал менее амбициозным. Система задач выросла, ИИ-функции стали лучше, пользователей стало больше. Изменилось то, что мы перестали измерять не то, что нужно.

Не то — это сколько полезных сигналов может выдать ИИ. То, что нужно, — сколько сигналов живой человек способен принять, прежде чем начнёт игнорировать приложение. Эти числа далеки друг от друга.

Почему ИИ-приложения для напоминаний шлют слишком много уведомлений

Любой ИИ, способный рассуждать о ваших задачах, может выдать впечатляющее количество «полезных» сообщений. Он может напомнить о сроках. Предложить подзадачи. Указать на накладки. Предложить перенести. Предложить формулировку получше. Заметить, что одну задачу вы откладываете три недели. Поздравить с серией.

По отдельности каждое из этого можно обосновать. Вместе они дают телефон, который вибрирует каждые 40 минут. Именно такое приложение удаляют.

Наивная реализация ИИ-помощника по продуктивности выглядит примерно так: при добавлении новой задачи ИИ её оценивает, предлагает план, ставит напоминания на нужные контрольные точки и присылает сигнал, когда точка наступает. Добавьте 10 задач за неделю — и у вас в очереди десятки напоминаний, растянутых по неделе. Первая неделя кажется умной. Вторая — гнетущей. На третьей неделе значок уведомлений перестают читать.

Мы это знаем, потому что сначала построили примерно такую версию.

Как мы решаем, какие напоминания не отправлять

Трудным оказалось решить, что не отправлять. LLM прекрасно порождает кандидатов в напоминания и посредственно ранжирует их между собой. По отдельности всё выглядит разумным — та же проблема, что и у людей, когда они пишут себе списки дел.

Мы пришли к двухступенчатому фильтру. Первая ступень — быстрая оценка, которая проходит по каждому кандидату в напоминания. Она задаёт четыре вопроса:

Не лишнее ли это напоминание? Если похожее мы отправляли за последние 90 минут — убрать. Если человек недавно выполнил связанную задачу — убрать.

Есть ли у человека сейчас запас внимания? Здесь напоминания с учётом контекста оправдывают своё название: сюда идут тихие часы, календарь человека и то, когда он раньше действительно реагировал на уведомления. Если мы в окне низкой доступности — отложить или убрать.

Правда ли задача близка к моменту действия? Срок через четыре дня без точного времени не требует напоминания сегодня. Срок завтра в 17:00 — возможно, требует.

Не подорвёт ли ещё одно напоминание по той же задаче первое? Мы держим дневной предел на задачу. По умолчанию — два. Сверх этого планировщик отказывается добавлять, каким бы умным ни был ход рассуждения.

Вторая ступень — общая пауза. Даже если первая ступень одобрила, напоминание не сработает, если человек получил любое другое напоминание в предыдущие 15 минут. Это одно правило дало самое большое падение дневного числа напоминаний из всего, что мы выпустили. Оно же заставило нас тщательнее выбирать, что проходит фильтр, потому что забрасывать человека слабыми напоминаниями и брать количеством стало нельзя.

Сдержанность ИИ даётся труднее, чем его возможности

Культурная проблема любой команды, которая строит на LLM: выдавать результат дёшево, а сдерживать его дорого. Младший инженер за полдня соберёт «LLM предлагает три улучшения вашей задачи». Чтобы решить, когда эти предложения не показывать, нужны телеметрия, исследования пользователей, модели ранжирования и готовность выпускать меньше функций. Такую работу не покажешь на демо. На скриншоте она не выглядит как прогресс.

Мы взялись за сдержанность из-за одного конкретного измерения. У каждого отправленного напоминания в течение 24 часов появляется ответный сигнал: человек что-то по нему сделал, проигнорировал его или следующее напоминание по той же задаче тоже не сработало. Качественная система доставки — та, где большинство напоминаний приводят к действию, а большая часть остальных не приводит ни к чему (и это нормально). Плохая система — та, где большинство напоминаний отклоняют, потому что отклонения стоят доверия. Разницу между ними в основном делает приход напоминания в правильный момент.

Когда мы сопоставили это с объёмом уведомлений, картина стала очевидной. Больше уведомлений в день — больше отклонений. Меньше — лучше доведение дел до конца, пока объём не падал настолько, что настоящие сроки начинали проскакивать мимо. Лучшей точкой оказались несколько штук в день.

Что мы убрали

Несколько конкретных вещей, которые мы по ходу вынули из системы.

Утренние сводки. Ранняя версия каждое утро присылала уведомление «вот ваш день». Звучало полезно. На практике люди эти уведомления игнорировали. Функцию мы оставили, но перенесли её на главный экран в приложении вместо пуша. Та же информация. Нулевая цена в уведомлениях.

Напоминания о сериях. «Вы выполнили 5 задач подряд!» — это уведомление, которое радует дня три и раздражает всегда. Убрали.

Уведомления с предложениями. «Мы заметили, что вы всё откладываете эту задачу. Разбить её на подзадачи?» Намерение хорошее, момент плохой. Теперь это спокойная карточка на экране задачи. Человек видит её, когда уже смотрит на задачу, — в таком контексте предложение уместно.

Сообщения об автоматическом переносе. Если планировщик Nudge переносил задачу на другой день, раньше он присылал уведомление. Людей это сбивало с толку и слегка тревожило. Теперь планировщик просто делает своё дело тихо и показывает изменение на главном экране.

Во всех случаях схема одна и та же. Информация человеку по-прежнему доступна, но он забирает её сам, а не получает пушем. Пуш-уведомление — это притязание на внимание человека. Его стоит беречь для того, что действительно требует от человека действия прямо сейчас.

Инженерная сторона

Несколько замечаний по реализации, если вы строите что-то похожее.

Наш планировщик напоминаний работает на Celery с задачами по ETA для точного времени, за ним очередь Redis и журнал в Postgres. У каждого напоминания есть поле происхождения (AI_INFERRED или USER_EXPLICIT), которое определяет, насколько свободно нам разрешено его отменить или перенести. Напоминание, заданное человеком явно, мы никогда не отменяем автоматически ради объёма. Именно это правило держит доверие. Если вы поставили напоминание о дне рождения мамы, мы его доставим, что бы ни думала модель. Это та же гарантия, что стоит за напоминаниями, которые не исчезнут, пока вы их не выполните.

Логика ранжирования и отмены живёт в дневном планировщике, который запускается раз в сутки на пользователя. Ему разрешено отменять залежавшиеся напоминания, выведенные ИИ (до 50 за проход), и ставить в очередь свежие. Ему запрещено трогать то, о чём человек попросил сам. Эта граница важнее модели ранжирования.

Суть

Когда мы рассказываем людям про Nudge, чаще всего удивляются, что ИИ не делает больше. Где ежедневный коучинг. Почему он не анализирует мою продуктивность. Разве он не может присылать мне слова поддержки.

Короткий ответ: мог бы, и от этого продукт становится хуже. Внимание — конечный запас. Каждое уведомление — списание с него. Многие ИИ-инструменты для продуктивности налегают на количество в надежде, что первые несколько человек воспримет как вклад в будущее, где приложение незаменимо. На практике человек воспринимает их как повод отключить приложению звук.

Строить ИИ, который знает, когда замолчать, менее увлекательно, чем строить ИИ, которому есть что сказать. И именно это, по нашему опыту, заставляет людей продолжать пользоваться продуктом после второй недели — особенно тех, кто искал менеджер задач для тех, кто ненавидит менеджеры задач.

Nudge построен на предпосылке, что меньше напоминаний, но в лучший момент, работают лучше, чем больше напоминаний, но чуть мимо. Бесплатно на iPhone и в вебе.