Втома від сповіщень: як зробити ШІ, який знає, коли замовкнути

Рік тому рання версія Nudge надсилала зайнятому користувачеві купу сповіщень на день. Сьогодні вона надсилає кілька штук, у моменти, коли ви ймовірно зреагуєте. Продукт не став менш амбітним. Система завдань побільшала, функції зі ШІ стали кращими, користувачів побільшало. Змінилося те, що ми перестали вимірювати не той показник.

Не той показник — це скільки корисних підказок здатен згенерувати ШІ. Правильний показник — скільки підказок жива людина здатна сприйняти, перш ніж почне ігнорувати застосунок. Ці числа далеко не близькі.

Чому застосунки нагадувань зі ШІ надсилають забагато сповіщень

Будь-який ШІ, здатний міркувати про ваші завдання, може згенерувати вражаючу кількість «корисних» речей, які варто вам сказати. Нагадати про дедлайни. Запропонувати підзавдання. Вказати на конфлікти. Запропонувати перенести. Підказати краще формулювання. Зауважити, що ви відкладаєте одне завдання вже три тижні. Привітати із серією.

Кожне з цього окремо можна виправдати. Разом вони дають телефон, який дзижчить кожні 40 хвилин. Саме такі застосунки видаляють.

Наївна реалізація помічника продуктивності зі ШІ виглядає приблизно так: щоразу, коли додано нове завдання, ШІ оцінює його, пропонує план, ставить нагадування на потрібні контрольні точки і надсилає нагадування, коли така точка настає. Додайте 10 завдань за тиждень — і у вас десятки нагадувань у черзі, розкиданих по тижню. Перший тиждень здається розумним. Другий — гнітючим. На третьому тижні значок сповіщень перестають читати.

Ми це знаємо, бо спершу побудували приблизно таку версію.

Як ми вирішуємо, яких нагадувань не надсилати

Найскладніше було зрозуміти, як вирішувати, чого не надсилати. LLM чудово вигадує кандидатів на нагадування і посередньо ранжує їх між собою. Окремо кожне виглядає правдоподібно — та сама проблема, що й у людей, коли вони пишуть собі списки справ.

Ми зупинилися на двоетапному фільтрі. Перший етап — швидкий оцінювач, який проходить по кожному кандидату. Він ставить чотири питання:

Чи це нагадування зайве? Якщо ми надсилали щось схоже за останні 90 хвилин — прибрати. Якщо користувач нещодавно виконав пов'язане завдання — прибрати.

Чи є в користувача зараз запас уваги? Саме тут нагадування з урахуванням контексту виправдовують свою назву: тихі години, календар користувача і те, коли він насправді реагував на сповіщення раніше, — усе це йде в розрахунок. Якщо ми у вікні низької доступності, відкласти або прибрати.

Чи справді завдання близьке до моменту дії? Дедлайн через чотири дні без точного часу не потребує нагадування сьогодні. Дедлайн завтра о 17:00 — можливо, потребує.

Чи не зашкодить ще одне нагадування про те саме завдання першому? Ми тримаємо денний ліміт на кожне завдання. За замовчуванням це два. Понад це планувальник відмовляється додавати ще, хоч яким розумним був ланцюжок міркувань.

Другий етап — глобальна пауза. Навіть якщо перший етап схвалив, нагадування не спрацює, коли користувач отримав будь-яке інше нагадування за попередні 15 хвилин. Це одне правило дало найбільше зниження щоденної кількості нагадувань з усього, що ми випустили. Воно ж змусило нас розумніше вибирати, що проходить крізь фільтр, бо ми більше не могли сипати слабкими нагадуваннями і покладатися на кількість.

Стриманість ШІ складніша за його спроможність

Культурна проблема будь-якої команди, що будує на LLM: видавати результат дешево, а стримувати його дорого. Джуніор-інженер може за пів дня зібрати «LLM пропонує три покращення вашого завдання». Щоб вирішити, коли ці пропозиції не показувати, потрібні телеметрія, дослідження користувачів, моделі ранжування і готовність випускати менше функцій. Таку роботу не покажеш у демо. На скриншоті вона не виглядає як прогрес.

Ми взялися за стриманість через конкретне вимірювання. Кожне надіслане нагадування отримує сигнал протягом 24 годин: користувач зробив справу, проігнорував, або пізніше нагадування про те саме завдання теж не спрацювало. Якісна система доставки — це коли більшість нагадувань дають дію, а більшість решти не дають нічого (і це нормально). Погана система — це коли більшість нагадувань змахують, бо змах коштує довіри. Різницю між ними здебільшого робить нагадування в правильний час.

Коли ми наклали це на кількість сповіщень, картина стала очевидною. Більше сповіщень на день — більше змахів. Менше — краще доведення справ до кінця, поки кількість не падала так низько, що справжні дедлайни починали прослизати. Кілька штук на день виявилися золотою серединою.

Що ми вирізали

Кілька конкретних речей, які ми дорогою прибрали із системи.

Ранкові зведення. Рання версія щоранку надсилала сповіщення «ось ваш день». Звучало корисно. На практиці люди їх ігнорували. Ми лишили функцію, але перенесли її на головний екран у застосунку замість пуша. Та сама інформація. Нуль витрат на сповіщення.

Нагадування про серії. «Ви виконали 5 завдань поспіль!» — це сповіщення, яке днів три відчувається як свято, а далі завжди дратує. Вирізано.

Сповіщення з пропозиціями. «Ми помітили, що ви весь час відкладаєте це завдання. Розбити його на підзавдання?» Добрий намір, поганий час. Тепер це спокійна картка на екрані завдання. Користувач бачить її, коли вже дивиться на завдання, — у такому контексті пропозиція доречна.

Сигнали про автоматичне перенесення. Якщо планувальник Nudge переносив завдання на інший день, раніше він надсилав сповіщення. Користувачів це збивало з пантелику й трохи лякало. Тепер планувальник просто тихо робить свою роботу і показує зміну на головному екрані.

В усіх цих випадках патерн один. Інформація й далі доступна користувачеві, але вона перейшла з push на pull. Пуш-сповіщення — це претензія на увагу людини. Його варто берегти для того, що справді потребує дії просто зараз.

Технічний бік

Кілька нотаток про реалізацію, якщо ви робите щось схоже.

Наш планувальник нагадувань працює на Celery з ETA-завданнями для точного часу, з чергою в Redis і журналом у Postgres. Кожне нагадування має поле походження (AI_INFERRED чи USER_EXPLICIT), яке визначає, наскільки агресивно нам дозволено його скасовувати чи переносити. Ми ніколи не скасовуємо автоматично нагадування, яке задав користувач, заради зменшення кількості. Саме це правило тримає довіру. Якщо ви поставили нагадування про день народження мами, ми його доставимо, хоч би що там думала модель. Це та сама гарантія, що й за нагадуваннями, які не зникнуть, поки ви їх не виконаєте.

Логіка ранжування і скасування живе в денному планувальнику, який запускається раз на день для кожного користувача. Йому дозволено скасовувати застарілі нагадування від ШІ (до 50 за прохід) і ставити в чергу свіжі. Йому заборонено чіпати те, що попросив користувач. Ця межа важливіша за модель ранжування.

Суть

Коли ми розповідаємо людям про Nudge, найчастіша реакція — здивування, що ШІ не робить більше. Де щоденний коучинг. Чому він не аналізує мою продуктивність. Хіба він не може надсилати підбадьорення.

Коротка відповідь: може, і від цього продукт стає гіршим. Увага — обмежений бюджет. Кожне сповіщення — це зняття з рахунку. Багато інструментів продуктивності зі ШІ тиснуть кількістю, сподіваючись, що перші кілька користувач сприйме як внесок у майбутнє, де застосунок стане незамінним. На практиці користувач сприймає їх як причину вимкнути йому звук.

Створювати ШІ, який знає, коли замовкнути, менш захопливо, ніж ШІ, якому є що сказати. Але, за нашим досвідом, саме це змушує людей користуватися продуктом далі другого тижня — особливо тих, хто прийшов по менеджер завдань для тих, хто ненавидить менеджери завдань.

Nudge побудований на тому, що менша кількість вчасних нагадувань працює краще за більшу кількість трохи невчасних. Безкоштовний на iPhone і у вебі.