Если ты разрешаешь приложению доступ к товарищам, информация о них постоянно синхронизируется с Telegram. Отключить синхронизацию можно с мобильных устройств в настройках приложения > Секретность и безопасность.