Если вы разрешаете приложению доступ к контактам, информация о них постоянно синхронизируется с Telegram. Отключить синхронизацию можно с мобильных устройств в настройках приложения > раздел Конфиденциальность и безопасность.