Je n'arrive pas à déterminer quelles requêtes de génération doivent être synchrones ou traitées en arrière-plan dans mon produit.

Cette fonctionnalité vous aide à décider si une requête de génération doit être exécutée de manière synchrone (réponse immédiate) ou asynchrone en tant que tâche de fond. Elle fournit des conseils clairs pour améliorer l'expérience utilisateur, la fiabilité du système et les performances sous différentes charges de travail.

Cette fonctionnalité clarifie quand les requêtes de génération doivent être traitées de manière synchrone ou mises en file d'attente et traitées en arrière-plan. Elle vous aide à évaluer les requêtes en fonction de la latence attendue, de la taille de la charge utile, du coût de calcul et des modèles d'interaction utilisateur. Pour les générations rapides et légères que les utilisateurs attendent instantanément, elle recommande un traitement synchrone pour maintenir la réactivité des flux. Pour les générations plus longues ou gourmandes en ressources, elle recommande des tâches de fond pour éviter les délais d'attente et maintenir la stabilité de votre application. La fonctionnalité prend en charge la conception de modèles d'expérience utilisateur cohérents tels que des indicateurs de progression, le suivi de l'état des tâches et des notifications pour les résultats terminés. Elle vous aide également à planifier les pics de trafic en acheminant les travaux lourds via des files d'attente et des processus de travail plutôt que d'occuper les threads web. En rendant ce processus de décision explicite, les équipes peuvent standardiser la mise en œuvre sur tous les points de terminaison et éviter une gestion ad hoc. Cela réduit le risque d'expériences utilisateur médiocres causées par de longues attentes, des requêtes échouées ou des temps de réponse imprévisibles. Le résultat est une architecture plus évolutive qui aligne les caractéristiques de performance sur les attentes des utilisateurs.