Bonjour,

Depuis peu, j’ai énormément de doublon sur ma banque CMB.
Toutes les opérations de type Carte sous doublonnées avec le type Débit différé.

Malgré un clean up + réimport, au premier reload, je me reprend tous les doublons.
Serait-ce un problème lié au connecteur weboob ??

Bonjour,

Merci d’avoir pris le temps de nous remonter le problème. Je pense que le problème est des deux côté !
Pour faire simple, côté Kresus, nous considérons qu’une opération renvoyée Weboob est identique à une opération déja en base si est seulement si :

  • les libellés sont égaux
  • les montants sont égaux
  • les dates sont les mêmes
  • les types sont les mêmes
    En ayant comme hypothèse que les types sont stables dans le temps, donc par exemple, que le type « Débit différé » ne devient pas « Carte » après la date de débit de la carte. Sur les modules testés, l’hypothèse était vérifiée, mais il semblerait que ce ne soit pas le cas sur tous.

Un ticket est ouvert actuellement, je fais remonter sa priorité:


Il devrait être possible de fusionner les opérations en déactivant l’option « Ignorer les opérations qui ont des champs personnalisés différents » (Ecran « Doublons » > Cliquer sur « Paramètres par défaut »). Cela devrait éviter aux opérations antérieures de réapparaitre.

Bonjour,

Merci pour cette réponse précise.
L’opération de fusion semble fonctionner, mais j’ai plusieurs centaines de doublons, ca va être dur :frowning:

Hello,

Je reviens aux news, j’ai vu sur le gitlab qu’un fix avait été proposé.
J’ai essayé d’installer l’image nightly en la pullant depuis docker hub mais je ne parviens pas à la démarrer, j’ai un problème sur un Unknown database type…

Par ailleurs, quand pensez-vous livrer une image stable ? la précédente a 5 mois et n’embarque pas mon bug bloquant.

Merci d’avance !

Bonjour Andro,

oui la version nightly nécessite une base SQL, tu pourras en apprendre plus ici : https://kresus.org/admin.html#base-de-donnees-sql_1.

Pour la prochaine stable je ne saurais trop dire, on polisse les derniers détails justement de cette migration SQL.

Bonne journée

Ok merci pour les infos, je n’avais pas bien saisi cette subtilité :slight_smile:

Cela signifie-t-il qu’actuellement je ne peux pas migrer mes données sur la version nightly du coup ?

Si ? Mais il faut que tu installes une base de données psotgresql et que tu renseignes les identifiants de connexion à cette base dans le fichier config.ini.

ah ok, vu que tu disais que vous poffiniez les détails de la migration, je pensais que c’était pas prêt :wink:

Bon alors je fini de dédoublonner ma base existante et je migres sur la nightly asap.

Ça reste une nightly ;).

oui je conserverais les 2, pour le moment de toute facon, je n’utilise plus ni ne peux synchroniser mon compte principale, tout est doubloné systémtiquement.

Bon j’ai, à priori, fais le ménage sur ma centaine de doublons.
Sauf que sur le solde de mon compte courant, il m’affiche plus de 50k € (si seulement…).
Et sur la vue graphique, le solde affiché est d’environ 800€, le dernier est plus proche de la réalité mais encore trop haut. mais alors pourquoi sur la vue « Relevé », j’ai un tel montant ? impossible de trouver l’origine du problème.

L’initial balance du compte semble « bonne » par ailleurs.

Je veux bien modifier la balance initial (d’ailleurs pas trouvé sur l’ihm) mais bon, démarrer à -50k…

J’ai bien retrouvé encore quelque doublons mais sur des transactions négatives, donc le solde a encore augmenté. Je m’enrichie :smiley:

Mais rien pour diminuer ce solde exhorbitant.

Je vais voir pour rebalancer, mais je veux pas reconnecter kresus à ma banque sinon j’ai gagné le droit de revirer tous les doublons :wink:

Tu peux toujours faire un export non chiffré : les accès bancaires seront exportés sans les mots de passe donc à l’import ils ne se connecteront pas à la banque. En cas de souci, tu réimportes la sauvegarde.

Mais avec la nightly tu as encore des nouveaux doublons à cause des opérations différées/non différées ?

Oui c’est ce que j’ai fait.

Mais avec la nightly tu as encore des nouveaux doublons à cause des opérations différées/non différées ?

Je viens d’importer mes données dans la nightly, et me voila désormais avec un compte à 98k€ :smiley:
Donc oui, doublon depuis j’imagine jusqu’ou weboob est parvenu à récupérer des données du site de la banque. Toutes mes payes sont doublées, pourtant les 2 sont de types « Transfer » à 1 jour de déclagae :frowning:

J’ai plus de 800 doublons.

Bon, j’ai virer les doublons à la main dans la GUI, via la fusion. Dans les fait, j’ai du en virer 200 ou 300, il m’en reste mais ce sont des faux.

Je suis revenu à mon erreur avant synchro du compte.
J’ai bien revérifié et je ne vois pas de doublons, du moins pas expliquant un delta de 50k €.

J’ai donc rebalancé mon compte, et relancé par la même une synchro et je n’ai pas récupéré mes opérations en double à nouveau.

J’ai donc une vue propre sur cette version nightly.

Me voila content :slight_smile:

Pour ces doublons, ce serait bien de pouvoir fusionner en masse avec une cacse à cocher sur une colone à droite par exemple.

Top ! Pense à faire une sauvegarde/des exports réguliers !

Alors oui mais non, je suis mitigé : certaines opérations peuvent être en doublon avec plusieurs autres opérations.
Mais on continue de travailler à réduire toujours + ces doublons :).

Mauvaise nouvelle, cette nuit, il a recommencé à me prendre une dizaine d’opérations doublonnées sur le mois de Mars.
Et après nettoyage, j’ai à nouveau un solde trop élevé…

Pourrais-tu nous faire une capture d’un exemple de doublons stp, en mettant le curseur sur le « ? » (qui affiche le libellé complet) pour chacune des deux opérations du doublon, pour qu’on ait une idée de ce qui se passe ?

aie j’y ai pensé trop tard après avoir fusionné les doublons incriminés, je vais voir pour réimporter ma dernière sauvegarde et resynchro.

Car la synchro de cette nuit ne m’a pas ramené de doublons cette fois.

Bon je capte pas la…

J’avais à nouveau synchronisé le solde.
J’étais genre à +300€
Ce matin à 6h, il m’a récupéré mes transactions d’hier, j’ai fais des achats sur internet et j’étais, sur le compte à -200€.
Et bien, sur Kresus, pas de doublon, par contre me voila, sur le solde affiché, à -2000€ … j’ai pas l’explication.

Essai d’élargir le seuil de recherche des doublons en cliquant sur « Trouver plus » dans les doublons.
Également, dans les logs tu devrais pouvoir voir combien de nouvelles opérations ont été importées, peux-tu vérifier ?

Alors en élargissant et en passant en revue tous les doublons un à un, j’ai trouvé des vrais doublons mais en 2015 et 2016, donc pas des récents.

En regardant les logs, j’ai récupéré 5 nouvelles opérations, et c’est bien les 5 que je vois en « Sans catégorie ».

Par contre je vois des transcations to update, je ne sais pas à quoi cela correspond ?

[2020-04-17T04:12:30.121] [INFO] accounts-manager - 73 operations retrieved from source.
[2020-04-17T04:12:30.121] [INFO] accounts-manager - Normalizing source information...
[2020-04-17T04:12:30.123] [INFO] accounts-manager - Comparing with database to ignore already known operations…
[2020-04-17T04:12:30.240] [INFO] accounts-manager - 5 new operations found!
[2020-04-17T04:12:30.240] [INFO] accounts-manager - Creating new operations…
[2020-04-17T04:12:30.417] [INFO] accounts-manager - Done.
[2020-04-17T04:12:30.418] [INFO] accounts-manager - 27 transactions to update.
[2020-04-17T04:12:30.418] [INFO] accounts-manager - Updating transactions…
[2020-04-17T04:12:30.747] [INFO] accounts-manager - Done.

Bonjour,

les transactions mises à jour correspondent à celles dont le type a changé (par ex. débit différé -> débit).

Salut,

Aujourd’hui, à nouveau plusieurs doublons.
Voici un montage de screenshot sur un doublon en question:

Salut,

oui je comprends mieux pourquoi ça arrive.
Ce que je ne comprends pas c’est pourquoi tu as une opération avec le type « Débit différé » plus récente que celle déjà stockée.

La logique veut qu’une opération différée devienne une opération effective, pas l’inverse :thinking:.

Ping @ZeHiro, t’as déjà rencontré ça ?

Non, j’ai pas rencontré ça… c’est sale, si je peux me permettre. Y’a aucun invariant sur lequel compter… par contre le recalage du solde sur le premier mois (ou semaine),en presence de doublons, est normal, vu le code, on a meme un ticket pour ça. Dans l’idéal, faudrait attendre voir comment ça évolue. Pour le problème de type, il faudrait peut etre considerer que le type 'debit différé- et le type ‹ carte › sont identiques.

@andro Les opérations qui sont marquées comme « carte » elles sont bien arrivées comme ça ? Ce n’est pas toi qui a manuellement changé le type de « différé » vers « carte » par exemple ?

@ZeHiro Tu crois que weboob pourrait mal détecter le type au début et mettre « carte » au lieu de « différé » ?

Non je n’ai rien modifié dans Kresus.
Coté CMB, je vois l’opération comme ca: CARTE 18/04 GROUPE LDLC Limonest

Je voulais vérifier avec boobank mais pour je ne sais quelle raison je ne parviens pas à me logger …

Tous mes doublons semblent liés à ce problème carte vs débit différé

Bonjour, je suis utilisateurs depuis peu et les mois passé je n’avais pas de soucis, mais j’ai désormais ce type de doublon Débit-différé Carte sauf que le doublon n’est pas résolu du fait que le libellé dans Débit-différé est tronqué par rapport à celui de Carte. Je ne sais pas trop si qqc peut être fait ni si c’est un pb woob (bnporc) ou kresus (0.17.2). Si qqn a une idée, sinon je me pencherai dessus quand j’aurai le temps!

Bonjour @pledou,

sur le site de ta banque est-ce que tu remarques aussi un changement de libellé ? C’est à dire qu’il devient tronqué ou au contraire de tronqué il devient complet ?

Sur le site, je ne constate pas cette troncature dans l’affichage mais l’affichage ne se fait pas au même endroit. Quand j’analyse le ficher https://mabanque.bnpparibas/rop2-wspl/rest/releveOp reçu du serveur je la constate bien, et les lignes ne proviennent pas de la même partie:
data.listerOperations.compte.operationAvenir[0].operation[0].libelle
data.listerOperations.compte.operationPassee[0].libelleOperation ou sa version tronquée libelleOperationSimplifie

Je suppose qu’il y a eu un changement dans la structure de cette réponse ou dans le module bnporc? A moins que le changement provienne de Kresus parce que ça fonctionnait les mois passés. Merci d’avance de me guider dans l’investigation, si je peux participer à une correction?