Recuperation d'anciens fils de discussion

Ce forum est réservé aux annonces ou remontées de problèmes liés au fonctionnement du forum.
Merci de ne pas y poster de questions relatives à la menuiserie ou à l'outillage, pour cela utilisez les autres sections du forum.

Modérateurs : macbast, ours_en_pluche

Répondre
Avatar de l’utilisateur
deusyss
Accro
Messages : 882
Inscription : 24 nov. 2020, 08:19
Localisation : La Mézière (35)
Contact :

Recuperation d'anciens fils de discussion

Message par deusyss »

Demat à tous,

Pour cexu qui voudrait récupérer éventuellement certains fils de discussions perdu, il est possible de passer par le cache de google:
  • Ouvrir google
  • saisir les mots clés du sujet du fil de discussion et ajouter "site:forum.copaindescopeaux.fr" (ex pour moi: "Enfin comprendre la dilatation du bois site:forum.copaindescopeaux.fr")
  • Dans les résultats qui apparaissent, juste au dessus de l'hyperlien, au bout du texte, il y a une petite fleche qui pointe vers le bas
  • cliquer dessus puis cliquer sur "en cache"
  • La page s'ouvre dans sa dernière version connue par google lors de son dernier referencement.
ça marche pour la page 1 par défaut. Pour les pages suivantes, ajouter le numero de la page dans la recherche
(ex: "Enfin comprendre la dilatation du bois page 2 site:forum.copaindescopeaux.fr"

Si cela peut servir à certains à récupérer des discussions qu'il juge importante :)
La connaissance appartient à tout le monde
Avatar de l’utilisateur
deusyss
Accro
Messages : 882
Inscription : 24 nov. 2020, 08:19
Localisation : La Mézière (35)
Contact :

Re: Recuperation d'anciens fils de discussion

Message par deusyss »

J'oubliais, une fois la page affichée, il ne faut pas oublier de faire CTRL+S, ou fichier/enregistrer, afin d'en garder une copie sur votre PC
La connaissance appartient à tout le monde
Avatar de l’utilisateur
Klug
Accro
Messages : 135
Inscription : 23 nov. 2020, 09:47
Localisation : Nord du Ventoux
Contact :

Re: Recuperation d'anciens fils de discussion

Message par Klug »

Je l'avais posté le week-end dernier, je le reposte : une partie des fils est également disponible (et ne disparaitra pas, contrairement au cache Google) dans la WayBack machine.

Tous les fils archives (certains en octobre dernier) sont ici : https://web.archive.org/web/*/https://f ... opeaux.fr/*
chris422
Poste parfois
Messages : 19
Inscription : 19 août 2018, 00:12
Contact :

Re: Recuperation d'anciens fils de discussion

Message par chris422 »

Salut à tous,

Dans la même idée que Klug, j'avais crawlé à l'époque du crash tout ce que j'ai pu de la wayback machine pour retrouver ce que l'on a perdu.
Je ne sais plus comment j'ai calculé cela (j'ai fais ce scrapping pendant les congés de décembre, et ça dort depuis) mais j'avais compté:

En ne gardant que ce qui est entre le 11 janvier et le 23 novembre, je retrouve donc au total :
- 717 fils de discussions
- 3,610 posts au total

Voici un lien pour récupérer une archive contenant les pages que j'ai pu récupérer, et une version .json avec seulement le contenu du message (plus facile pour rechercher, à simplement ouvrir en mode texte): https://file.io/1ETtKrXugThw

Si vous cherchez quelque chose qui a disparu, il n'y a pas tout mais vous pourrez déjà récupérer quelques infos !

C'est un lien éphémère, il faudrait que je le mette en ligne quelque part, mais déjà jettez un oeil et dupliquons cette source d'infos précieuse ;-)

HTH
Avatar de l’utilisateur
woodpecker54
Accro
Messages : 1748
Inscription : 15 sept. 2016, 16:22
Localisation : Nancy
Contact :

Re: Recuperation d'anciens fils de discussion

Message par woodpecker54 »

chris422 a écrit : 01 mars 2021, 00:19 Salut à tous,

Dans la même idée que Klug, j'avais crawlé à l'époque du crash tout ce que j'ai pu de la wayback machine pour retrouver ce que l'on a perdu.
Je ne sais plus comment j'ai calculé cela (j'ai fais ce scrapping pendant les congés de décembre, et ça dort depuis) mais j'avais compté:

En ne gardant que ce qui est entre le 11 janvier et le 23 novembre, je retrouve donc au total :
- 717 fils de discussions
- 3,610 posts au total

Voici un lien pour récupérer une archive contenant les pages que j'ai pu récupérer, et une version .json avec seulement le contenu du message (plus facile pour rechercher, à simplement ouvrir en mode texte): https://file.io/1ETtKrXugThw

Si vous cherchez quelque chose qui a disparu, il n'y a pas tout mais vous pourrez déjà récupérer quelques infos !

C'est un lien éphémère, il faudrait que je le mette en ligne quelque part, mais déjà jettez un oeil et dupliquons cette source d'infos précieuse ;-)

HTH
Salut,

Bonne idée, mais ton lien est vraiment très éphémère, le fichier n'est déjà plus disponible :(
L'ignorance engendre plus souvent la confiance en soi que ne le fait la connaissance - Charles Darwin

Ma dernière réalisation : la draisienne de Timothée

Mes réalisations en cours : Pergola à lames orientables / Légumier
Avatar de l’utilisateur
deusyss
Accro
Messages : 882
Inscription : 24 nov. 2020, 08:19
Localisation : La Mézière (35)
Contact :

Re: Recuperation d'anciens fils de discussion

Message par deusyss »

Demat,
+1, fichier introuvable. Par contre, en attendant que tu repostes le fichier, j'en profite pour te remercier pour ce travail de titan ^^
La connaissance appartient à tout le monde
chris422
Poste parfois
Messages : 19
Inscription : 19 août 2018, 00:12
Contact :

Re: Recuperation d'anciens fils de discussion

Message par chris422 »

Désolé :)

Voici un lien public dropbox, cela devrait mieux fonctionner, j'espère ...
https://www.dropbox.com/s/73gyj1cil0s4wf4/CdC.zip
Avatar de l’utilisateur
woodpecker54
Accro
Messages : 1748
Inscription : 15 sept. 2016, 16:22
Localisation : Nancy
Contact :

Re: Recuperation d'anciens fils de discussion

Message par woodpecker54 »

J'ai téléchargé le fichier. Merci pour ce boulot, ça a dû te prendre du temps. Tu as extrait quelle période ? Car j'ai retrouvé pas mal de mes posts, mais malheureusement pas ceux que je cherchais, où j'avais posté des réalisations. J'ai encore les photos, mais c'est surtout le texte que j'avais mis autour que j'aurais voulu récupérer...
L'ignorance engendre plus souvent la confiance en soi que ne le fait la connaissance - Charles Darwin

Ma dernière réalisation : la draisienne de Timothée

Mes réalisations en cours : Pergola à lames orientables / Légumier
chris422
Poste parfois
Messages : 19
Inscription : 19 août 2018, 00:12
Contact :

Re: Recuperation d'anciens fils de discussion

Message par chris422 »

Désolé, en effet en discutant avec Nico en MP on a bien vu qu'il en manquait :(

Je suis parti du 1/1/2019
En utilisant l'adresse suivante : http://web.archive.org/cdx/search/cdx?u ... m=20190101

Avec cette liste d'URLs sauvegardée, il faut ensuite retrouver chaque page comme suit :
https://web.archive.org/web/(un numéro de snapshot ici)/(l'url de la page)

Voici un exemple de ce qu'on peut récupérer: https://web.archive.org/web/20200811214 ... 9&p=343284

Il y a une liste "snapshot" (= sauvegarde) que wayback machine a fait du site.
Il faut retrouver dans quelle sauvegarde se trouve chacune des pages données dans le lien http://web.archive.org/cdx/search/cdx?u ... m=20190101)

J'ai trouvé les numéros de snapshots suivants pour le site: "20201013132535","20201013132533","20200814002032","20191001165418","20190831073333","20190730222425", "20190629073551","20190528224738","20190527181449","20190426121745","20190326035112","20190222184148", "20190121225931"

Soit il m'en manque, soit wayback machine n'avait pas tout sauvegardé.

Une fois les pages Web téléchargées (ce sont celles dispos dans le sous dossier), j'ai fait un petit script pour extraire l'info de toute la salade du code source la page (ce script a aussi peut être des erreurs, j'ai fait au mieux du temps dispo le bug n'est jamais loin :s)
J'avais testé ça dans l'idée était au départ que si on pouvait récupérer tout et se débrouiller pour réinjecter cela en base ça aurait été cool ...

S'il y a des motivés je peux passer le code source python du bouzin fait en mode quick and dirty.
Avatar de l’utilisateur
deusyss
Accro
Messages : 882
Inscription : 24 nov. 2020, 08:19
Localisation : La Mézière (35)
Contact :

Re: Recuperation d'anciens fils de discussion

Message par deusyss »

Qu'entends tu par "S'il y a des motivés je peux passer le code source python". En quoi consisterait le taf restant?
La connaissance appartient à tout le monde
Avatar de l’utilisateur
admin_cdc
Accro
Messages : 154
Inscription : 05 déc. 2020, 15:33
Contact :

Re: Recuperation d'anciens fils de discussion

Message par admin_cdc »

Bonjour,

En tant que garant du bon fonctionnement du forum depuis le dernier crash, je dois apporter quelques précisions.
Aller injecter des données dans la base pour recharger des messages anciens n'est pas du tout une bonne idée. Rien de tel pour créer des problèmes et mettre le forum hors service. Je fais des sauvegardes très régulières, mais c'est pas une raison :)

Ceci ne veut pas dire que rien n'est possible. Mais il faut le faire correctement. C'est-à-dire avoir un script qui s'exécute sur le serveur du forum, qui a un accès (en lecture) à la base de données, et qui fait appel à des bibliothèques de phpbb pour créer les sujets et les messages, notamment via la fonction submit_post.

Et même avec tout ça, on n'est pas sorti de l'auberge... Il faut associer chaque message au bon utilisateur. Je vois que tu as réussi à extraire non seulement le nom de l'utilisateur, mais aussi son identifiant user_id, ce qui est très bien. Le script de restauration devra donc vérifier que l'utilisateur existe bien dans la base de données avec ce même identifiant (d'où l'accès à la base en lecture). Mais que fait-on des messages postés par un compte créé entre le 11 janvier 2019 et le 20 novembre 2020 ? On peut tenter de rechercher le pseudo dans la base, et s'il existe, utiliser son nouvel identifiant. Mais s'il n'existe pas, que fait-on ?

Autre problème, les images ou documents qui étaient dans ces messages. S'ils étaient hébergés sur un autre site, pas de problème, mais s'ils étaient hébergés sur le serveur CdC, ils sont définitivement perdus.

Il y a aussi la problématique des sujets créés avant le 11/01/2019, mais avec des messages ajoutés après cette date. Si jamais tu arrives à retrouver une information topic_id, ça va. Dans le cas contraire, il faut essayer de retrouver en base le sujet seulement par son titre. Outre le problème des doublons, il y a le fait qu'on peut changer le titre à chaque message. Donc pas simple.

J'ai les compétences pour le faire, mais ça demande du temps. Et mon mois de mars est plutôt bien chargé (et pas seulement pas des projets de menuiserie ;) )
Administrateur bénévole du forum
chris422
Poste parfois
Messages : 19
Inscription : 19 août 2018, 00:12
Contact :

Re: Recuperation d'anciens fils de discussion

Message par chris422 »

@Deusyss
J'ai codé la partie téléchargement des pages, et la partie extraction de l'information pour chacune des pages => ce qu'il manquerait serait de cresuer pour voir si :
1) je n'ai pas oublié de pages (y'en a-t-il d'autres que l'on peut récupérer via la wayback machine ? je suis surpris du ratio important entre les pages de type "présentation d'un nouveau membre" par rapport à toutes les autres pages, peut être ai-je loupé de snapshots)
2) pour chaque page, s'assurer que le code extrait bien toutes l'info sans en oublier (le code pour extraction l'info dans le code source de la page est pas terrible/lisible, c'est le problème de ce genre de programme à base de règles)

@admin
En fait, l'idée de départ était déjà de voir ce qui était récupérable, et le mettre dans un format structuré pour envisager de pouvoir l'insérer en base si le résultat était probant (ie assez de choses pour que ça vale le coup de se faire c***r à scripter un import).
Cela étant dit je comprends les problèmes que cela soulève (et je ne sais même pas si cela vaut le coup sur le rapport efforts/quantité de messages récupérables). Je te prie de croire que je mesure plus que bien les implications de réaliser un tel script ;-)
Problème 1: le user n'existe pas, j'imaginais qu'on pourrait céer un "dummy user" (on aurait un nom à choisir et donc pas l'auteur original, mais au moins il y aurait le contenu ...)
Problème 2: pour les médias, j'imaginais qu'on pourrait remplacer par une image placeholder du type 'crash CdC y'a plus!' :s Niveau média, je pense qu'il faut complètement oublié en dehors des liens externes.
Du coup je me disais au final que déjà partager le fichier tel permettrait déjà à chacun de voir ce qu'il peut récupérer!
Avatar de l’utilisateur
deusyss
Accro
Messages : 882
Inscription : 24 nov. 2020, 08:19
Localisation : La Mézière (35)
Contact :

Re: Recuperation d'anciens fils de discussion

Message par deusyss »

Demat,

Je suis partant pour refaire une passe. Pas de garantie de résultat, mais partant. A titre pro, je suis expert Python, donc si je peux aider un peu ^^.

Par contre, je rejoint l'admin sur les risques. De mon point de vue, l'idée aurait plutôt été de générer une mini BDD type SQLite avec toutes les infos récupérées ou peut etre plutot au format excel. L'idée importante derrière pour moi, c'est de permettre aux membres de pouvoir très facilement retrouver leur anciens fil de discussion et de disposer du lien automatique vers le bon fils sur le wayback.

Après libre à eux d'exploiter un tel outil ou non. Et au pire s'ils le désirent, ils font comme moi, il restore un fil créé précédemment, comme tu l'as indiqué
La connaissance appartient à tout le monde
Avatar de l’utilisateur
Artanux
Découvre le forum
Messages : 3
Inscription : 03 mars 2021, 10:52
Contact :

Re: Recuperation d'anciens fils de discussion

Message par Artanux »

Je pense avoir compris pourquoi j'ai du recréer mon compte... (Inscription initiale en mai 2020)

Bon courage pour essayer de tout réintégrer dans le forum.
chris422
Poste parfois
Messages : 19
Inscription : 19 août 2018, 00:12
Contact :

Re: Recuperation d'anciens fils de discussion

Message par chris422 »

Hello Deusyss,

Je t'ai passé en MP de quoi récupérer le code.
Réflexion faite je me suis dis après l'envoi que j'aurais pu faire un repo privé :-D
Si le besoin s'en fait sentir sois-toi libre et ajoutes moi suivant la plateforme je te dirais le login.
Avatar de l’utilisateur
deusyss
Accro
Messages : 882
Inscription : 24 nov. 2020, 08:19
Localisation : La Mézière (35)
Contact :

Re: Recuperation d'anciens fils de discussion

Message par deusyss »

Demat. J'ai bien vu le MP, je vais recuperer ça et jeter un coup d'oeil :)
La connaissance appartient à tout le monde
Répondre

Qui est en ligne ?

Utilisateurs parcourant ce forum : Aucun utilisateur inscrit et 6 invités