Utilisateur:Daahbot/Historique/2009

Janvier 2009

Sections de langues modifiables

(Commencé fin décembre) Suite à Wiktionnaire:Gestion des modèles/Sections modifiables.

• Liste : tous les articles
• Script : replace.py -> user-fixes.py :

fixes['langues'] = {
        'regex': True,
        'msg': {
                'fr':u'Robot : sections de langues rendues modifiables',
        },
        'replacements': [
                (r"(\{\{=.+?=\}\})(\r)", r"== \1 ==\2"),
                (r"(\{\{-car-\}\})(\r)", r"== \1 ==\2"),
                (r"(\{\{=.+?=\|.+?\}\})(\r)", r"== \1 ==\2"),
                (r"(\{\{-car-\|.+?\}\})(\r)", r"== \1 ==\2"),
        ],
}

• Terminé. Reste à faire une seconde passe rapide pour corriger les articles modifiés pendant la transition.

Substitution de {eo-flex}

Modèle {{eo-flex}} à substituer : impossible à modifier, cryptique pour tout contributeur et inutilisable s'il y a des homographes ou une quelconque information à ajouter.

• Liste : articles utilisant Modèle:eo-flex
• Script : replace.py -> user-fixes.py :

fixes['eo-flex'] = {
        'regex': True,
        'msg': {
                'fr':u'Robot : substitution du modèle eo-flex',
        },
        'replacements': [
                # Nom
                (r"\{\{eo-flex\|([^\|]+)\|ojn\|?([^\|\}]*)\}\}", r"== {{=eo=}} ==\n{{-flex-nom-|eo}}\n'''\1ojn''' {{pron|\2}}\n# ''Accusatif pluriel de'' [[\1o#eo|\1o]]."),
                (r"\{\{eo-flex\|([^\|]+)\|oj\|?([^\|\}]*)\}\}", r"== {{=eo=}} ==\n{{-flex-nom-|eo}}\n'''\1oj''' {{pron|\2}}\n# ''Nominatif pluriel de'' [[\1o#eo|\1o]]."),
                (r"\{\{eo-flex\|([^\|]+)\|on\|?([^\|\}]*)\}\}", r"== {{=eo=}} ==\n{{-flex-nom-|eo}}\n'''\1on''' {{pron|\2}}\n# ''Accusatif singulier de'' [[\1o#eo|\1o]]."),
                # Adjectif
                (r"\{\{eo-flex\|([^\|]+)\|ajn\|?([^\|\}]*)\}\}", r"== {{=eo=}} ==\n{{-flex-adj-|eo}}\n'''\1ajn''' {{pron|\2}}\n# ''Accusatif pluriel de'' [[\1a#eo|\1a]]."),
                (r"\{\{eo-flex\|([^\|]+)\|aj\|?([^\|\}]*)\}\}", r"== {{=eo=}} ==\n{{-flex-adj-|eo}}\n'''\1aj''' {{pron|\2}}\n# ''Nominatif pluriel de'' [[\1a#eo|\1a]]."),
                (r"\{\{eo-flex\|([^\|]+)\|an\|?([^\|\}]*)\}\}", r"== {{=eo=}} ==\n{{-flex-adj-|eo}}\n'''\1an''' {{pron|\2}}\n# ''Accusatif singulier de'' [[\1a#eo|\1a]]."),
        ],
}

• Erreur de script : \1o#ea au lieu de \1a#eo (articles corrigés)

Février 2009

Renommage de petits modèles

• Modèles concernés :
  1. Codes langue potentiels :
     • {{bio}} -> {{biol}}
     • {{bot}} -> {{botan}}
     • {{mar}} -> {{mari}}
     • {{vx}} -> {{vieux}}
  2. Harmonisation :
  3. {{wp}} -> {{WP}}
• Scripts : replace.py
• En préparation

O ouvert

Corriger les articles en français terminés par un o ouvert : ils devraient tous être fermés.

• Remplacement avec replace.py : (u"ɔ([\}\|/\]])", r"o\1")
• Résumé automatique : « Robot: o toujours fermé en fin de mot en français »
• Confirmation manuelle
• Fait pour la majorité des pages détectées (~1500)

Mars 2009

Ajout de puces à R:fon

Ajout de puces devant le modèle (et pas dans le modèle) du modèle {{R:fon}}.

• Script : identique à précédemment (2008)

Avril 2009

Correction du modèle pron

Suppression du second argument en X-SAMPA désormais obsolète (remplacé par le code langue).

• Liste : d'après le dernier dump (31 mars 2009)
• Script : replace.py, fix:

                # Protection paramètre de langue en conflit avec X-SAMPA (en espérant que ce sont bien des codes langue...)
                (r"\{\{pron\|([^\}\|=]*)\|([a-z]{2,3})\}\}", r"{{__pron__|\1|\2}}"),
 
                # Prononciation en deuxième paramètre (erreur ?)
                (r"\{\{pron\|\|([^\}\|=]+)\}\}", r"{{pron|\1}}"),
 
                # Résidu X-SAMPA
                (r"\{\{pron\|([^\}\|=]+)\|([^\}\|=]+)\}\}", r"{{pron|\1}}"),
 
                # Déprotection
                (r"\{\{__pron__", r"{{pron"),

• Résumé : Correction de syntaxe du modèle /Prononciation ?/
• Manuel, terminé : 208 pages modifiées + quelques autres corrigées manuellement

Ajout de noms de familles russes

Import d'après le Wiktionary russophone de noms de familles russes et leurs déclinaisons.

• Liste adaptée par Chrisaix
• Script : pagefromfile.py
• Résumé : Import depuis ru.wiktionary.org, adapté par Chrisaix
• Terminé : 73 635 + 77 712 = 151 347 articles importés

Ajout de flexions d'ajectifs tchèques

Création à partir des articles d'adjectifs tchèques du Wiktionnaire.

• Liste préparé par Chrisaix
• Script : pagefromfile.py
• Résumé : Création à partir de l'article de base, préparé par Chrisaix

Juillet 2009

Ajout d'adjectifs ukrainiens

• Liste préparé par Chrisaix
• Script : pagefromfile.py
• Résumé : Création automatique d'article préparé par Chrisaix
• Terminé : 12 278 articles importés

Substitution des modèles {{en-compar}} et {{en-superl}}

Remplacés par substitution par {{comparatif de}} et {{superlatif de}}, en sortant le numéro de liste du modèle.

• Liste : références à {{en-compar}} et {{en-superl}}
• Script : replace.py
• Résumé (auto) : « Robot : Remplacement de texte automatisé (-{{en-compar| +{{subst:en-compar|) » et « Robot : Remplacement de texte automatisé (-{{en-superl| +{{subst:en-superl|) »
• Restreint à l'espace principal
• exemple : acer
• Terminé

Août 2009

Extraction de points finaux hors des modèles

Les modèles {{variante de}}, {{variante ortho de}}, {{comparatif de}}, {{superlatif de}} avaient un point final inclus qu'il faut sortir pour laisser le choix au rédacteur.

• Liste obtenue automatiquement depuis le dernier dump du 10 août 2009.
• Script : replace.py -namespace:0 "(\{\{)(variante de|variante ortho de|comparatif de|superlatif de)(\|[^=\}\r\n]+?\}\})([^\.,;])" "\1\2\3.\4"
• Résumé : « Bot : point final hors du modèle »
• Note : évitement des modèles utilisant le paramètre point=0 (paramètre à enlever plus tard)
• Terminé : ~1288 remplacements
• Corrigé 7 articles contenant point=0

Déplacement des documentations de modèles

Renommage des pages /Aide en /Documentation.

• Liste obtenue à partir du dump
• Script : movepages.py
• 571 pages d'aide en /Aide
• Terminé : 371 pages déjà renommées, 3 renommées et supprimées, soit 197 pages déplacées par Daahbot
• Note : reste à remplacer les liens depuis les modèles

Septembre 2009

Élimination des cadres de type Wikipédia

Élimination des cadres de type {{Wikipédia}}, placés en dehors de sections de langue en haut à droite des pages, suite à discussion sur la Wikidémie. Dans un premier temps, seuls les cadres présents dans une même page que des liens WP sont éliminés, car superflus.

• Liste : pages contenant à la fois le modèle Wikipédia (cadre) et le modèle WP (lien adapté)
• Script : replace.py "\{\{Wikip.dia.*\}\}\r\n" ""
• Fait à l'aide du dernier dump, mais de nouveaux cadres ont pu être ajoutés depuis. Il faut nettoyer le reste à la main : Spécial:Pages_liées/Modèle:Wikipédia.

Sections de langues modifiables encore

Certaines pages n'ont pas la nouvelle forme de section de langue modifiable (519 pages détectées dans le dump du 10 septembre 2009). Il y a de nouvelles pages créées après la création du dump, mais elles sont en minorité ; la plupart des pages sont très anciennes, comme pointé par Chrisaix. Je suppose que ceux-là sont des résidus du passage du bot sur toutes les pages, le taux d'erreur étant alors de ~5.10^-4 (attribuable à des erreurs de connexion, etc.).

• Liste : pages avec {{=.+=}} sans == de part et d'autre
• Script : replace.py
• 519 pages

Séparation des erreurs orthographiques et typographiques

La catégorie Catégorie:Erreurs d’orthographe en français mélange vraies erreurs (maline) et erreurs typographiques (coeur). Le bot parcourt donc tous les articles et remplace le modèle {{-erreur-}} par {{-var-typo-}} (temporaire). Comme la différence n'est pas simple, chaque modification est confirmée à la main.

• Liste : référence au modèle {{-erreur-}}
• Script : replace.py : "\{\{-erreur-" "{{-var-typo-" -namespace:0
• Près de 600 pages

Sections de langues modifiables pour import DAF8

Les sections de langue =fr= n'ont pas été rendues modifiables dans les articles restant à importer du DAF8.

• Liste : catégorie Catégorie:DAF1932 fusion
• Script : replace.py
• 1011 pages concernées

Format des exemples et citations

Ajout de puces aux exemples et application du modèle {{source}} aux citations.

• Exemple : [1]
• Liste : toutes les pages avec des exemples (71740 dans le dernier dump)
• Script : replace.py -fix

fixes['expuces'] = {
        'regex' : True,
        'msg' : {
                '_default':u"Bot : mise en forme des exemples et citations",
        },
        'replacements': [
                (u"\n#: ?''", u"\n#* ''"),
                (u"\n#:\* ?''", u"\n#* ''"),
                (u"\n#:: ''", u"\n#*: ''"),
                (r"(\n#\*+ ?''.+)''([\.!\?;:]?) *(" + u"[—–-]" + r" *|- *)(\(?<small> *\(?|\(|\(?<ref> *\(?) *(.+?)[,\.;:]? *(\)? *</small> *\)?|\)|\)? *</ref> *\)?)\.? *(\r)", r"\1\2'' {{source|\5}}\7"),
                (r"(\n#\*+ ?''.+)''([\.!\?;:]?) *(\(? *<small> *\(?|\(? *<ref> *\(?) *(.+?)[,\.;:]? *(\)? *</small> *\)?|\)? *</ref> *\)?)\.? *(\r)", r"\1\2'' {{source|\4}}\6"),
#                (r"(\n#\*+ ?''.+)''([\.!\?;:]?) *(\() *(.+?)[,\.;:]? *(\))\.? *(\r)", r"\1\2'' {{source|\4}}\6"),
                (r"(<small>|<ref>) *(\{\{source\|.+\}\}) *(</small>|</ref>)", r"\2"),
                (u"'' *[—–-] *\{\{source\|", u"'' {{source|"),
                (u"\{\{source\|[—–-]?"+r" *(.+?),? *\}\} *(\r)", r"{{source|\1}}\2"),
                (u"(?i)\(Joseph Morsel.+2007\)", u"{{source|Joseph Morsel avec la collaboration de Christine Ducourtieux, ''L’Histoire (du Moyen Âge) est un sport de combat…'', 2007}}"),
        ]
}

• Cas difficiles :
  • Différencier les sources des notes d'exemples : du, de
  • Citations entre parenthèses et incluant des parenthèses : médiéval
  • Exemples ne commençant pas par des italiques : Y, coréen, etc. il faudra les répertorier une fois tous les autres modifiés.
• Les parenthèses ambigües (sans indication qu'il s'agit d'une source) ignorées, seront remplacées ultérieurement.
• Fini, mais :
  • Il reste des lignes d'exemples non transformées car ne commençant pas par '' (typiquement avec {{ébauche-exe}}) ;
  • Il reste à lister les groupes entre parenthèses pour faire la part des sources et des notes.
  • Vérifier qu'il n'y a pas d'autres cas (vérification dans le prochain dump).

Décembre 2009

Format des exemples et citations (suite)

Il reste des exemples sans puce, à cause de leur mise en forme erronée (pas de , modèle en début, etc.) ou pas reconnu.

• Liste : reste de pages avec des lignes commençant par #: ou #::

fixes['expuces'] = {
        'regex' : True,
        'msg' : {
                '_default':u"Bot : mise en forme des exemples et citations",
        },
        'replacements': [
                (u"\n#: ?''", u"\n#* ''"),
                (u"\n#:\* ?''", u"\n#* ''"),
                (u"\n#:: ?''", u"\n#*: ''"),
                (r"(\n#\*+ ?''.+)''([\.!\?;:]?) *(" + u"[—–-]" + r" *|- *)(\(?<small> *\(?|\(|\(?<ref> *\(?) *(.+?)[,\.;:]? *(\)? *</small> *\)?|\)|\)? *</ref> *\)?)\.? *(\r)", r"\1\2'' {{source|\5}}\7"),
                (r"(\n#\*+ ?''.+)''([\.!\?;:]?) *(\(? *<small> *\(?|\(? *<ref> *\(?) *(.+?)[,\.;:]? *(\)? *</small> *\)?|\)? *</ref> *\)?)\.? *(\r)", r"\1\2'' {{source|\4}}\6"),
#                (r"(\n#\*+ ?''.+)''([\.!\?;:]?) *(\() *(.+?)[,\.;:]? *(\))\.? *(\r)", r"\1\2'' {{source|\4}}\6"),
                (r"(<small>|<ref>) *(\{\{source\|.+\}\}) *(</small>|</ref>)", r"\2"),
                (u"'' *[—–-] *\{\{source\|", u"'' {{source|"),
                (u"\{\{source\|[—–-]?"+r" *(.+?),? *\}\} *(\r)", r"{{source|\1}}\2"),
                (u"(?i)\(Joseph Morsel.+2007\)", u"{{source|Joseph Morsel avec la collaboration de Christine Ducourtieux, ''L’Histoire (du Moyen Âge) est un sport de combat…'', 2007}}"),
                (u"\n#:: ?([A-z\{\(\[<])", r"\n#*: \1"),
                (u"\n#:: ", u"\n#*: "),
                (u"\n#: ?([A-z\{\(\[<])", r"\n#* \1"),
                (u"\n#: ", u"\n#* "),
        ]
}

• Enlève également les tirets devant les sources des citations.
• Terminé.

Remplacements simples

Projet : quelques résidus à remplacer.

Depuis	Vers
—	—
… *.	…