Comments on: Liens externes de Wikipedia http://blog.wikiwix.com/fr/2008/06/24/liens-externes-de-wikipedia/ Sat, 13 Mar 2010 17:06:04 +0100 http://wordpress.org/?v=2.8.6 hourly 1 By: Pascal Martin http://blog.wikiwix.com/fr/2008/06/24/liens-externes-de-wikipedia/comment-page-1/#comment-19 Pascal Martin Mon, 21 Jul 2008 12:56:56 +0000 http://blog.wikiwix.com/?p=15#comment-19 Des sites comme archive.org, ou bien les fonctions cache des moteurs de recherche sont autorisé à le faire. Donc il me paraît normal de pouvoir réaliser un cache dédié au projet de la Fondation. Des sites comme archive.org, ou bien les fonctions cache des moteurs de recherche sont autorisé à le faire. Donc il me paraît normal de pouvoir réaliser un cache dédié au projet de la Fondation.

]]> By: Jérôme http://blog.wikiwix.com/fr/2008/06/24/liens-externes-de-wikipedia/comment-page-1/#comment-18 Jérôme Mon, 21 Jul 2008 12:34:24 +0000 http://blog.wikiwix.com/?p=15#comment-18 Ces articles seront-ils visibles publiquement et pour toujours ? Avez-vous négocié des droits de republication avec les éditeurs ? Ces articles seront-ils visibles publiquement et pour toujours ? Avez-vous négocié des droits de republication avec les éditeurs ?

]]> By: Nytux http://blog.wikiwix.com/fr/2008/06/24/liens-externes-de-wikipedia/comment-page-1/#comment-12 Nytux Tue, 24 Jun 2008 13:31:32 +0000 http://blog.wikiwix.com/?p=15#comment-12 En fait, notre moteur de recherche conserve les articles de wikipedia en cache afin de pouvoir fournir différentes informations "annexes" à chaque article : catégories, extrait du texte, image ... Nous comptons nous servir de ce cache pour analyser les liens externes. En fait, notre moteur de recherche conserve les articles de wikipedia en cache afin de pouvoir fournir différentes informations “annexes” à chaque article : catégories, extrait du texte, image … Nous comptons nous servir de ce cache pour analyser les liens externes.

]]> By: Darkoneko http://blog.wikiwix.com/fr/2008/06/24/liens-externes-de-wikipedia/comment-page-1/#comment-11 Darkoneko Tue, 24 Jun 2008 13:18:31 +0000 http://blog.wikiwix.com/?p=15#comment-11 Donc vous comptez récupérer le contenu de 670 000 pages avec un crawler juste pour avoir leurs liens externes ... Euh, vous vous rendez un peu compte de la charge serveur que ça va induire ? (et qu'accessoirement, si un dev vois ça, le robot va être bloqué...) Bref, si vous voulez un conseil : <a href="http://download.wikimedia.org/backup-index.html" rel="nofollow">là</a> => chargez le dernier dump de la base frwiki (enfin plus précisement <a href="http://download.wikimedia.org/frwiki/20080614/frwiki-20080614-externallinks.sql.gz" rel="nofollow"> la table externallinks</a> et <a href="http://download.wikimedia.org/frwiki/20080614/frwiki-20080614-pages-articles.xml.bz2" rel="nofollow">le dump "articles" de la table page (pour avoir le nom de l'article)</a>), et travaillez avec ça. Donc vous comptez récupérer le contenu de 670 000 pages avec un crawler juste pour avoir leurs liens externes …
Euh, vous vous rendez un peu compte de la charge serveur que ça va induire ? (et qu’accessoirement, si un dev vois ça, le robot va être bloqué…)

Bref, si vous voulez un conseil : là => chargez le dernier dump de la base frwiki (enfin plus précisement la table externallinks et le dump “articles” de la table page (pour avoir le nom de l’article)), et travaillez avec ça.

]]>