Commentaires sur : Liens externes de Wikipedia http://blog.wikiwix.com/2008/06/24/liens-externes-de-wikipedia/ Wed, 07 Jan 2009 08:37:43 +0000 http://wordpress.org/?v=2.5.1 Par : Pascal Martin http://blog.wikiwix.com/2008/06/24/liens-externes-de-wikipedia/#comment-19 Pascal Martin Mon, 21 Jul 2008 12:56:56 +0000 http://blog.wikiwix.com/?p=15#comment-19 Des sites comme archive.org, ou bien les fonctions cache des moteurs de recherche sont autorisé à le faire. Donc il me paraît normal de pouvoir réaliser un cache dédié au projet de la Fondation.<div class="comment-remix-meta"><a href="#" class="replyto" onclick="replyto('19','Pascal Martin'); return false;">Répondre</a> - <a href="#" class="quote" onclick="quote('19','Pascal Martin','Des sites comme archive.org, ou bien les fonctions cache des moteurs de recherche sont autorisé à le faire. Donc il me paraît normal de pouvoir réaliser un cache dédié au projet de la Fondation.'); return false;">Citer</a></div> Des sites comme archive.org, ou bien les fonctions cache des moteurs de recherche sont autorisé à le faire. Donc il me paraît normal de pouvoir réaliser un cache dédié au projet de la Fondation.
Répondre - Citer
]]> Par : Jérôme http://blog.wikiwix.com/2008/06/24/liens-externes-de-wikipedia/#comment-18 Jérôme Mon, 21 Jul 2008 12:34:24 +0000 http://blog.wikiwix.com/?p=15#comment-18 Ces articles seront-ils visibles publiquement et pour toujours ? Avez-vous négocié des droits de republication avec les éditeurs ?<div class="comment-remix-meta"><a href="#" class="replyto" onclick="replyto('18','Jérôme'); return false;">Répondre</a> - <a href="#" class="quote" onclick="quote('18','Jérôme','Ces articles seront-ils visibles publiquement et pour toujours ? Avez-vous négocié des droits de republication avec les éditeurs ?'); return false;">Citer</a></div> Ces articles seront-ils visibles publiquement et pour toujours ? Avez-vous négocié des droits de republication avec les éditeurs ?
Répondre - Citer
]]> Par : Nytux http://blog.wikiwix.com/2008/06/24/liens-externes-de-wikipedia/#comment-12 Nytux Tue, 24 Jun 2008 13:31:32 +0000 http://blog.wikiwix.com/?p=15#comment-12 En fait, notre moteur de recherche conserve les articles de wikipedia en cache afin de pouvoir fournir différentes informations "annexes" à chaque article : catégories, extrait du texte, image ... Nous comptons nous servir de ce cache pour analyser les liens externes.<div class="comment-remix-meta"><a href="#" class="replyto" onclick="replyto('12','Nytux'); return false;">Répondre</a> - <a href="#" class="quote" onclick="quote('12','Nytux','En fait, notre moteur de recherche conserve les articles de wikipedia en cache afin de pouvoir fournir différentes informations \"annexes\" à chaque article : catégories, extrait du texte, image ... Nous comptons nous servir de ce cache pour analyser les liens externes.'); return false;">Citer</a></div> En fait, notre moteur de recherche conserve les articles de wikipedia en cache afin de pouvoir fournir différentes informations “annexes” à chaque article : catégories, extrait du texte, image … Nous comptons nous servir de ce cache pour analyser les liens externes.
Répondre - Citer
]]> Par : Darkoneko http://blog.wikiwix.com/2008/06/24/liens-externes-de-wikipedia/#comment-11 Darkoneko Tue, 24 Jun 2008 13:18:31 +0000 http://blog.wikiwix.com/?p=15#comment-11 Donc vous comptez récupérer le contenu de 670 000 pages avec un crawler juste pour avoir leurs liens externes ... Euh, vous vous rendez un peu compte de la charge serveur que ça va induire ? (et qu'accessoirement, si un dev vois ça, le robot va être bloqué...) Bref, si vous voulez un conseil : <a href="http://download.wikimedia.org/backup-index.html" rel="nofollow">là</a> => chargez le dernier dump de la base frwiki (enfin plus précisement <a href="http://download.wikimedia.org/frwiki/20080614/frwiki-20080614-externallinks.sql.gz" rel="nofollow"> la table externallinks</a> et <a href="http://download.wikimedia.org/frwiki/20080614/frwiki-20080614-pages-articles.xml.bz2" rel="nofollow">le dump "articles" de la table page (pour avoir le nom de l'article)</a>), et travaillez avec ça.<div class="comment-remix-meta"><a href="#" class="replyto" onclick="replyto('11','Darkoneko'); return false;">Répondre</a> - <a href="#" class="quote" onclick="quote('11','Darkoneko','Donc vous comptez récupérer le contenu de 670 000 pages avec un crawler juste pour avoir leurs liens externes ...\r\nEuh, vous vous rendez un peu compte de la charge serveur que ça va induire ? (et qu\'accessoirement, si un dev vois ça, le robot va être bloqué...)\r\n\r\nBref, si vous voulez un conseil : <a href=\"http:\/\/download.wikimedia.org\/backup-index.html\" rel=\"nofollow\">là<\/a> =&gt; chargez le dernier dump de la base frwiki (enfin plus précisement <a href=\"http:\/\/download.wikimedia.org\/frwiki\/20080614\/frwiki-20080614-externallinks.sql.gz\" rel=\"nofollow\"> la table externallinks<\/a> et <a href=\"http:\/\/download.wikimedia.org\/frwiki\/20080614\/frwiki-20080614-pages-articles.xml.bz2\" rel=\"nofollow\">le dump \"articles\" de la table page (pour avoir le nom de l\'article)<\/a>), et travaillez avec ça.'); return false;">Citer</a></div> Donc vous comptez récupérer le contenu de 670 000 pages avec un crawler juste pour avoir leurs liens externes …
Euh, vous vous rendez un peu compte de la charge serveur que ça va induire ? (et qu’accessoirement, si un dev vois ça, le robot va être bloqué…)

Bref, si vous voulez un conseil : là => chargez le dernier dump de la base frwiki (enfin plus précisement la table externallinks et le dump “articles” de la table page (pour avoir le nom de l’article)), et travaillez avec ça.

Répondre - Citer
]]>