๐ป ๐ค๐๐ฒ๐๐๐ถ๐ผ๐ป ๐ฎ๐๐ ๐ฆ๐๐ข๐ ๐ฒ๐ป ๐ฎ๐ด๐ฒ๐ป๐ฐ๐ฒ : comment vous crawlez les gros sites ?
Vous savez, les monstres ร +๐ญ๐ ๐ฑโ๐จ๐ฅ๐๐ ou les sites en ๐๐ฆ๐ฅ.
Chez nous, ScreamingFrog reste un indispensable ๐ธ, mais... il faut รชtre honnรชte : sur des projets costauds, ๐ฐฬง๐ฎ ๐ฝ๐ผ๐บ๐ฝ๐ฒ ๐ฑ๐ฒ ๐น๐ฎ ๐ฟ๐ฒ๐๐๐ผ๐๐ฟ๐ฐ๐ฒ.
Donc... comment faire ?
Cรดtรฉ Empirik, on a 2 solutions :
1๏ธโฃ Chaque consultant a un PC portable assez puissant pour les crawls du quotidien (i7 ou R7, 32 Go de RAM).
2๏ธโฃ On a montรฉ ๐ฎ ๐๐ผ๐๐ฟ๐ ๐ฑ๐ฒ ๐ฐ๐ผ๐บ๐ฝ๐ฒฬ๐๐ถ๐๐ถ๐ผ๐ป ๐ช (16 cลurs, 128 Go de RAM, SSD 5 Toโฆ la totale) quโon utilise ร distance pour les plus gros crawls.
Mais tout รงa, ๐ฐฬง๐ฎ ๐ฐ๐ผ๐ฬ๐๐ฒ ๐ฐ๐ต๐ฒ๐ฟ ๐ธ
On a aussi testรฉ des solutions comme ๐ข๐ป๐๐ฟ๐ฎ๐๐น & cie, qui sont excellentes, maisโฆ quand on pousse les limites (nombre de pages, sites en JS), on se heurte vite au plafond des crรฉdits โ
Alors vous, cโest quoi votre solution ?
๐น Machines virtuelles ?
๐น Serveurs maison ?
๐น 100% SaaS ?
Je suis curieux de vos retours et vos astuces โคต๏ธ