クローラーの活用

クローラーとは、リンク情報をもとにページを機械的に自動巡回するプログラムです。クローラーを利用することで、webサイトに含まれるページを自動的に収集することができます。しかし、クローラー自体は、webページを収集する機能しか持たないため、webサイトの制作やその品質管理には役立てることができません。そこで、webページからさまざまな情報を抽出したり検証したりする機能を持つ「フィルタ」のようなシステムを用意し、クローラーと組み合わせて使用。当社の巡回型ValidatorやAuto Validatorでは、フィルタとしてW3CのMarkup Validatorの検証機能を使用している。クローラーが収集した複数のwebページに対し、Markup Validatorによる検証機能を適用することで、複数のwebページにおける文法的妥当性の自動検証を実現し、また検証結果の一括表示を可能としている。

お役立ちLINK