| | yǐn yán
suí zhe wǎng luò de xùn sù fā zhǎn， wàn wéi wǎng chéng wéi dà liàng xìn xī de zài tǐ， rú hé yòu xiào dì tí qǔ bìng lì yòng zhè xiē xìn xī chéng wéi yī gè jù dà de tiǎo zhàn。 sōu suǒ yǐn qíng (SearchEngine)， lì rú chuán tǒng de tōng yòng sōu suǒ yǐn qíng AltaVista， Yahoo! hé Google děng， zuò wéi yī gè fǔ zhù rén men jiǎn suǒ xìn xī de gōng jù chéng wéi yòng hù fǎng wèn wàn wéi wǎng de rù kǒu hé zhǐ nán。 dàn shì， zhè xiē tōng yòng xìng sōu suǒ yǐn qíng yě cún zài zhe yī dìng de jú xiàn xìng， rú：
(1) bù tóng lǐng yù、 bù tóng bèi jǐng de yòng hù wǎng wǎng jù yòu bù tóng de jiǎn suǒ mù de hé xū qiú， tōng yòng sōu suǒ yǐn qíng suǒ fǎn huí de jiēguǒ bāo hán dà liàng yòng hù bù guān xīn de wǎng yè。
(2) tōng yòng sōu suǒ yǐn qíng de mù biāo shì jìn kě néng dà de wǎng luò fù gài shuài， yòu xiàn de sōu suǒ yǐn qíng fú wù qì zī yuán yǔ wú xiàn de wǎng luò shù jù zī yuán zhī jiān de máo dùn jiāng jìn yī bù jiā shēn。
(3) wàn wéi wǎng shù jù xíng shì de fēng fù hé wǎng luò jì shù de bù duàn fā zhǎn， tú piàn、 shù jù kù、 yīn pín / shì pín duō méi tǐ děng bù tóng shù jù dà liàng chū xiàn， tōng yòng sōu suǒ yǐn qíng wǎng wǎng duì zhè xiē xìn xī hán liàng mì jí qiě jù yòu yī dìng jié gòu de shù jù wú néng wéi lì， bù néng hěn hǎo dì fā xiàn hé huò qǔ。
(4) tōng yòng sōu suǒ yǐn qíng dà duō tí gōng jī yú guān jiàn zì de jiǎn suǒ， nán yǐ zhī chí gēn jù yǔ yì xìn xī tí chū de chá xún。
wèile jiě jué shàng shù wèn tí， dìng xiàng zhuā qǔ xiāng guān wǎng yè zī yuán de jù jiāo pá chóng yìng yùn 'ér shēng。 jù jiāo pá chóng shì yī gè zì dòng xià zài wǎng yè de chéng xù， tā gēn jù jì dìng de zhuā qǔ mù biāo， yòu xuǎn zé de fǎng wèn wàn wéi wǎng shàng de wǎng yè yǔ xiāng guān de liàn jiē， huò qǔ suǒ xū yào de xìn xī。 yǔ tōng yòng pá chóng (general purposewebcrawler) bù tóng， jù jiāo pá chóng bìng bù zhuī qiú dà de fù gài， ér jiāng mù biāo dìng wéi zhuā qǔ yǔ mǒu yī tè dìng zhù tí nèi róng xiāng guān de wǎng yè， wéi miàn xiàng zhù tí de yòng hù chá xún zhǔn bèi shù jù zī yuán。
1 jù jiāo pá chóng gōng zuò yuán lǐ jí guān jiàn jì shù gài shù
wǎng luò pá chóng shì yī gè zì dòng tí qǔ wǎng yè de chéng xù， tā wéi sōu suǒ yǐn qíng cóng wàn wéi wǎng shàng xià zài wǎng yè， shì sōu suǒ yǐn qíng de zhòng yào zǔ chéng。 chuán tǒng pá chóng cóng yī gè huò ruò gān chū shǐ wǎng yè de URL kāi shǐ， huò dé chū shǐ wǎng yè shàng de URL， zài zhuā qǔ wǎng yè de guò chéng zhōng， bù duàn cóng dāng qián yè miàn shàng chōu qǔ xīn de URL fàng rù duì liè , zhí dào mǎn zú xì tǒng de yī dìng tíng zhǐ tiáo jiàn， rú tú 1(a) liú chéng tú suǒ shì。 jù jiāo pá chóng de gōng zuò liú chéng jiào wéi fù zá， xū yào gēn jù yī dìng de wǎng yè fēn xī suàn fǎ guò lǜ yǔ zhù tí wú guān de liàn jiē， bǎo liú yòu yòng de liàn jiē bìng jiāng qí fàng rù děng dài zhuā qǔ de URL duì liè。 rán hòu， tā jiāng gēn jù yī dìng de sōu suǒ cè lüè cóng duì liè zhòngxuǎn zé xià yī bù yào zhuā qǔ de wǎng yè URL， bìng zhòng fù shàng shù guò chéng， zhí dào dá dào xì tǒng de mǒu yī tiáo jiàn shí tíng zhǐ， rú tú 1(b) suǒ shì。 lìng wài， suǒ yòu bèi pá chóng zhuā qǔ de wǎng yè jiāng huì bèi xì tǒng cún zhù， jìn xíng yī dìng de fēn xī、 guò lǜ， bìng jiàn lì suǒ yǐn， yǐ biàn zhī hòu de chá xún hé jiǎn suǒ； duì yú jù jiāo pá chóng lái shuō， zhè yī guò chéng suǒ dé dào de fēn xī jiēguǒ hái kě néng duì yǐ hòu de zhuā qǔ guò chéng gěi chū fǎn kuì hé zhǐ dǎo。
xiāng duì yú tōng yòng wǎng luò pá chóng ， jù jiāo pá chóng hái xū yào jiě jué sān gè zhù yào wèn tí：
(1) duì zhuā qǔ mù biāo de miáo shù huò dìng yì；
(2) duì wǎng yè huò shù jù de fēn xī yǔ guò lǜ；
(3) duì URL de sōu suǒ cè lüè。
zhuā qǔ mù biāo de miáo shù hé dìng yì shì jué dìng wǎng yè fēn xī suàn fǎ yǔ URL sōu suǒ cè lüè rú hé zhì dìng de jī chǔ。 ér wǎng yè fēn xī suàn fǎ hé hòu xuǎn URL pái xù suàn fǎ shì jué dìng sōu suǒ yǐn qíng suǒ tí gōng de fú wù xíng shì hé pá chóng wǎng yè zhuā qǔ xíng wéi de guān jiàn suǒ zài。 zhè liǎng gè bù fēn de suàn fǎ yòu shì jǐn mì xiāng guān de。
2 zhuā qǔ mù biāo miáo shù
xiàn yòu jù jiāo pá chóng duì zhuā qǔ mù biāo de miáo shù kě fēn wéi jī yú mù biāo wǎng yè tè zhēng、 jī yú mù biāo shù jù mó shì hé jī yú lǐng yù gài niàn 3 zhǒng。
jī yú mù biāo wǎng yè tè zhēng de pá chóng suǒ zhuā qǔ、 cún chǔ bìng suǒ yǐn de duì xiàng yī bān wéi wǎng zhàn huò wǎng yè。 gēn jù zhǒng zǐ yàng běn huò qǔ fāng shì kě fēn wéi：
（ 1） yù xiān gěi dìng de chū shǐ zhuā qǔ zhǒng zǐ yàng běn；
（ 2） yù xiān gěi dìng de wǎng yè fēn lèi mù lù hé yǔ fēn lèi mù lù duì yìng de zhǒng zǐ yàng běn， rú Yahoo! fēn lèi jié gòu děng；
（ 3） tōng guò yòng hù xíng wéi què dìng de zhuā qǔ mù biāo yàng lì， fēn wéi：
a) yòng hù liú lǎn guò chéng zhōng xiǎn shì biāo zhù de zhuā qǔ yàng běn；
b) tōng guò yòng hù rì zhì wā jué dé dào fǎng wèn mó shì jí xiāng guān yàng běn。
qí zhōng， wǎng yè tè zhēng kě yǐ shì wǎng yè de nèi róng tè zhēng， yě kě yǐ shì wǎng yè de liàn jiē jié gòu tè zhēng， děng děng。
xiàn yòu de jù jiāo pá chóng duì zhuā qǔ mù biāo de miáo shù huò dìng yì kě yǐ fēn wéi jī yú mù biāo wǎng yè tè zhēng， jī yú mù biāo shù jù mó shì hé jī yú lǐng yù gài niàn sān zhǒng。
jī yú mù biāo wǎng yè tè zhēng de pá chóng suǒ zhuā qǔ、 cún chǔ bìng suǒ yǐn de duì xiàng yī bān wéi wǎng zhàn huò wǎng yè。 jù tǐ de fāng fǎ gēn jù zhǒng zǐ yàng běn de huò qǔ fāng shì kě yǐ fēn wéi：（ 1） yù xiān gěi dìng de chū shǐ zhuā qǔ zhǒng zǐ yàng běn；（ 2） yù xiān gěi dìng de wǎng yè fēn lèi mù lù hé yǔ fēn lèi mù lù duì yìng de zhǒng zǐ yàng běn， rú Yahoo! fēn lèi jié gòu děng；（ 3） tōng guò yòng hù xíng wéi què dìng de zhuā qǔ mù biāo yàng lì。 qí zhōng， wǎng yè tè zhēng kě yǐ shì wǎng yè de nèi róng tè zhēng， yě kě yǐ shì wǎng yè de liàn jiē jié gòu tè zhēng， děng děng。
zuò zhě： qí bǎo yuán 2006-1-1010:11 | 2 pá chóng jì shù yán jiū zōng shù | jī yú mù biāo shù jù mó shì de pá chóng zhēn duì de shì wǎng yè shàng de shù jù， suǒ zhuā qǔ de shù jù yī bān yào fú hé yī dìng de mó shì， huò zhě kě yǐ zhuǎn huà huò yìng shè wéi mù biāo shù jù mó shì。
lìng yī zhǒng miáo shù fāng shì shì jiàn lì mù biāo lǐng yù de běn tǐ huò cí diǎn， yòng yú cóng yǔ yì jiǎo dù fēn xī bù tóng tè zhēng zài mǒu yī zhù tí zhōng de zhòng yào chéng dù。 | | wǎng yè de zhuā qǔ cè lüè kě yǐ fēn wéi shēn dù yōu xiān、 guǎng dù yōu xiān hé zuì jiā yōu xiān sān zhǒng。 shēn dù yōu xiān zài hěn duō qíng kuàng xià huì dǎo zhì pá chóng de xiàn rù (trapped) wèn tí， mù qián cháng jiàn de shì guǎng dù yōu xiān hé zuì jiā yōu xiān fāng fǎ。
3.1 guǎng dù yōu xiān sōu suǒ cè lüè
guǎng dù yōu xiān sōu suǒ cè lüè shì zhǐ zài zhuā qǔ guò chéng zhōng， zài wán chéng dāng qián céng cì de sōu suǒ hòu， cái jìn xíng xià yī céng cì de sōu suǒ。 gāi suàn fǎ de shè jì hé shí xiàn xiāng duì jiǎn dān。 zài mù qián wéi fù gài jìn kě néng duō de wǎng yè， yī bān shǐ yòng guǎng dù yōu xiān sōu suǒ fāng fǎ。 yě yòu hěn duō yán jiū jiāng guǎng dù yōu xiān sōu suǒ cè lüè yìng yòng yú jù jiāo pá chóng zhōng。 qí jī běn sī xiǎng shì rèn wéi yǔ chū shǐ URL zài yī dìng liàn jiē jù lí nèi de wǎng yè jù yòu zhù tí xiāng guān xìng de gàilǜ hěn dà。 lìng wài yī zhǒng fāng fǎ shì jiāng guǎng dù yōu xiān sōu suǒ yǔ wǎng yè guò lǜ jì shù jié hé shǐ yòng， xiān yòng guǎng dù yōu xiān cè lüè zhuā qǔ wǎng yè， zài jiāng qí zhōng wú guān de wǎng yè guò lǜ diào。 zhè xiē fāng fǎ de quē diǎn zài yú， suí zhe zhuā qǔ wǎng yè de zēng duō， dà liàng de wú guān wǎng yè jiāng bèi xià zài bìng guò lǜ， suàn fǎ de xiào shuài jiāng biàn dī。
3.2 zuì jiā yōu xiān sōu suǒ cè lüè
zuì jiā yōu xiān sōu suǒ cè lüè 'àn zhào yī dìng de wǎng yè fēn xī suàn fǎ， yù cè hòu xuǎn URL yǔ mù biāo wǎng yè de xiāng sì dù， huò yǔ zhù tí de xiāng guān xìng， bìng xuǎn qǔ píng jià zuì hǎo de yī gè huò jǐ gè URL jìn xíng zhuā qǔ。 tā zhǐ fǎng wèn jīng guò wǎng yè fēn xī suàn fǎ yù cè wéi “ yòu yòng ” de wǎng yè。 cún zài de yī gè wèn tí shì， zài pá chóng zhuā qǔ lù jìng shàng de hěn duō xiāng guān wǎng yè kě néng bèi hū lüè， yīn wéi zuì jiā yōu xiān cè lüè shì yī zhǒng jú bù zuì yōu sōu suǒ suàn fǎ。 yīn cǐ xū yào jiāng zuì jiā yōu xiān jié hé jù tǐ de yìng yòng jìn xíng gǎi jìn， yǐ tiào chū jú bù zuì yōu diǎn。 jiāng zài dì 4 jié zhōng jié hé wǎng yè fēn xī suàn fǎ zuò jù tǐ de tǎo lùn。 yán jiū biǎo míng， zhè yàng de bì huán tiáozhěng kě yǐ jiāng wú guān wǎng yè shù liàng jiàng dī 30%~90%。 | |
wǎng yè fēn xī suàn fǎ kě yǐ guī nà wéi jī yú wǎng luò tuò pū、 jī yú wǎng yè nèi róng hé jī yú yòng hù fǎng wèn xíng wéi sān zhǒng lèi xíng。
4.1 jī yú wǎng luò tuò pū de fēn xī suàn fǎ
jī yú wǎng yè zhī jiān de liàn jiē， tōng guò yǐ zhī de wǎng yè huò shù jù， lái duì yǔ qí yòu zhí jiē huò jiànjiē liàn jiē guān xì de duì xiàng（ kě yǐ shì wǎng yè huò wǎng zhàn děng） zuò chū píng jià de suàn fǎ。 yòu fēn wéi wǎng yè lì dù、 wǎng zhàn lì dù hé wǎng yè kuài lì dù zhè sān zhǒng。
4.1.1 wǎng yè (Webpage) lì dù de fēn xī suàn fǎ
PageRank hé HITS suàn fǎ shì zuì cháng jiàn de liàn jiē fēn xī suàn fǎ， liǎng zhě dōushì tōng guò duì wǎng yè jiān liàn jiē dù de dì guī hé guī fàn huà jì suàn， dé dào měi gè wǎng yè de zhòng yào dù píng jià。 PageRank suàn fǎ suī rán kǎo lǜ liǎo yòng hù fǎng wèn xíng wéi de suí jī xìng hé Sink wǎng yè de cún zài， dàn hū lüè liǎo jué dà duō shù yòng hù fǎng wèn shí dài yòu mùdì xìng， jí wǎng yè hé liàn jiē yǔ chá xún zhù tí de xiāng guān xìng。 zhēn duì zhè gè wèn tí， HITS suàn fǎ tí chū liǎo liǎng gè guān jiàn de gài niàn： quán wēi xíng wǎng yè（ authority） hé zhōng xīn xíng wǎng yè（ hub）。
jī yú liàn jiē de zhuā qǔ de wèn tí shì xiāng guān yè miàn zhù tí tuán zhī jiān de suì dào xiàn xiàng， jí hěn duō zài zhuā qǔ lù jìng shàng piān lí zhù tí de wǎng yè yě zhǐ xiàng mù biāo wǎng yè， jú bù píng jià cè lüè zhōng duàn liǎo zài dāng qián lù jìng shàng de zhuā qǔ xíng wéi。 wén xiàn tí chū liǎo yī zhǒng jī yú fǎn xiàng liàn jiē（ BackLink） de fēn céng shì shàng xià wén mó xíng（ ContextModel）， yòng yú miáo shù zhǐ xiàng mù biāo wǎng yè yī dìng wù lǐ tiào shù bàn jìng nèi de wǎng yè tuò pū tú de zhōng xīn Layer0 wéi mù biāo wǎng yè， jiāng wǎng yè yǐ jù zhǐ xiàng mù biāo wǎng yè de wù lǐ tiào shù jìn xíng céng cì huàfēn， cóng wài céng wǎng yè zhǐ xiàng nèi céng wǎng yè de liàn jiē chēng wéi fǎn xiàng liàn jiē。
4.1.2 wǎng zhàn lì dù de fēn xī suàn fǎ
wǎng zhàn lì dù de zī yuán fā xiàn hé guǎn lǐ cè lüè yě bǐ wǎng yè lì dù de gèng jiǎn dān yòu xiào。 wǎng zhàn lì dù de pá chóng zhuā qǔ de guān jiàn zhī chù zài yú zhàn diǎn de huàfēn hé zhàn diǎn děng jí (SiteRank) de jì suàn。 SiteRank de jì suàn fāng fǎ yǔ PageRank lèi sì， dàn shì xū yào duì wǎng zhàn zhī jiān de liàn jiē zuò yī dìng chéng dù chōu xiàng， bìng zài yī dìng de mó xíng xià jì suàn liàn jiē de quán zhòng。
wǎng zhàn huàfēn qíng kuàng fēn wéi 'àn yù míng huàfēn hé 'àn IP dì zhǐ huàfēn liǎng zhǒng。 wén xiàn tǎo lùn liǎo zài fēn bù shì qíng kuàng xià， tōng guò duì tóng yī gè yù míng xià bù tóng zhù jī、 fú wù qì de IP dì zhǐ jìn xíng zhàn diǎn huàfēn， gòu zào zhàn diǎn tú， lì yòng lèi sì PageRank de fāng fǎ píng jià SiteRank。 tóng shí， gēn jù bù tóng wén jiàn zài gè gè zhàn diǎn shàng de fēn bù qíng kuàng， gòu zào wén dàng tú， jié hé SiteRank fēn bù shì jì suàn dé dào DocRank。 wén xiàn zhèng míng， lì yòng fēn bù shì de SiteRank jì suàn， bù jǐn dà dà jiàng dī liǎo dān jī zhàn diǎn de suàn fǎ dài jià， ér qiě kè fú liǎo dān dú zhàn diǎn duì zhěng gè wǎng luò fù gài shuài yòu xiàn de quē diǎn。 fù dài de yī gè yōu diǎn shì， cháng jiàn PageRank zào jiǎ nán yǐ duì SiteRank jìn xíng qī piàn。
4.1.3 wǎng yè kuài lì dù de fēn xī suàn fǎ
zài yī gè yè miàn zhōng， wǎng wǎng hán yòu duō gè zhǐ xiàng qí tā yè miàn de liàn jiē， zhè xiē liàn jiē zhōng zhǐ yòu yī bù fēn shì zhǐ xiàng zhù tí xiāng guān wǎng yè de， huò gēn jù wǎng yè de liàn jiē máo wén běn biǎo míng qí jù yòu jiào gāo zhòng yào xìng。 dàn shì， zài PageRank hé HITS suàn fǎ zhōng， méi yòu duì zhè xiē liàn jiē zuò qū fēn， yīn cǐ cháng cháng gěi wǎng yè fēn xī dài lái guǎng gào děng zào shēng liàn jiē de gān rǎo。 zài wǎng yè kuài jí bié (Block level) jìn xíng liàn jiē fēn xī de suàn fǎ de jī běn sī xiǎng shì tōng guò VIPS wǎng yè fēn gē suàn fǎ jiāng wǎng yè fēn wéi bù tóng de wǎng yè kuài (pageblock)， rán hòu duì zhè xiē wǎng yè kuài jiàn lì page to block hé block to page de liàn jiē jǔ zhèn， fēn bié jì wéi Z hé X。 yú shì， zài page to page tú shàng de wǎng yè kuài jí bié de PageRank wéi W p=X×Z； zài block to block tú shàng de BlockRank wéi W b=Z×X。 yǐ jīng yòu rén shí xiàn liǎo kuài jí bié de PageRank hé HITS suàn fǎ， bìng tōng guò shí yàn zhèng míng， xiàolǜ hé zhǔn què shuài dū bǐ chuán tǒng de duì yìng suàn fǎ yào hǎo。
4.2 jī yú wǎng yè nèi róng de wǎng yè fēn xī suàn fǎ
jī yú wǎng yè nèi róng de fēn xī suàn fǎ zhǐ de shì lì yòng wǎng yè nèi róng（ wén běn、 shù jù děng zī yuán） tè zhēng jìn xíng de wǎng yè píng jià。 wǎng yè de nèi róng cóng yuán lái de yǐ chāo wén běn wéi zhù， fā zhǎn dào hòu lái dòng tài yè miàn（ huò chēng wéi HiddenWeb） shù jù wéi zhù， hòu zhě de shù jù liàng yuē wéi zhí jiē kě jiàn yè miàn shù jù（ PIW， PubliclyIndexableWeb） de 400~500 bèi。 lìng yī fāng miàn， duō méi tǐ shù jù、 WebService děng gè zhǒng wǎng luò zī yuán xíng shì yě rì yì fēng fù。 yīn cǐ， jī yú wǎng yè nèi róng de fēn xī suàn fǎ yě cóng yuán lái de jiào wéi dān chún de wén běn jiǎn suǒ fāng fǎ， fā zhǎn wéi hán gài wǎng yè shù jù chōu qǔ、 jī qì xué xí、 shù jù wā jué、 yǔ yì lǐ jiě děng duō zhǒng fāng fǎ de zōng hé yìng yòng。 běn jié gēn jù wǎng yè shù jù xíng shì de bù tóng， jiāng jī yú wǎng yè nèi róng de fēn xī suàn fǎ， guī nà yǐ xià sān lèi： dì yī zhǒng zhēn duì yǐ wén běn hé chāo liàn jiē wéi zhù de wú jié gòu huò jié gòu hěn jiǎn dān de wǎng yè； dì 'èr zhǒng zhēn duì cóng jié gòu huà de shù jù yuán（ rú RDBMS） dòng tài shēng chéng de yè miàn， qí shù jù bù néng zhí jiē pī liàng fǎng wèn； dì sān zhǒng zhēn duì de shù jù jiè yú dì yī hé dì 'èr lèi shù jù zhī jiān， jù yòu jiào hǎo de jié gòu， xiǎn shì zūn xún yī dìng mó shì huò fēng gé， qiě kě yǐ zhí jiē fǎng wèn。
4.2.1 jī yú wén běn de wǎng yè fēn xī suàn fǎ
1) chún wén běn fēn lèi yǔ jù lèi suàn fǎ
hěn dà chéng dù shàng jiè yòng liǎo wén běn jiǎn suǒ de jì shù。 wén běn fēn xī suàn fǎ kě yǐ kuài sù yòu xiào de duì wǎng yè jìn xíng fēn lèi hé jù lèi， dàn shì yóu yú hū lüè liǎo wǎng yè jiān hé wǎng yè nèi bù de jié gòu xìn xī， hěn shǎo dān dú shǐ yòng。
2) chāo wén běn fēn lèi hé jù lèi suàn fǎ | | wǎng luò pá chóng （ yòu bèi chēng wéi wǎng yè zhī zhū， wǎng luò jī qì rén， zài FOAF shè qū zhōng jiān， gèng jīng cháng de chēng wéi wǎng yè zhuī zhú zhě）， shì yī zhǒng 'àn zhào yī dìng de guī zé， zì dòng de zhuā qǔ wàn wéi wǎng xìn xī de chéng xù huò zhě jiǎo běn。 lìng wài yī xiē bù cháng shǐ yòng de míng zì hái yòu mǎ yǐ， zì dòng suǒ yǐn， mó nǐ chéng xù huò zhě rú chóng。
zhè xiē chǔlǐ bèi chēng wéi wǎng luò zhuā qǔ huò zhě zhī zhū pá xíng。 hěn duō zhàn diǎn， yóu qí shì sōu suǒ yǐn qíng， dū shǐ yòng pá chóng tí gōng zuì xīn de shù jù， tā zhù yào yòng yú tí gōng tā fǎng wèn guò yè miàn de yī gè fù běn， rán hòu， sōu suǒ yǐn qíng jiù kě yǐ duì dé dào de yè miàn jìn xíng suǒ yǐn， yǐ tí gōng kuài sù de fǎng wèn。 zhī zhū yě kě yǐ zài web shàng yòng lái zì dòng zhí xíng yī xiē rèn wù， lì rú jiǎn chá liàn jiē， què rèn html dài mǎ； yě kě yǐ yòng lái zhuā qǔ wǎng yè shàng mǒu zhǒng tè dìng lèi xíng xìn xī， lì rú zhuā qǔ diàn zǐ yóu jiàn dì zhǐ（ tōng cháng yòng yú lā jī yóu jiàn）。
yī gè wǎng luò zhī zhū jiù shì yī zhǒng jī qì rén， huò zhě ruǎn jiàn dài lǐ。 dà tǐ shàng， tā cóng yī zǔ yào fǎng wèn de URL liàn jiē kāi shǐ， kě yǐ chēng zhè xiē URL wéi zhǒng zǐ。 pá chóng fǎng wèn zhè xiē liàn jiē， tā biàn rèn chū zhè xiē yè miàn de suǒ yòu chāo liàn jiē， rán hòu tiān jiā dào zhè gè URL liè biǎo， kě yǐ chēng zuò jiǎn suǒ qián yán。 zhè xiē URL 'àn zhào yī dìng de cè lüè fǎn fù fǎng wèn。
zhù yào nèi róng
•1 pá xíng cè lüè
o1.1 xuǎn zé cè lüè
§1.1.1 xiàn dìng fǎng wèn liàn jiē
§1.1.2 lù jìng jiǎn suǒ
§1.1.3 jù jiāo jiǎn suǒ
§1.1.4 zhuā qǔ shēn céng de wǎng yè
§1.1.5Web3.0 jiǎn suǒ
o1.2 chóngxīn fǎng wèn cè lüè
o1.3 píng héng lǐ mào cè lüè
o1.4 bìng xíng huà cè lüè
•2 wǎng luò pá chóng tǐ xì jié gòu
o2.1URL guī fàn huà
•3 pá chóng shēn fèn shí bié
•4 wǎng luò pá chóng de lì zǐ
o4.1 kāi yuán de wǎng luò pá chóng
1. pá xíng cè lüè
xià shù de sān zhǒng wǎng luò tè zhēng， zào chéng liǎo shè jì wǎng yè pá chóng zhuā qǔ cè lüè biàn dé hěn nán：
tā jù dà de shù jù liàng；
tā kuài sù de gēngxīn pín shuài；
dòng tài yè miàn de chǎn shēng
tā men sān gè tè zhēng yī qǐ chǎn shēng liǎo hěn duō zhǒng lèi de pá chóng zhuā qǔ liàn jiē。
jù dà de shù jù liàng 'àn shì liǎo pá chóng， zài gěi dìng de shí jiān nèi， zhǐ kě yǐ zhuā qǔ suǒ xià zài wǎng luò de yī bù fēn， suǒ yǐ， tā xū yào duì tā de zhuā qǔ yè miàn shè zhì yōu xiān jí； kuài sù de gēngxīn pín shuài shuō míng zài pá chóng zhuā qǔ xià zài mǒu wǎng zhàn yī gè wǎng yè de shí hòu， hěn yòu kě néng zài zhè gè zhàn diǎn yòu yòu hěn de wǎng yè bèi tiān jiā jìn lái， huò zhě zhè gè yè miàn bèi gēngxīn huò zhě shān chú liǎo。
zuì jìn xīn zēng de hěn duō yè miàn dōushì tōng guò fú wù qì duān jiǎo běn yǔ yán chǎn shēng de， wú qióng de cān shù zǔ hé yě zēng jiā liǎo pá chóng zhuā qǔ de nán dù， zhǐ yòu yī xiǎo bù fēn zhè zhǒng zǔ hé huì fǎn huí yī xiē dú tè de nèi róng。 lì rú， yī gè hěn xiǎo zhào piàn cún chǔ kù jǐn jǐn tōng guò get fāng shì kě néng tí gōng jiù gěi yòng hù sān zhǒng cāo zuò fāng shì。 rú guǒ zhè lǐ cún zhe sì zhǒng fēn lèi fāng shì， sān zhǒng suō lüè tú fāng shì， liǎng zhǒng wén jiàn gé shì， hé yī gè jìn zhǐ yòng hù tí gōng nèi róng de xuǎn xiàng， nà me， tóng yàng de nèi róng jiù kě yǐ tōng guò 48 zhǒng fāng shì fǎng wèn。 zhè zhǒng shù xué zǔ hé gěi wǎng luò pá chóng chuàng zào de nán chù jiù shì， wèile huò qǔ bù tóng de nèi róng， tā men bì xū shāi xuǎn wú qióng jǐn yòu wēi xiǎo biàn huà de zǔ hé。
zhèng rú 'ài dé huá děng rén suǒ shuō de：“ yòng yú jiǎn suǒ de dài kuān bù shì wú xiàn de， yě bù shì miǎn fèi de； suǒ yǐ， rú guǒ yǐn rù héng liàng pá chóng zhuā qǔ zhì liàng huò zhě xīn xiān dù de yòu xiào zhǐ biāo de huà， bù dàn shēn suō xìng， lián yòu xiào xìng dū jiāng biàn dé shí fēn bì yào”（ ài dé huá děng rén， 2001 nián）。 yī gè pá chóng jiù bì xū xiǎo xīn de xuǎn zé xià yī bù yào fǎng wèn shénme yè miàn。 wǎng yè pá chóng de xíng wéi tōng cháng shì sì zhǒng cè lüè zǔ hé de jiēguǒ。
♦ xuǎn zé cè lüè， jué dìng suǒ yào xià zài de yè miàn；
♦ chóngxīn fǎng wèn cè lüè， jué dìng shénme shí hòu jiǎn chá yè miàn de gēngxīn biàn huà；
♦ píng héng lǐ mào cè lüè， zhǐ chū zěn yàng bì miǎn zhàn diǎn chāo zài；
♦ bìng xíng cè lüè， zhǐ chū zěn me xié tóng dá dào fēn bù shì zhuā qǔ de xiào guǒ；
1.1 xuǎn zé cè lüè：
jiù xiàn zài wǎng luò zī yuán de dà xiǎo 'ér yán， jí shǐ hěn dà de sōu suǒ yǐn qíng yě zhǐ néng huò qǔ wǎng luò shàng kě dé dào zī yuán de yī xiǎo bù fēn。 yóu láo lún sī hé gài 'ěr sī gòng tóng zuò de yī xiàng yán jiū zhǐ chū， méi yòu yī gè sōu suǒ yǐn qíng zhuā qǔ de nèi róng dá dào wǎng luò de 16%( láo lún sī hé gài 'ěr sī， 2001)。 wǎng luò pá chóng tōng cháng jǐn jǐn xià zài wǎng yè nèi róng de yī bù fēn， dàn shì dà jiādōu hái shì qiáng liè yào qiú xià zài de bù fēn bāo kuò zuì duō de xiāng guān yè miàn， ér bù jǐn jǐn shì yī gè suí jī de jiǎn dān de zhàn diǎn。
zhè jiù yào qiú yī gè gōng gòng biāo zhǔn lái qū fēn wǎng yè de zhòng yào chéng dù， yī gè yè miàn de zhòng yào chéng dù yǔ tā zì shēn de zhì liàng yòu guān， yǔ 'àn zhào liàn jiē shù、 fǎng wèn shǔdé chū de shòu huān yíng chéng dù yòu guān， shèn zhì yǔ tā běn shēn de wǎng zhǐ（ hòu lái chū xiàn de bǎ sōu suǒ fàng zài yī gè dǐng jí yù míng huò zhě yī gè gù dìng yè miàn shàng de chuí zhí sōu suǒ） yòu guān。 shè jì yī gè hǎo de sōu suǒ cè lüè hái yòu 'é wài de kùn nán， tā bì xū zài bù wán quán xìn xī xià gōng zuò， yīn wéi zhěng gè yè miàn de jí hé zài zhuā qǔ shí shì wèi zhī de。
Cho děng rén（ Choetal， 1998） zuò liǎo dì yī fèn zhuā qǔ cè lüè de yán jiū。 tā men de shù jù shì sī tǎn fú dà xué wǎng zhàn zhōng de 18 wàn gè yè miàn， shǐ yòng bù tóng de cè lüè fēn bié mó fǎng zhuā qǔ。 pái xù de fāng fǎ shǐ yòng liǎo guǎng dù yōu xiān， hòu liàn jì shù， hé bù fēn pagerank suàn fǎ。 jì suàn xiǎn shì， rú guǒ nǐ xiǎng yào yōu xiān xià zài pagerank gāo de yè miàn， nà me， bù fēn PageRank cè lüè shì bǐ jiào hǎo de， qí cì shì guǎng dù yōu xiān hé hòu liàn jì shù。 bìng qiě， zhè yàng de jiēguǒ jǐn jǐn shì zhēn duì yī gè zhàn diǎn de。
Najork hé Wiener(NajorkandWiener,2001) cǎi yòng shí jì de pá chóng， duì 3.28 yì gè wǎng yè， cǎi yòng guǎng dù yōu xiān yán jiū。 tā men fā xiàn guǎng dù yōu xiān huì jiào zǎo de zhuā dào PageRank gāo de yè miàn（ dàn shì tā men méi yòu cǎi yòng qí tā cè lüè jìn xíng yán jiū）。 zuò zhě gěi chū de jiě shì shì：“ zuì zhòng yào de yè miàn huì yòu hěn duō de zhù jī lián jiē dào tā men， bìng qiě nà xiē liàn jiē huì jiào zǎo de fā xiàn， ér bù yòng kǎo lǜ cóng nǎ yī gè zhù jī kāi shǐ。”
Abiteboul(Abiteboul děng rén ,2003)， shè jì liǎo yī zhǒng jī yú OPIC（ zài xiàn yè miàn zhòng yào zhǐ shù） de zhuā qǔ zhàn lüè。 zài OPIC zhōng， měi yī gè yè miàn dōuyòu yī gè xiāng děng de chū shǐ quán zhí， bìng bǎ zhè xiē quán zhí píng jūn fēn gěi tā suǒ zhǐ xiàng de yè miàn。 zhè zhǒng suàn fǎ yǔ Pagerank xiāng sì， dàn shì tā de sù dù hěn kuài， bìng qiě kě yǐ yī cì wán chéng。 OPIC de chéng xù shǒu xiān zhuā qǔ huò qǔ quán zhí zuì dà de yè miàn， shí yàn zài 10 wàn gè mì zhǐ fēn bù de mó nǐ yè miàn zhōng jìn xíng。 bìng qiě， shí yàn méi yòu hé qí tā cè lüè jìn xíng bǐ jiào， yě méi yòu zài zhēn zhèng de WEB yè miàn cè shì。
Boldi děng rén (Boldietal.,2004) de mó nǐ jiǎn suǒ shí yàn jìn xíng zài cóng .it wǎng luò shàng qǔ xià de 4000 wàn gè yè miàn hècóng webbase dé dào de 1 yì gè yè miàn shàng， cè shì guǎng dù yōu xiān hé shēn dù yōu xiān， suí jī xù liè hé yòu xù xù liè。 bǐ jiào de jī chǔ shì zhēn shí yè miàn pageRank zhí hé jì suàn chū lái de pageRank zhí de jiē jìn chéng dù。 lìng rén jīng qí de shì， yī xiē jì suàn pageRank hěn kuài de yè miàn（ tè bié míng xiǎn de shì guǎng dù yōu xiān cè lüè hé yòu xù xù liè） jǐn jǐn kě yǐ dá dào hěn xiǎo de jiē jìn chéng dù。
Baeza-Yates děng rén (Baeza-Yatesetal.,2005) zài cóng .gr yù míng hé .cl yù míng zǐ wǎng zhàn shàng huò qǔ de 300 wàn gè yè miàn shàng mó nǐ shí yàn， bǐ jiào ruò gān gè zhuā qǔ cè lüè。 jiēguǒ xiǎn shì OPIC cè lüè hé zhàn diǎn duì liè cháng dù， dū bǐ guǎng dù yōu xiān yào hǎo； bìng qiě rú guǒ kě xíng de huà， shǐ yòng zhī qián de pá xíng zhuā qǔ jiēguǒ lái zhǐ dǎo zhè cì zhuā qǔ， zǒng shì shí fēn yòu xiào de。
Daneshpajouh děng rén (Daneshpajouhetal.,2008) shè jì liǎo yī gè yòng yú xún zhǎo hǎo zhǒng zǐ de shè qū。 tā men cóng lái zì bù tóng shè qū de gāo PageRank yè miàn kāi shǐ jiǎn suǒ de fāng fǎ， dié dài cì shù míng xiǎn xiǎo yú shǐ yòng suí jī zhǒng zǐ de jiǎn suǒ。 shǐ yòng zhè zhǒng fāng shì， kě yǐ cóng yǐ qián zhuā qǔ yè miàn zhī zhōng zhǎo dào hǎo de zhǒng zǐ， shǐ yòng zhè xiē zhǒng zǐ shì shí fēn yòu xiào de。
1.1.1 xiàn dìng fǎng wèn liàn jiē
yī gè pá chóng kě néng jǐn jǐn xiǎng zhǎo dào html yè miàn de zhǒng zǐ 'ér bì miǎn qí tā de wén jiàn lèi xíng。 wèile jǐn jǐn dé dào html de zī yuán， yī gè pá chóng kě yǐ shǒu xiān zuò yī gè httphead de qǐng qiú， yǐ zài shǐ yòng request fāng fǎ huò qǔ suǒ yòu de zī yuán zhī qián， jué dìng zhè gè wǎng luò wén jiàn de lèi xíng。 wèile bì miǎn yào fā sòng guò duō de head qǐng qiú， pá chóng kě yǐ jiāo tì de jiǎn chá url bìng qiě jǐn jǐn duì yǐ html， htm hé fǎn xié gàng jié wěi de wén jiàn fā sòng zī yuán qǐng qiú。 zhè zhǒng cè lüè huì dǎo zhì hěn duō de html zī yuán zài wú yì zhōng cuò guò， yī zhǒng xiāng sì de cè lüè shì jiāng wǎng luò zī yuán de kuò zhǎn míng tóng yǐ zhī shì html wén jiàn lèi xíng de yī zǔ kuò zhǎn míng（ rú .html,.htm,.asp,.php,.aspx, fǎn xié gàng） jìn xíng bǐ jiào。
yī xiē pá chóng yě huì xiàn zhì duì rèn hé hán yòu“？” de zī yuán（ zhè xiē shì dòng tài shēng chéng de） jìn xíng huò qǔ qǐng qiú， yǐ bì miǎn zhī zhū pá xíng zài mǒu yī gè zhàn diǎn zhōng xiàn rù xià zài wú qióng wú jìn de URL de kùn jìng。
1.1.2 lù jìng jiǎn suǒ
yī xiē pá chóng huì jìn kě néng duō de cháng shì xià zài yī gè tè dìng zhàn diǎn de zī yuán。 Cothey(Cothey,2004) yǐn rù liǎo yī zhǒng lù jìng jiǎn suǒ de pá chóng， tā huì cháng shì zhuā qǔ xū yào jiǎn suǒ zī yuán de suǒ yòu URL。 lì rú， gěi dìng yī gè zhǒng zǐ dì zhǐ： http://llama.org/hamster/monkey/page.html， tā jiāng huì cháng shì jiǎn suǒ /hamster/menkey/,/hamster/ hé /。 Cothey fā xiàn lù jìng jiǎn suǒ duì fā xiàn dú lì zī yuán， huò zhě yī xiē tōng cháng pá chóng jiǎn suǒ bù dào dídí lián jiē shì fēi cháng yòu xiào de。
yī xiē lù jìng jiǎn suǒ de pá chóng yě bèi chēng wéi shōu gē jī ruǎn jiàn， yīn wéi tā men tōng cháng yòng yú shōu gē huò zhě shōu jí suǒ yòu de nèi róng， kě néng shì cóng tè dìng de yè miàn huò zhě zhù jī shōu jí xiàngcè de zhào piàn。
1.1.3 jù jiāo zhuā qǔ
pá chóng suǒ zhuā qǔ yè miàn de zhòng yào chéng dù yě kě yǐ biǎo shù chéng tā yǔ gěi dìng chá xún zhī jiān xiāng sì chéng dù de hán shù。 wǎng luò pá chóng cháng shì xià zài xiāng sì yè miàn， kě yǐ chēng wéi jù jiāo jiǎn suǒ huò zhě zhù tí jiǎn suǒ。 guān yú zhù tí jiǎn suǒ hé jù jiāo jiǎn suǒ de gài niàn， zuì zǎo shì yóu Menczer（ Menczer1997;MenczerandBelew,1998） hé Chakrabarti děng rén shǒu xiān tí chū lái de (Chakrabartietal.,1999)。
jù jiāo jiǎn suǒ de zhù yào wèn tí shì wǎng yè pá chóng de shǐ yòng huán jìng， wǒ men xī wàng zài shí jì xià zài yè miàn zhī qián， jiù kě yǐ zhī dào gěi dìng yè miàn hé chá xún zhī jiān de xiāng sì dù。 yī gè kě néng de fāng fǎ jiù shì zài liàn jiē zhī zhōng shè zhì máo diǎn， zhè jiù shì zài zǎo qī shí hòu， Pinkerton（ Pinkerton， 1994） céng jīng zài yī gè pá chóng zhōng cǎi yòng de cè lüè。 Diligenti děng rén（ Diligenti děng rén， 2000） jiàn yì shǐ yòng yǐ jīng zhuā qǔ yè miàn de nèi róng qù tuī cè chá xún hé wèi fǎng wèn yè de xiāng sì dù。 yī gè jù jiāo chá xún de biǎo xiàn de hǎo huài zhù yào yǐ lài yú chá xún zhù tí nèi róng de fēng fù chéng dù， tōng cháng hái huì yǐ lài yè miàn chá xún yǐn qíng tí gōng de chá xún qǐ diǎn。
1.1.4 zhuā qǔ shēn céng de wǎng yè
hěn duō de yè miàn yǐn cáng de hěn shēn huò yǐn cáng zài zài kàn bù dào de wǎng luò zhī zhōng。 zhè xiē yè miàn tōng cháng zhǐ yòu zài xiàng shù jù kù tí jiāo chá xún de shí hòu cái kě yǐ fǎng wèn dào， rú guǒ méi yòu liàn jiē zhǐ xiàng tā men de huà， yī bān de pá chóng shì bù néng fǎng wèn dào zhè xiē yè miàn de。 gǔ gē zhàn diǎn dì tú xié yì hé modoai（ Nelson děng rén， 2005） cháng shì yǔn xǔ fā xiàn zhè xiē shēn céng cì de zī yuán。
shēn céng yè miàn zhuā qǔ qì zēng jiā liǎo zhuā qǔ wǎng yè de liàn jiē shù。 yī xiē pá chóng jǐn jǐn zhuā qǔ xíng rú <ahref=” url” liàn jiē。 mǒu xiē qíng kuàng xià， lì rú Googlebot， WEB zhuā qǔ de shì suǒ yòu chāo wén běn suǒ bāo hán de nèi róng， biāo qiān hé wén běn。
1.1.5WEB3.0 jiǎn suǒ
Web3.0 wéi xià yī dài sōu suǒ jì shù dìng yì liǎo gèng xiān jìn de jì shù hé xīn de zhǔn zé， kě yǐ gài kuò wéi yǔ yì wǎng luò hé wǎng zhàn múbǎn jiě xī de gài niàn。 dì sān dài jiǎn suǒ jì shù jiāng jiàn lì zài rén jī qiǎo miào de lián xì de jī chǔ shàng。
1.2 chóngxīn fǎng wèn cè lüè
wǎng luò jù yòu dòng tài xìng hěn qiáng de tè xìng。 zhuā qǔ wǎng luò shàng de yī xiǎo bù fènnèi róng kě néng huì huā fèi zhēn de hěn cháng de shí jiān， tōng cháng yòng zhōu huò zhě yuè lái héng liàng。 dāng pá chóng wán chéng tā de zhuā qǔ de rèn wù yǐ hòu， hěn duō cāo zuò shì kě néng huì fā shēng de， zhè xiē cāo zuò bāo kuò xīn jiàn， gēngxīn hé shān chú。
cóng sōu suǒ yǐn qíng de jiǎo dù lái kàn， bù jiǎn cè zhè xiē shì jiàn shì yòu chéng běn de， chéng běn jiù shì wǒ men jǐn jǐn yōng yòu yī fèn guò shí de zī yuán。 zuì cháng shǐ yòng de chéng běn hán shù， shì xīn xiān dù hé guò shí xìng（ 2000 nián， Cho hé Garcia-Molina）
xīn xiān dù： zhè shì yī gè héng liàng zhuā qǔ nèi róng shì bù shì zhǔn què de 'èr yuán zhí。 zài shí jiān t nèi， cāng kù zhōng yè miàn p de xīn xiān dù shì zhè yàng dìng yì de：
xīn xiān dù
guò shí xìng : zhè shì yī gè héng liàng běn dì yǐ zhuā qǔ de nèi róng guò shí chéng dù de zhǐ biāo。 zài shí jiān t shí， cāng kù zhōng yè miàn p de shí xiào xìng de dìng yì rú xià：
guò shí xìng
zài yè miàn zhuā qǔ zhōng， xīn xiān dù hé guò shí xìng de fā zhǎn
Coffman děng rén（ EdwardG.Coffman， 1998） shì cóng shì pá chóng duì xiàng dìng yì de， tā men tí chū liǎo yī gè xiāng dāng yú xīn xiān dù de gài niàn， dàn shì shǐ yòng liǎo bù tóng de cuò cí： tā men jiàn yì pá chóng bì xū zuì xiǎo huà guò shí yè miàn bù fēn。 tā men zhǐ chū wǎng luò pá xíng de wèn tí jiù xiāng dāng yú duō gè duì liè， yī gè tóu piào xì tǒng； zhè lǐ， pá chóng shì fú wù qì， bù tóng de zhàn diǎn shì duì liè。 yè miàn xiū gǎi shì dào dá de gù kè， yè miàn qiē huàn de shí jiān shì yè miàn jìn rù yī gè dān yī zhàn diǎn de jiàngé。 zài zhè gè mó xíng xià， měi yī gè gù kè zài tóu piào xì tǒng de píng jūn shí jiān， xiāng dāng yú pá chóng de píng jūn guò shí xìng。
pá chóng de mù biāo shì jìn kě néng gāo de tí gāo yè miàn de xīn xiān dù， tóng shí jiàng dī yè miàn de guò shí xìng。 zhè yī mù biāo bìng bù shì wán quán yī yàng de， dì yī zhǒng qíng kuàng， pá chóng guān xīn de shì yòu duō shǎo yè miàn shí guò shí de； zài dì 'èr zhǒng qíng kuàng， pá chóng guān xīn de yè miàn guò shí liǎo duō shǎo。
liǎng zhǒng zuì jiǎn dān de chóngxīn fǎng wèn cè lüè shì yóu Cho hé Garcia-Molina yán jiū de（ Cho hé Garcia-Molina， 2003）：
tǒng yī cè lüè： shǐ yòng xiāng tóng de pín shuài， chóngxīn fǎng wèn shōu cáng zhōng de suǒ yòu de liàn jiē， ér bù kǎo lǜ tā men gēngxīn pín shuài。
zhèng bǐ cè lüè： duì biàn huà yuè duō de wǎng yè， chóngxīn fǎng wèn de pín shuài yě yuè gāo。 wǎng yè fǎng wèn de pín shuài hé wǎng yè biàn huà de pín shuài zhí jiē xiāng guān。
（ liǎng zhǒng qíng kuàng xià， pá chóng de chóngxīn zhuā qǔ dōukě yǐ cǎi yòng suí jī fāng shì， huò zhě gù dìng de shùn xù）
Cho hé Garcia-Molina zhèng míng liǎo yī gè chū rén yì liào de jiēguǒ。 yǐ píng jūn xīn xiān dù fāng shì héng liàng， tǒng yī cè lüè zài mó nǐ yè miàn hé zhēn shí de wǎng luò zhuā qǔ zhōng dū bǐ zhèng bǐ cè lüè chū sè。 duì yú zhè zhǒng jiēguǒ de jiě shì shì： dāng yī gè yè miàn biàn huà tài kuài de shí hòu， pá chóng jiāng huì jiāng huì zài bù duàn de cháng shì chóngxīn zhuā qǔ 'ér làng fèi hěn duō shí jiān， dàn shì què hái shì bù néng bǎo zhèng yè miàn de xīn xiān dù。
wèile tí gāo yè miàn de xīn xiān dù， wǒ men yīnggāi xuān pàn biàn huà tài kuài de yè miàn sǐ zuì（ Cho hé Garcia-Molina,2003a）。 zuì jiā de chóngxīn fǎng wèn cè lüè jì bù shì tǒng yī cè lüè， yě bù shì zhèng bǐ cè lüè； bǎo chí píng jūn yè miàn xīn xiān dù gāo de zuì jiā fāng fǎ cè lüè bāo kuò hū lüè nà xiē biàn huà tài kuài de yè miàn， ér bǎo chí yè miàn píng jūn guò shí xìng dī de fāng fǎ zé shì duì měi yī yè 'àn zhào yè miàn biàn huà shuài dān diào biàn huà de cè lüè fǎng wèn。 liǎng zhǒng qíng kuàng xià， zuì jiā de cè lüè jiào zhèng bǐ cè lüè， dū gèng jiē jìn tǒng yī cè lüè。 zhèng rú Coffman děng rén（ EdwardG.Coffman， 1998） suǒ zhù yì dào de：“ wèile zuì xiǎo huà yè miàn guò shí de shí jiān， duì rèn yī gè yè miàn de fǎng wèn dū yìng gāi jìn kě néng de jūn yún jiàngé dì fǎng wèn。” duì yú chóngxīn fǎng wèn de xiáng jìn de cè lüè zài dà tǐ shàng shì bù kě yǐ dá dào de， dàn shì tā men kě yǐ cóng shù xué shàng dé dào， yīn wéi tā men yǐ lài yú yè miàn de biàn huà。（ Cho hé Garcia-Molina,2003a） zhǐ chū zhǐ shù biàn huà shì miáo shù yè miàn biàn huà de hǎo fāng fǎ， tóng shí（ Ipeirotis děng rén， 2005） zhǐ chū liǎo zěn me shǐ yòng tǒng jì gōng jù qù fā xiàn shì hé zhè xiē biàn huà de cān shù。 zhù yì zài zhè lǐ de chóngxīn fǎng wèn cè lüè rèn wéi měi yī gè yè miàn dōushì xiāng tóng de（ wǎng luò shàng suǒ yòu de yè miàn jià zhí dōushì yī yàng de） zhè bù shì xiàn shí de qíng kuàng， suǒ yǐ， wèile huò qǔ gèng hǎo de zhuā qǔ cè lüè， gèng duō yòu guān wǎng yè zhì liàng de xìn xī yīnggāi kǎo lǜ jìn qù。
1.3 píng héng lǐ mào cè lüè
pá chóng xiāng bǐ yú rén， kě yǐ yòu gèng kuài de jiǎn suǒ sù dù hé gēngshēn de céng cì， suǒ yǐ， tā men kě néng shǐ yī gè zhàn diǎn tān huàn。 bù xū yào shuō yī gè dān dú de pá chóng yī miǎo zhōng yào zhí xíng duō tiáo qǐng qiú， xià zài dà de wén jiàn。 yī gè fú wù qì yě huì hěn nán xiǎng yìng duō xiàn chéng pá chóng de qǐng qiú。
jiù xiàng Koster（ Koster， 1995） suǒ zhù yì de nà yàng， pá chóng de shǐ yòng duì hěn duō gōng zuò dōushì hěn yòu yòng de， dàn shì duì yī bān de shè qū， yě xū yào fù chū dài jià。 shǐ yòng pá chóng de dài jià bāo kuò：
wǎng luò zī yuán： zài hěn cháng yī duàn shí jiān， pá chóng shǐ yòng xiāng dāng de dài kuān gāo dù bìng xíng dì gōng zuò。
fú wù qì chāo zài： yóu qí shì duì gěi dìng fú wù qì de fǎng wèn guò gāo shí。
zhì liàng zāo gāo de pá chóng， kě néng shì fú wù qì huò zhě lù yóu qì tān huàn， huò zhě huì cháng shì xià zài zì jǐ wú fǎ chǔlǐ de yè miàn。
gè rén pá chóng， rú guǒ guò duō de rén shǐ yòng， kě néng shì wǎng luò huò zhě fú wù qì zǔsè。
duì zhè xiē wèn tí de yī gè bù fēn jiě jué fāng fǎ shì màn yóu qì pái chú xié yì（ Robotsexclusionprotocol）， yě bèi chēng wéi robots.txt yì dìng shū（ Koster， 1996）， zhè fèn xié yì duì yú guǎn lǐ yuán zhǐ míng wǎng luò fú wù qì de nà yī bù fēn bù néng dào dá shì yī gè biāo zhǔn。 zhè gè biāo zhǔn méi yòu bāo kuò chóngxīn fǎng wèn yī tái fú wù qì de jiàngé de jiàn yì， suī rán fǎng wèn jiàngé shì bì miǎn fú wù qì chāo zài de zuì yòu xiào de bàn fǎ。 zuì jìn de shāng yè sōu suǒ ruǎn jiàn， rú AskJeeves， MSN hé Yahoo kě yǐ zài robots.txt zhōng shǐ yòng yī gè 'é wài de“ Crawl-delay” cān shù lái zhǐ míng qǐng qiú zhī jiān de yán chí。
duì lián jiē jiàngé shí jiān de dì yī gè jiàn yì yóu Koster1993 nián gěi chū， shí jiān shì 60 miǎo。 àn zhào zhè gè sù dù， rú guǒ yī gè zhàn diǎn yòu chāo guò 10 wàn de yè miàn， jí shǐ wǒ men yōng yòu líng yán chí hé wú qióng dài kuān de wán měi lián jiē， tā yě huì xū yào liǎng gè yuè de shí jiān lái xià zài zhěng gè zhàn diǎn， bìng qiě， zhè gè fú wù qì zhōng de zī yuán， zhǐ yòu yī xiǎo bù fēn kě yǐ shǐ yòng。 zhè sì hū shì bù kě yǐ jiē shòu de。
Cho（ Cho hé Garcia-Molina,2003） shǐ yòng 10 miǎo zuò wéi fǎng wèn de jiàngé shí jiān， WIRE pá chóng (Baeza-YatesandCastillo,2002) shǐ yòng 15 miǎo zuò wéi mò rèn jiàngé。 MercatorWeb(Heydon hé Najork,1999) pá chóng shǐ yòng liǎo yī zhǒng zì shì yìng de píng héng cè lüè： rú guǒ cóng mǒu yī fú wù qì xià zài yī gè wén dàng xū yào t miǎo zhōng， pá chóng jiù děng dài 10t miǎo de shí jiān， rán hòu kāi shǐ xià yī gè yè miàn。 Dill děng rén (Dilletal.,2002) shǐ yòng 1 miǎo。
duì yú nà xiē shǐ yòng pá chóng yòng yú yán jiū mù de de， yī gè gèng xiáng xì de chéng běn - xiào yì fēn xī shì bì yào de， dāng jué dìng qù nǎ yī gè zhàn diǎn zhuā qǔ， shǐ yòng duō kuài de sù dù zhuā qǔ de shí hòu， lún lǐ de yīn sù yě xū yào kǎo lǜ jìn lái。
fǎng wèn jì lù xiǎn shì yǐ zhī pá chóng de fǎng wèn jiàngé cóng 20 miǎo zhōng dào 3-4 fēn zhōng bù děng。 xū yào zhù yì de shì jí shǐ hěn lǐ mào， cǎi qǔ liǎo suǒ yòu de 'ān quán cuò shī lái bì miǎn fú wù qì chāo zài， hái shì huì yǐn lái yī xiē wǎng luò fú wù qì guǎn lǐ yuán de bào yuàn de。 Brin hé Page zhù yì dào： yùn xíng yī gè zhēn duì chāo guò 50 wàn fú wù qì de pá chóng， huì chǎn shēng hěn duō de yóu jiàn hé diàn huà。 zhè shì yīn wéi yòu wú shù de rén zài shàng wǎng， ér zhè xiē rén bù zhī dào pá chóng shì shénme， yīn wéi zhè shì tā men dì yī cì jiàn dào。（ Brin hé Page， 1998）
1.4 bìng xíng cè lüè
yī gè bìng xíng pá chóng shì bìng xíng yùn xíng duō gè jìn chéng de pá chóng。 tā de mù biāo shì zuì dà huà xià zài de sù dù， tóng shí jìn liàng jiǎn shǎo bìng xíng de kāi xiāo hé xià zài chóngfù de yè miàn。 wèile bì miǎn xià zài yī gè yè miàn liǎng cì， pá chóng xì tǒng xū yào cè lüè lái chù lǐ pá chóng yùn xíng shí xīn fā xiàn de URL， yīn wéi tóng yī gè URL dì zhǐ， kě néng bèi bù tóng de pá chóng jìn chéng zhuā dào。
cān kǎo wén xiàn
Edwards,J.,McCurley,K.S.,andTomlin,J.A.(2001)."Anadaptivemodelforoptimizingperformanceofanincrementalwebcrawler".InProceedingsoftheTenthConferenceonWorldWideWeb(HongKong:ElsevierScience):106 – 113.doi:10.1145/371920.371960.
Lawrence,Steve;C.LeeGiles(1999)."Accessibilityofinformationontheweb".Nature400(6740):107.doi:10.1038/21987.
JunghooCho.HectorGarcia-Molina.LawrencePage(1998).EfficientCrawlingThroughURLOrdering.ComputerNetworks30(1-7):161-172
Najork,M.andWiener,J.L.(2001).Breadth-firstcrawlingyieldshigh-qualitypages.InProceedingsofthe10thinternationalConferenceonWorldWideWeb(HongKong,May01-05,2001).WWW'01.ACMPress,114-118.
SergeAbiteboul,MihaiPreda,GregoryCobena(2003).Adaptiveon-linepageimportancecomputation.InternationalWorldWideWebConferencearchive.Proceedingsofthe12thinternationalconferenceonWorldWideWeb.ACMPress,280-290.
Boldi,Paolo;MassimoSantini,SebastianoVigna(2004)."DoYourWorsttoMaketheBest:ParadoxicalEffectsinPageRankIncrementalComputations".AlgorithmsandModelsfortheWeb-Graph.pp.168– 180.
RicardoBaeza-Yates,CarlosCastillo,MauricioMarin,AndreaRodriguez(2005).Crawlingacountry:betterstrategiesthanbreadth-firstforwebpageordering.InternationalWorldWideWebConferencearchiveSpecialinteresttracksandpostersofthe14thinternationalconferenceonWorldWideWebtableofcontents(Chiba,Japan).ACMPress,864-872.
Sh.Daneshpajouh,MojtabaMohammadiNasiri,M.Ghodsi(2008).AFastCommunityBasedAlgorithmforGeneratingCrawlerSeedsSet,InProceedingof4thInternationalConferenceonWebInformationSystemsandTechnologies(WEBIST-2008),Funchal,Portugal,May2008.
VivCothey.Web-crawlingreliability(2004).JournaloftheAmericanSocietyforInformationScienceandTechnology,55(14),pp1228-1238.
Menczer,F.(1997).ARACHNID:AdaptiveRetrievalAgentsChoosingHeuristicNeighborhoodsforInformationDiscovery.InD.Fisher,ed.,MachineLearning:Proceedingsofthe14thInternationalConference(ICML97).MorganKaufmann
Menczer,F.andBelew,R.K.(1998).AdaptiveInformationAgentsinDistributedTextualEnvironments.InK.SycaraandM.Wooldridge(eds.)Proc.2ndIntl.Conf.onAutonomousAgents(Agents'98).ACMPress
Chakrabarti,S.,vandenBerg,M.,andDom,B.(1999).Focusedcrawling:anewapproachtotopic-specificwebresourcediscovery.ComputerNetworks,31(11– 16):1623– 1640.
Pinkerton,B.(1994).Findingwhatpeoplewant:ExperienceswiththeWebCrawler.InProceedingsoftheFirstWorldWideWebConference,Geneva,Switzerland
M.Diligenti,F.M.Coetzee,S.Lawrence,C.L.Giles,M.Gori(2000).FocusedCrawlingUsingContextGraphs.26thInternationalConferenceonVeryLargeDatabases,VLDB2000.
Nelson,MichaelL;HerbertVandeSompel,XiaomingLiu,TerryLHarrison,NathanMcFarland(2005)."mod_oai:AnApacheModuleforMetadataHarvesting".Cs/0503069.
JunghooCho.HectorGarcia-Molina(2000).Synchronizingadatabasetoimprovefreshness.ACMSIGMODRecordarchive.Volume29,Issue2(June2000)tableofcontents.Pages:117-128.
Jr,E.G.Coffman;ZhenLiu,RichardR.Weber(1998)."OptimalrobotschedulingforWebsearchengines".JournalofScheduling1(1):15– 29.
JunghooCho.HectorGarcia-Molina(2003).EffectivepagerefreshpoliciesforWebcrawlers.ACMTransactionsonDatabaseSystems(TODS).Pages:390-426.
Cho,Junghoo;HectorGarcia-Molina(2003)."Estimatingfrequencyofchange".ACMTrans.InteretTechnol.3(3):256– 290.
Ipeirotis,P.,Ntoulas,A.,Cho,J.,Gravano,L.(2005)Modelingandmanagingcontentchangesintextdatabases.InProceedingsofthe21stIEEEInternationalConferenceonDataEngineering,pages606-617,April2005,Tokyo.
M.Koster(1995).Robotsintheweb:threatortreat?OIISpectrum,1995,vol.2,no9,pp.8-18.
M.Koster(1996).TheWebRobotsPage.Availableathttp://info.webcrawler.com/mak/projects/robots/robots.html.
Koster,M.(1993).Guidelinesforrobotswriters.
Baeza-Yates,R.andCastillo,C.(2002).Balancingvolume,qualityandfreshnessinWebcrawling.InSoftComputingSystems– Design,ManagementandApplications,pages565– 572,Santiago,Chile.IOSPressAmsterdam.
Heydon,Allan;Najork,Marc(1999).Mercator:AScalable,ExtensibleWebCrawler.http://www.cindoc.csic.es/cybermetrics/pdf/68.pdf.
Dill,S.,Kumar,R.,Mccurley,K.S.,Rajagopalan,S.,Sivakumar,D.,andTomkins,A.(2002).Self-similarityintheweb.ACMTrans.Inter.Tech.,2(3):205– 223.
2. wǎng luò pá chóng tǐ xì jié gòu
wǎng yè pá chóng de gāo céng tǐ xì jié gòu
yī gè pá chóng bù néng xiàng shàng miàn suǒ shuō de， jǐn jǐn zhǐ yòu yī gè hǎo de zhuā qǔ cè lüè， hái xū yào yòu yī gè gāo dù yōu huà de jié gòu。
Shkapenyuk hé Suel（ Shkapenyuk hé Suel， 2002） zhǐ chū： shè jì yī gè duǎn shí jiān nèi， yī miǎo xià zài jǐ gè yè miàn de pō màn de pá chóng shì yī jiàn hěn róng yì de shì qíng， ér yào shè jì yī gè shǐ yòng jǐ zhōu kě yǐ xià zài bǎi wàn jí yè miàn de gāo xìng néng de pá chóng， jiāng huì zài xì tǒng shè jì， I/O hé wǎng luò xiàolǜ， jiàn zhuàng xìng hé yì yòng xìng fāng miàn yù dào zhòng duō tiǎo zhàn。
wǎng lù pá chóng shì sōu suǒ yǐn qíng de hé xīn， tā men suàn fǎ hé jié gòu shàng de xì jié bèi dāng zuò shāng yè jī mì。 dāng pá chóng de shè jì fā bù shí， zǒng huì yòu yī xiē wèile zǔ zhǐ bié rén fù zhì gōng zuò 'ér quē shī de xì jié。 rén men yě kāi shǐ guān zhù zhù yào yòng yú zǔ zhǐ zhù yào sōu suǒ yǐn qíng fā bù tā men de pái xù suàn fǎ de“ sōu suǒ yǐn qíng lā jī yóu jiàn”。
2.1URL yī bān huà
pá chóng tōng cháng huì zhí xíng jǐ zhǒng lèi xíng de URL guī fàn huà lái bì miǎn chóngfù zhuā qǔ mǒu xiē zī yuán。 URL yī bān huà yě bèi chēng wéi URL biāo zhǔn huà， zhǐ de shì xiū zhèng URL bìng qiě shǐ qí qián hòu yī zhì de guò chéng。 zhè lǐ yòu jǐ zhǒng yī bān huà fāng fǎ， bāo kuò zhuǎn huà URL wéi xiǎo xiě de， qù chú dòu hào（ rú ‘ . ’‘ ..’ děng）， duì fēi kōng de lù jìng， zài mò wěi jiā fǎn xié gàng。
3. pá chóng shēn fèn shí bié
wǎng luò pá chóng tōng guò shǐ yòng http qǐng qiú de yòng hù dài lǐ zì duàn lái xiàng wǎng luò fú wù qì biǎo míng tā men de shēn fèn。 wǎng luò guǎn lǐ yuán zé tōng guò jiǎn chá wǎng luò fú wù qì de rì zhì， shǐ yòng yòng hù dài lǐ zì duàn lái biàn rèn nǎ yī gè pá chóng céng jīng fǎng wèn guò yǐ jí tā fǎng wèn de pín shuài。 yòng hù dài lǐ zì duàn kě néng huì bāo hán yī gè kě yǐ ràng guǎn lǐ yuán huò qǔ pá chóng gèng duō xìn xī de URL。 yóu jiàn zhuā qǔ qì hé qí tā huái yòu 'è yì de wǎng luò pá chóng tōng cháng bù huì liú rèn hé de yòng hù dài lǐ zì duàn nèi róng， huò zhě tā men yě huì jiāng tā men de shēn fèn wěi zhuāng chéng liú lǎn qì huò zhě qí tā de zhī míng pá chóng。
duì yú wǎng lù pá chóng， liú xià yòng hù biāo zhì xìn xī shì shí fēn zhòng yào de； zhè yàng， wǎng luò guǎn lǐ yuán zài xū yào de shí hòu jiù kě yǐ lián xì pá chóng de zhù rén。 yòu shí， pá chóng kě néng huì xiàn rù pá chóng xiàn jǐng huò zhě shì yī gè fú wù qì chāo fùhè， zhè shí， pá chóng zhù rén xū yào shǐ pá chóng tíng zhǐ。 duì nà xiē yòu xīng qù liǎo jiě tè dìng pá chóng fǎng wèn shí jiān wǎng luò guǎn lǐ yuán lái jiǎng， yòng hù biāozhì xìn xī shì shí fēn zhòng yào de。
4. yòng hù pá chóng de lì zǐ
yǐ xià shì yī xì liè yǐ jīng fā bù de yī bān yòng tú de wǎng luò pá chóng （ chú liǎo zhù tí jiǎn suǒ de pá chóng） de tǐ xì jié gòu， bāo kuò liǎo duì bù tóng zǔ jiàn mìng míng hé tū chū tè diǎn de jiǎn duǎn de miáo shù。
RBSE（ Eichmann， 1994） shì dì yī gè fā bù de pá chóng。 tā yòu liǎng gè jī chǔ chéng xù。 dì yī gè shì“ spider”， zhuā qǔ duì liè zhōng de nèi róng dào yī gè guān xì shù jù kù zhōng， dì 'èr gè chéng xù shì“ mite”， shì yī gè xiū gǎi hòu de www de ASCII liú lǎn qì， fù zé cóng wǎng luò shàng xià zài yè miàn。
WebCrawler（ Pinkerton， 1994） shì dì yī gè gōng kāi kě yòng de yòng lái jiàn lì quán wén suǒ yǐn de yī gè zǐ chéng xù， tā shǐ yòng kù www lái xià zài yè miàn； lìng wài yī gè chéng xù shǐ yòng guǎng dù yōu xiān lái jiě xī huò qǔ URL bìng duì qí pái xù； tā hái bāo kuò yī gè gēn jù xuǎn dìng wén běn hé chá xún xiāng sì chéng dù pá xíng de shí shí pá chóng。
WorldWideWebWorm(McBryan,1994) shì yī gè yòng lái wéi wén jiàn jiàn lì bāo kuò biāo tí hé URL jiǎn dān suǒ yǐn de pá chóng。 suǒ yǐn kě yǐ tōng guò grep shì de Unix mìng lìng lái sōu suǒ。
GoogleCrawler(BrinandPage,1998) yòng liǎo yī xiē xì jié lái miáo shù， dàn shì zhè xiē xì jié jǐn jǐn shì guān yú shǐ yòng C++ hé Python biān xiě de、 yī gè zǎo qī bǎn běn de tǐ xì jié gòu。 yīn wéi wén běn jiě xī jiù shì wén jiǎn suǒ hé URL chōu qǔ de guò chéng， suǒ yǐ pá chóng jí chéng liǎo suǒ yǐn chǔlǐ。 zhè lǐ yōng yòu yī gè URL fú wù qì， yòng lái gěi jǐ gè pá chóng chéng xù fā sòng yào zhuā qǔ de URL liè biǎo。 zài wén běn jiě xī de shí hòu， xīn fā xiàn de URL chuán sòng gěi URL fú wù qì bìng jiǎn cè zhè gè URL shì bù shì yǐ jīng cún zài， rú guǒ bù cún zài de huà， gāi URL jiù jiā rù dào URL fú wù qì zhōng。
CobWeb(daSilvaetal.,1999) shǐ yòng liǎo yī gè zhōng yāng“ diào dù zhě” hé yī xì liè de“ fēn bù shì de sōu jí zhě”。 sōu jí zhě jiě xī xià zài de yè miàn bìng bǎ zhǎo dào de URL fā sòng gěi diào dù zhě， rán hòu diào dù zhě fǎn guò lái fēn pèijǐ sōu jí zhě。 diào dù zhě shǐ yòng shēn dù yōu xiān cè lüè， bìng qiě shǐ yòng píng héng lǐ mào cè lüè lái bì miǎn fú wù qì chāo zài。 pá chóng shì shǐ yòng Perl yǔ yán biān xiě de。
Mercator(HeydonandNajork,1999;NajorkandHeydon,2001) shì yī gè fēn bù shì de， mó kuài huà de shǐ yòng java biān xiě de wǎng luò pá chóng 。 tā de mó kuài huà yuán zì yú shǐ yòng kě hù huàn dídí“ xié yì mó kuài” hé“ chǔlǐ mó kuài”。 xié yì mó kuài fù zé zěn yàng huò qǔ wǎng yè（ lì rú shǐ yòng HTTP）， chǔlǐ mó kuài fù zé zěn yàng chǔlǐ yè miàn。 biāo zhǔn chǔlǐ mó kuài jǐn jǐn bāo kuò liǎo jiě xī yè miàn hé chōu qǔ URL， qí tā chǔlǐ mó kuài kě yǐ yòng lái jiǎn suǒ wén běn yè miàn， huò zhě sōu jí wǎng luò shù jù。
WebFountain(Edwardsetal.,2001) shì yī gè yǔ Mercator lèi sì de fēn bù shì de mó kuài huà de pá chóng， dàn shì shǐ yòng C++ biān xiě de。 tā de tè diǎn shì yī gè guǎn lǐ yuán jī qì kòng zhì yī xì liè de mǎ yǐ jī qì。 jīng guò duō cì xià zài yè miàn hòu， yè miàn de biàn huà shuài kě yǐ tuī cè chū lái， zhè shí， yī gè fēi xiàn xìng de fāng fǎ bì xū yòng yú qiú jiě fāng chéng yǐ huò dé yī gè zuì dà de xīn xiān dù de fǎng wèn cè lüè。 zuò zhě tuī jiàn zài zǎo qī jiǎn suǒ jiē duàn shǐ yòng zhè gè pá chóng， rán hòu yòng tǒng yī cè lüè jiǎn suǒ， jiù shì suǒ yòu de yè miàn dū shǐ yòng xiāng tóng de pín shuài fǎng wèn。
PolyBot[ShkapenyukandSuel,2002] shì yī gè shǐ yòng C++ hé Python biān xiě de fēn bù shì wǎng luò pá chóng 。 tā yóu yī gè pá chóng guǎn lǐ zhě， yī gè huò duō gè xià zài zhě， yī gè huò duō gè DNS jiě xī zhě zǔ chéng。 chōu qǔ dào de URL bèi tiān jiā dào yìng pán de yī gè duì liè lǐ miàn， rán hòu shǐ yòng pī chǔlǐ de mó shì chǔlǐ zhè xiē URL。 píng héng lǐ mào fāng miàn kǎo lǜ dào liǎo dì 'èr、 sān jí wǎng yù（ lì rú www.example.com hé www2.example.com dōushì sān jí wǎng yù）， yīn wéi dì sān jí wǎng yù tōng cháng yě huì bǎo cún zài tóng yī gè wǎng luò fú wù qì shàng。
WebRACE(Zeinalipour-YaztiandDikaiakos,2002) shì yī gè shǐ yòng java shí xiàn de， yōng yòu jiǎn suǒ mó kuài hé huǎn cún mó kuài de pá chóng， tā shì yī gè hěn tōng yòng de chēng zuò eRACE de xì tǒng de yī bù fēn。 xì tǒng cóng yòng hù dé dào xià zài yè miàn de qǐng qiú， pá chóng de xíng wéi yòu diǎn xiàng yī gè cōng míng de dài lǐ fú wù qì。 xì tǒng hái jiān shì dìng yuè wǎng yè de qǐng qiú， dāng wǎng yè fā shēng gǎi biàn de shí hòu， tā bì xū shǐ pá chóng xià zài gēngxīn zhè gè yè miàn bìng qiě tōng zhī dìng yuè zhě。 WebRACE zuì dà de tè sè shì， dāng dà duō shù de pá chóng dū cóng yī zǔ URL kāi shǐ de shí hòu， WebRACE kě yǐ lián xù dì de jiē shōu zhuā qǔ kāi shǐ de URL dì zhǐ。
Ubicrawer(Boldietal.,2004) shì yī gè shǐ yòng java biān xiě de fēn bù shì pá chóng。 tā méi yòu zhōng yāng chéng xù。 tā yòu yī zǔ wán quán xiāng tóng de dài lǐ zǔ chéng， fēn pèi gōng néng tōng guò zhù jī qián hòu yī zhì de sàn liè jì suàn jìn xíng。 zhè lǐ méi yòu chóngfù de yè miàn， chú fēi pá chóng bēng kuì liǎo（ rán hòu， lìng wài yī gè dài lǐ jiù huì jiē tì bēng kuì de dài lǐ chóngxīn kāi shǐ zhuā qǔ）。 pá chóng shè jì wéi gāo shēn suō xìng hé yǔn xǔ shī bài de。
FASTCrawler(RisvikandMichelsen,2002) shì yī gè fēn bù shì de pá chóng， zài FastSearch&Transfer zhōng shǐ yòng， guān yú qí tǐ xì jié gòu de yī gè dà zhì de miáo shù kě yǐ zài [citationneeded] zhǎo dào。
Labrador, yī gè gōng zuò zài kāi yuán xiàng mù TerrierSearchEngine shàng de fēi kāi yuán de pá chóng。
TeezirCrawler shì yī gè fēi kāi yuán de kě shēn suō de wǎng yè zhuā qǔ qì， zài Teezir shàng shǐ yòng。 gāi chéng xù bèi shè jì wéi yī gè wán zhěng de kě yǐ chǔlǐ gè zhǒng lèi xíng wǎng yè de pá chóng， bāo kuò gè zhǒng JavaScript hé HTML wén dàng。 pá chóng jì zhī chí zhù tí jiǎn suǒ yě zhī chí fēi zhù tí jiǎn suǒ。
Spinn3r, yī gè tōng guò bó kè gòu jiàn Tailrank.com fǎn kuì xìn xī de pá chóng。 Spinn3r shì jī yú java de， tā de dà bù fēn de tǐ xì jié gòu dōushì kāi yuán de。
HotCrawler, yī gè shǐ yòng c yǔ yán hé php biān xiě de pá chóng。
ViRELMicroformatsCrawler， sōu suǒ gōng zhòng xìn xī zuò wéi qiàn rù dào wǎng yè de yī xiǎo bù fēn。
chú liǎo shàng miàn liè chū de jǐ gè tè dìng de pá chóng jié gòu yǐ wài， hái yòu Cho(ChoandGarcia-Molina,2002) hé Chakrabarti(Chakrabarti,2003) fā bù de yī bān de pá chóng tǐ xì jié gòu。
4.1 kāi yuán pá chóng
DataparkSearch shì yī gè zài GNUGPL xǔ kě xià fā bù de pá chóng sōu suǒ yǐn qíng。
GNUWget shì yī gè zài GPL xǔ kě xià， shǐ yòng C yǔ yán biān xiě de mìng lìng xíng shì de pá chóng。 tā zhù yào yòng yú wǎng luò fú wù qì hé FTP fú wù qì de jìng xiàng。
Heritrix shì yī gè hù lián wǎng dàng 'àn guǎn jí de pá chóng， shè jì de mù biāo wéi duì dà xíng wǎng luò de dà bù fènnèi róng de dìng qī cún dàng kuài zhào， shì shǐ yòng java biān xiě de。
Ht://Dig zài tā hé suǒ yǐn yǐn qíng zhōng bāo kuò liǎo yī gè wǎng yè pá chóng。
HTTrack yòng wǎng luò pá chóng chuàng jiàn wǎng luò zhàn diǎn jìng xiàng， yǐ biàn lí xiàn guān kàn。 tā shǐ yòng C yǔ yán biān xiě， zài GPL xǔ kě xià fā xíng。
ICDLCrawler shì yī gè yòng C++ biān xiě， kuà píng tái de wǎng luò pá chóng 。 tā jǐn jǐn shǐ yòng kòngxián de CPU zī yuán， zài ICDL biāo zhǔn shàng zhuā qǔ zhěng gè zhàn diǎn。
JSpider shì yī gè zài GPL xǔ kě xià fā xíng de， gāo dù kě pèi zhì de， kě dìng zhì de wǎng luò pá chóng yǐn qíng。
LLarbin yóu SebastienAilleret kāi fā；
Webtools4larbin yóu AndreasBeder kāi fā；
Methabot shì yī gè shǐ yòng C yǔ yán biān xiě de gāo sù yōu huà de， shǐ yòng mìng lìng xíng fāng shì yùn xíng de， zài 2-clauseBSD xǔ kě xià fā bù de wǎng yè jiǎn suǒ qì。 tā de zhù yào de tè xìng shì gāo kě pèi zhì xìng， mó kuài huà； tā jiǎn suǒ de mù biāo kě yǐ shì běn dì wén jiàn xì tǒng， HTTP huò zhě FTP。
Nutch shì yī gè shǐ yòng java biān xiě， zài Apache xǔ kě xià fā xíng de pá chóng。 tā kě yǐ yòng lái lián jiē Lucene de quán wén jiǎn suǒ tào jiàn；
Pavuk shì yī gè zài GPL xǔ kě xià fā xíng de， shǐ yòng mìng lìng xíng de WEB zhàn diǎn jìng xiàng gōng jù， kě yǐ xuǎn zé shǐ yòng X11 de tú xíng jiè miàn。 yǔ wget hé httprack xiāng bǐ， tā yòu yī xì liè xiān jìn de tè xìng， rú yǐ zhèng zé biǎo dá shì wéi jī chǔ de wén jiàn guò lǜ guī zé hé wén jiàn chuàng jiàn guī zé。
WebVac shì sī tǎn fú WebBase xiàng mù shǐ yòng de yī gè pá chóng。
WebSPHINX(MillerandBharat,1998) shì yī gè yóu java lèi kù gòu chéng de， jī yú wén běn de sōu suǒ yǐn qíng。 tā shǐ yòng duō xiàn chéng jìn xíng wǎng yè jiǎn suǒ， html jiě xī， yōng yòu yī gè tú xíng yòng hù jiè miàn yòng lái shè zhì kāi shǐ de zhǒng zǐ URL hé chōu qǔ xià zài de shù jù；
WIRE- wǎng luò xìn xī jiǎn suǒ huán jìng (Baeza-Yates hé Castillo,2002) shì yī gè shǐ yòng C++ biān xiě， zài GPL xǔ kě xià fā xíng de pá chóng， nèi zhì liǎo jǐ zhǒng yè miàn xià zài 'ān pái de cè lüè， hái yòu yī gè shēng chéng bào gào hé tǒng jì zī liào de mó kuài， suǒ yǐ， tā zhù yào yòng yú wǎng luò tè zhēng de miáo shù；
LWP： RobotUA(Langheinrich,2004) shì yī gè zài Perl5 xǔ kě xià fā xíng de， kě yǐ yōu yì de wán chéng bìng xíng rèn wù de Perl lèi kù gòu chéng de jī qì rén。
WebCrawler shì yī gè wéi .net zhǔn bèi de kāi fàng yuán dài mǎ de wǎng luò jiǎn suǒ qì（ C# biān xiě）。
SherlockHolmes shōu jí hé jiǎn suǒ běn dì hé wǎng luò shàng de wén běn lèi shù jù（ wén běn wén jiàn， wǎng yè）， gāi xiàng mù yóu jié kè mén hù wǎng zhàn zhōng shū（ CzechwebportalCentrum） zàn zhù bìng qiě zhù yòng shāng yòng yú zhè lǐ； tā tóng shí yě shǐ yòng zài Onet.pl。
YaCy shì yī gè jī yú P2P wǎng luò de miǎn fèi de fēn bù shì sōu suǒ yǐn qíng（ zài GPL xǔ kě xià fā xíng）；
Ruya shì yī gè zài guǎng dù yōu xiān fāng miàn biǎo xiàn yōu xiù， jī yú děng jí zhuā qǔ de kāi fàng yuán dài mǎ de wǎng luò pá chóng 。 zài yīng yǔ hé rì yǔ yè miàn de zhuā qǔ biǎo xiàn liáng hǎo， tā zài GPL xǔ kě xià fā xíng， bìng qiě wán quán shǐ yòng Python biān xiě。 àn zhào robots.txt yòu yī gè yán shí de dān wǎng yù yán shí pá chóng。
UniversalInformationCrawler kuài sù fā zhǎn de wǎng luò pá chóng ， yòng yú jiǎn suǒ cún chǔ hé fēn xī shù jù；
AgentKernel， dāng yī gè pá chóng zhuā qǔ shí， yòng lái jìn xíng 'ān pái， bìng fā hé cún chǔ de java kuàng jià。
Arachnod.net shì yī gè shǐ yòng C# biān xiě， xū yào SQLServer2005 zhī chí de， zài GPL xǔ kě xià fā xíng de duō gōng néng de kāi yuán de jī qì rén。 tā kě yǐ yòng lái xià zài， jiǎn suǒ， cún chǔ bāo kuò diàn zǐ yóu jiàn dì zhǐ， wén jiàn， chāo liàn jiē， tú piàn hé wǎng yè zài nèi de gè zhǒng shù jù。
Dine shì yī gè duō xiàn chéng de java de http kè hù duān。 tā kě yǐ zài LGPL xǔ kě xià jìn xíng 'èr cì kāi fā。 | | | spider | pá chóng chéng xù | sql | lucene | net | web pá chóng | |
| | | wǎng luò pá chóng chéng xù | |
|
|
|