lìng lèi sōu suǒ zī liào de fāng fǎ： wǎng luò pá chóng chéng xù
dà jiā bǐ jiào shú xī shǐ yòng gè zhǒng sōu suǒ yǐn qíng， dàn shì， hái yòu yī zhǒng gèng zhù dòng hé zhuān mén de sōu suǒ jì shù： wǎng luò pá chóng。
1 pá chóng jì shù yán jiū zōng shù
yǐn yán
suí zhe wǎng luò de xùn sù fā zhǎn， wàn wéi wǎng chéng wéi dà liàng xìn xī de zài tǐ， rú hé yòu xiào dì tí qǔ bìng lì yòng zhè xiē xìn xī chéng wéi yī gè jù dà de tiǎo zhàn。 sōu suǒ yǐn qíng (searchengine)， lì rú chuán tǒng de tōng yòng sōu suǒ yǐn qíng altavista， yahoo! hé google děng， zuò wéi yī gè fǔ zhù rén men jiǎn suǒ xìn xī de gōng jù chéng wéi yòng hù fǎng wèn wàn wéi wǎng de rù kǒu hé zhǐ nán。 dàn shì， zhè xiē tōng yòng xìng sōu suǒ yǐn qíng yě cún zài zhe yī dìng de jú xiàn xìng， rú：
(1) bù tóng lǐng yù、 bù tóng bèi jǐng de yòng hù wǎng wǎng jù yòu bù tóng de jiǎn suǒ mù de hé xū qiú， tōng yòng sōu suǒ yǐn qíng suǒ fǎn huí de jiēguǒ bāo hán dà liàng yòng hù bù guān xīn de wǎng yè。
(2) tōng yòng sōu suǒ yǐn qíng de mù biāo shì jìn kě néng dà de wǎng luò fù gài shuài， yòu xiàn de sōu suǒ yǐn qíng fú wù qì zī yuán yǔ wú xiàn de wǎng luò shù jù zī yuán zhī jiān de máo dùn jiāng jìn yī bù jiā shēn。
(3) wàn wéi wǎng shù jù xíng shì de fēng fù hé wǎng luò jì shù de bù duàn fā zhǎn， tú piàn、 shù jù kù、 yīn pín / shì pín duō méi tǐ děng bù tóng shù jù dà liàng chū xiàn， tōng yòng sōu suǒ yǐn qíng wǎng wǎng duì zhè xiē xìn xī hán liàng mì jí qiě jù yòu yī dìng jié gòu de shù jù wú néng wéi lì， bù néng hěn hǎo dì fā xiàn hé huò qǔ。
(4) tōng yòng sōu suǒ yǐn qíng dà duō tí gōng jī yú guān jiàn zì de jiǎn suǒ， nán yǐ zhī chí gēn jù yǔ yì xìn xī tí chū de chá xún。
wèile jiě jué shàng shù wèn tí， dìng xiàng zhuā qǔ xiāng guān wǎng yè zī yuán de jù jiāo pá chóng yìng yùn 'ér shēng。 jù jiāo pá chóng shì yī gè zì dòng xià zài wǎng yè de chéng xù， tā gēn jù jì dìng de zhuā qǔ mù biāo， yòu xuǎn zé de fǎng wèn wàn wéi wǎng shàng de wǎng yè yǔ xiāng guān de liàn jiē， huò qǔ suǒ xū yào de xìn xī。 yǔ tōng yòng pá chóng (general purposewebcrawler) bù tóng， jù jiāo pá chóng bìng bù zhuī qiú dà de fù gài， ér jiāng mù biāo dìng wéi zhuā qǔ yǔ mǒu yī tè dìng zhù tí nèi róng xiāng guān de wǎng yè， wéi miàn xiàng zhù tí de yòng hù chá xún zhǔn bèi shù jù zī yuán。
1 jù jiāo pá chóng gōng zuò yuán lǐ jí guān jiàn jì shù gài shù
wǎng luò pá chóng shì yī gè zì dòng tí qǔ wǎng yè de chéng xù， tā wéi sōu suǒ yǐn qíng cóng wàn wéi wǎng shàng xià zài wǎng yè， shì sōu suǒ yǐn qíng de zhòng yào zǔ chéng。 chuán tǒng pá chóng cóng yī gè huò ruò gān chū shǐ wǎng yè de url kāi shǐ， huò dé chū shǐ wǎng yè shàng de url， zài zhuā qǔ wǎng yè de guò chéng zhōng， bù duàn cóng dāng qián yè miàn shàng chōu qǔ xīn de url fàng rù duì liè , zhí dào mǎn zú xì tǒng de yī dìng tíng zhǐ tiáo jiàn， rú tú 1(a) liú chéng tú suǒ shì。 jù jiāo pá chóng de gōng zuò liú chéng jiào wéi fù zá， xū yào gēn jù yī dìng de wǎng yè fēn xī suàn fǎ guò lǜ yǔ zhù tí wú guān de liàn jiē， bǎo liú yòu yòng de liàn jiē bìng jiāng qí fàng rù děng dài zhuā qǔ de url duì liè。 rán hòu， tā jiāng gēn jù yī dìng de sōu suǒ cè lüè cóng duì liè zhòngxuǎn zé xià yī bù yào zhuā qǔ de wǎng yè url， bìng zhòng fù shàng shù guò chéng， zhí dào dá dào xì tǒng de mǒu yī tiáo jiàn shí tíng zhǐ， rú tú 1(b) suǒ shì。 lìng wài， suǒ yòu bèi pá chóng zhuā qǔ de wǎng yè jiāng huì bèi xì tǒng cún zhù， jìn xíng yī dìng de fēn xī、 guò lǜ， bìng jiàn lì suǒ yǐn， yǐ biàn zhī hòu de chá xún hé jiǎn suǒ； duì yú jù jiāo pá chóng lái shuō， zhè yī guò chéng suǒ dé dào de fēn xī jiēguǒ hái kě néng duì yǐ hòu de zhuā qǔ guò chéng gěi chū fǎn kuì hé zhǐ dǎo。
xiāng duì yú tōng yòng wǎng luò pá chóng， jù jiāo pá chóng hái xū yào jiě jué sān gè zhù yào wèn tí：
(1) duì zhuā qǔ mù biāo de miáo shù huò dìng yì；
(2) duì wǎng yè huò shù jù de fēn xī yǔ guò lǜ；
(3) duì url de sōu suǒ cè lüè。
zhuā qǔ mù biāo de miáo shù hé dìng yì shì jué dìng wǎng yè fēn xī suàn fǎ yǔ url sōu suǒ cè lüè rú hé zhì dìng de jī chǔ。 ér wǎng yè fēn xī suàn fǎ hé hòu xuǎn url pái xù suàn fǎ shì jué dìng sōu suǒ yǐn qíng suǒ tí gōng de fú wù xíng shì hé pá chóng wǎng yè zhuā qǔ xíng wéi de guān jiàn suǒ zài。 zhè liǎng gè bù fēn de suàn fǎ yòu shì jǐn mì xiāng guān de。
2 zhuā qǔ mù biāo miáo shù
xiàn yòu jù jiāo pá chóng duì zhuā qǔ mù biāo de miáo shù kě fēn wéi jī yú mù biāo wǎng yè tè zhēng、 jī yú mù biāo shù jù mó shì hé jī yú lǐng yù gài niàn 3 zhǒng。
jī yú mù biāo wǎng yè tè zhēng de pá chóng suǒ zhuā qǔ、 cún chǔ bìng suǒ yǐn de duì xiàng yī bān wéi wǎng zhàn huò wǎng yè。 gēn jù zhǒng zǐ yàng běn huò qǔ fāng shì kě fēn wéi：
（ 1） yù xiān gěi dìng de chū shǐ zhuā qǔ zhǒng zǐ yàng běn；
（ 2） yù xiān gěi dìng de wǎng yè fēn lèi mù lù hé yǔ fēn lèi mù lù duì yìng de zhǒng zǐ yàng běn， rú yahoo! fēn lèi jié gòu děng；
（ 3） tōng guò yòng hù xíng wéi què dìng de zhuā qǔ mù biāo yàng lì， fēn wéi：
a) yòng hù liú lǎn guò chéng zhōng xiǎn shì biāo zhù de zhuā qǔ yàng běn；
b) tōng guò yòng hù rì zhì wā jué dé dào fǎng wèn mó shì jí xiāng guān yàng běn。
qí zhōng， wǎng yè tè zhēng kě yǐ shì wǎng yè de nèi róng tè zhēng， yě kě yǐ shì wǎng yè de liàn jiē jié gòu tè zhēng， děng děng。
xiàn yòu de jù jiāo pá chóng duì zhuā qǔ mù biāo de miáo shù huò dìng yì kě yǐ fēn wéi jī yú mù biāo wǎng yè tè zhēng， jī yú mù biāo shù jù mó shì hé jī yú lǐng yù gài niàn sān zhǒng。
jī yú mù biāo wǎng yè tè zhēng de pá chóng suǒ zhuā qǔ、 cún chǔ bìng suǒ yǐn de duì xiàng yī bān wéi wǎng zhàn huò wǎng yè。 jù tǐ de fāng fǎ gēn jù zhǒng zǐ yàng běn de huò qǔ fāng shì kě yǐ fēn wéi：（ 1） yù xiān gěi dìng de chū shǐ zhuā qǔ zhǒng zǐ yàng běn；（ 2） yù xiān gěi dìng de wǎng yè fēn lèi mù lù hé yǔ fēn lèi mù lù duì yìng de zhǒng zǐ yàng běn， rú yahoo! fēn lèi jié gòu děng；（ 3） tōng guò yòng hù xíng wéi què dìng de zhuā qǔ mù biāo yàng lì。 qí zhōng， wǎng yè tè zhēng kě yǐ shì wǎng yè de nèi róng tè zhēng， yě kě yǐ shì wǎng yè de liàn jiē jié gòu tè zhēng， děng děng。
zuò zhě： qí bǎo yuán 2006-1-1010:11 huí fù cǐ fā yán
2 pá chóng jì shù yán jiū zōng shù
jī yú mù biāo shù jù mó shì de pá chóng zhēn duì de shì wǎng yè shàng de shù jù， suǒ zhuā qǔ de shù jù yī bān yào fú hé yī dìng de mó shì， huò zhě kě yǐ zhuǎn huà huò yìng shè wéi mù biāo shù jù mó shì。
lìng yī zhǒng miáo shù fāng shì shì jiàn lì mù biāo lǐng yù de běn tǐ huò cí diǎn， yòng yú cóng yǔ yì jiǎo dù fēn xī bù tóng tè zhēng zài mǒu yī zhù tí zhōng de zhòng yào chéng dù。
3 wǎng yè sōu suǒ cè lüè
wǎng yè de zhuā qǔ cè lüè kě yǐ fēn wéi shēn dù yōu xiān、 guǎng dù yōu xiān hé zuì jiā yōu xiān sān zhǒng。 shēn dù yōu xiān zài hěn duō qíng kuàng xià huì dǎo zhì pá chóng de xiàn rù (trapped) wèn tí， mù qián cháng jiàn de shì guǎng dù yōu xiān hé zuì jiā yōu xiān fāng fǎ。
3.1 guǎng dù yōu xiān sōu suǒ cè lüè
guǎng dù yōu xiān sōu suǒ cè lüè shì zhǐ zài zhuā qǔ guò chéng zhōng， zài wán chéng dāng qián céng cì de sōu suǒ hòu， cái jìn xíng xià yī céng cì de sōu suǒ。 gāi suàn fǎ de shè jì hé shí xiàn xiāng duì jiǎn dān。 zài mù qián wéi fù gài jìn kě néng duō de wǎng yè， yī bān shǐ yòng guǎng dù yōu xiān sōu suǒ fāng fǎ。 yě yòu hěn duō yán jiū jiāng guǎng dù yōu xiān sōu suǒ cè lüè yìng yòng yú jù jiāo pá chóng zhōng。 qí jī běn sī xiǎng shì rèn wéi yǔ chū shǐ url zài yī dìng liàn jiē jù lí nèi de wǎng yè jù yòu zhù tí xiāng guān xìng de gàilǜ hěn dà。 lìng wài yī zhǒng fāng fǎ shì jiāng guǎng dù yōu xiān sōu suǒ yǔ wǎng yè guò lǜ jì shù jié hé shǐ yòng， xiān yòng guǎng dù yōu xiān cè lüè zhuā qǔ wǎng yè， zài jiāng qí zhōng wú guān de wǎng yè guò lǜ diào。 zhè xiē fāng fǎ de quē diǎn zài yú， suí zhe zhuā qǔ wǎng yè de zēng duō， dà liàng de wú guān wǎng yè jiāng bèi xià zài bìng guò lǜ， suàn fǎ de xiào shuài jiāng biàn dī。
3.2 zuì jiā yōu xiān sōu suǒ cè lüè
zuì jiā yōu xiān sōu suǒ cè lüè 'àn zhào yī dìng de wǎng yè fēn xī suàn fǎ， yù cè hòu xuǎn url yǔ mù biāo wǎng yè de xiāng sì dù， huò yǔ zhù tí de xiāng guān xìng， bìng xuǎn qǔ píng jià zuì hǎo de yī gè huò jǐ gè url jìn xíng zhuā qǔ。 tā zhǐ fǎng wèn jīng guò wǎng yè fēn xī suàn fǎ yù cè wéi “ yòu yòng ” de wǎng yè。 cún zài de yī gè wèn tí shì， zài pá chóng zhuā qǔ lù jìng shàng de hěn duō xiāng guān wǎng yè kě néng bèi hū lüè， yīn wéi zuì jiā yōu xiān cè lüè shì yī zhǒng jú bù zuì yōu sōu suǒ suàn fǎ。 yīn cǐ xū yào jiāng zuì jiā yōu xiān jié hé jù tǐ de yìng yòng jìn xíng gǎi jìn， yǐ tiào chū jú bù zuì yōu diǎn。 jiāng zài dì 4 jié zhōng jié hé wǎng yè fēn xī suàn fǎ zuò jù tǐ de tǎo lùn。 yán jiū biǎo míng， zhè yàng de bì huán tiáozhěng kě yǐ jiāng wú guān wǎng yè shù liàng jiàng dī 30%~90%。
4 wǎng yè fēn xī suàn fǎ
wǎng yè fēn xī suàn fǎ kě yǐ guī nà wéi jī yú wǎng luò tuò pū、 jī yú wǎng yè nèi róng hé jī yú yòng hù fǎng wèn xíng wéi sān zhǒng lèi xíng。
4.1 jī yú wǎng luò tuò pū de fēn xī suàn fǎ
jī yú wǎng yè zhī jiān de liàn jiē， tōng guò yǐ zhī de wǎng yè huò shù jù， lái duì yǔ qí yòu zhí jiē huò jiànjiē liàn jiē guān xì de duì xiàng（ kě yǐ shì wǎng yè huò wǎng zhàn děng） zuò chū píng jià de suàn fǎ。 yòu fēn wéi wǎng yè lì dù、 wǎng zhàn lì dù hé wǎng yè kuài lì dù zhè sān zhǒng。
4.1.1 wǎng yè (webpage) lì dù de fēn xī suàn fǎ
pagerank hé hits suàn fǎ shì zuì cháng jiàn de liàn jiē fēn xī suàn fǎ， liǎng zhě dōushì tōng guò duì wǎng yè jiān liàn jiē dù de dì guī hé guī fàn huà jì suàn， dé dào měi gè wǎng yè de zhòng yào dù píng jià。 pagerank suàn fǎ suī rán kǎo lǜ liǎo yòng hù fǎng wèn xíng wéi de suí jī xìng hé sink wǎng yè de cún zài， dàn hū lüè liǎo jué dà duō shù yòng hù fǎng wèn shí dài yòu mùdì xìng， jí wǎng yè hé liàn jiē yǔ chá xún zhù tí de xiāng guān xìng。 zhēn duì zhè gè wèn tí， hits suàn fǎ tí chū liǎo liǎng gè guān jiàn de gài niàn： quán wēi xíng wǎng yè（ authority） hé zhōng xīn xíng wǎng yè（ hub）。
jī yú liàn jiē de zhuā qǔ de wèn tí shì xiāng guān yè miàn zhù tí tuán zhī jiān de suì dào xiàn xiàng， jí hěn duō zài zhuā qǔ lù jìng shàng piān lí zhù tí de wǎng yè yě zhǐ xiàng mù biāo wǎng yè， jú bù píng jià cè lüè zhōng duàn liǎo zài dāng qián lù jìng shàng de zhuā qǔ xíng wéi。 wén xiàn tí chū liǎo yī zhǒng jī yú fǎn xiàng liàn jiē（ backlink） de fēn céng shì shàng xià wén mó xíng（ contextmodel）， yòng yú miáo shù zhǐ xiàng mù biāo wǎng yè yī dìng wù lǐ tiào shù bàn jìng nèi de wǎng yè tuò pū tú de zhōng xīn layer0 wéi mù biāo wǎng yè， jiāng wǎng yè yǐ jù zhǐ xiàng mù biāo wǎng yè de wù lǐ tiào shù jìn xíng céng cì huàfēn， cóng wài céng wǎng yè zhǐ xiàng nèi céng wǎng yè de liàn jiē chēng wéi fǎn xiàng liàn jiē。
4.1.2 wǎng zhàn lì dù de fēn xī suàn fǎ
wǎng zhàn lì dù de zī yuán fā xiàn hé guǎn lǐ cè lüè yě bǐ wǎng yè lì dù de gèng jiǎn dān yòu xiào。 wǎng zhàn lì dù de pá chóng zhuā qǔ de guān jiàn zhī chù zài yú zhàn diǎn de huàfēn hé zhàn diǎn děng jí (siterank) de jì suàn。 siterank de jì suàn fāng fǎ yǔ pagerank lèi sì， dàn shì xū yào duì wǎng zhàn zhī jiān de liàn jiē zuò yī dìng chéng dù chōu xiàng， bìng zài yī dìng de mó xíng xià jì suàn liàn jiē de quán zhòng。
wǎng zhàn huàfēn qíng kuàng fēn wéi 'àn yù míng huàfēn hé 'àn ip dì zhǐ huàfēn liǎng zhǒng。 wén xiàn tǎo lùn liǎo zài fēn bù shì qíng kuàng xià， tōng guò duì tóng yī gè yù míng xià bù tóng zhù jī、 fú wù qì de ip dì zhǐ jìn xíng zhàn diǎn huàfēn， gòu zào zhàn diǎn tú， lì yòng lèi sì pagerank de fāng fǎ píng jià siterank。 tóng shí， gēn jù bù tóng wén jiàn zài gè gè zhàn diǎn shàng de fēn bù qíng kuàng， gòu zào wén dàng tú， jié hé siterank fēn bù shì jì suàn dé dào docrank。 wén xiàn zhèng míng， lì yòng fēn bù shì de siterank jì suàn， bù jǐn dà dà jiàng dī liǎo dān jī zhàn diǎn de suàn fǎ dài jià， ér qiě kè fú liǎo dān dú zhàn diǎn duì zhěng gè wǎng luò fù gài shuài yòu xiàn de quē diǎn。 fù dài de yī gè yōu diǎn shì， cháng jiàn pagerank zào jiǎ nán yǐ duì siterank jìn xíng qī piàn。
4.1.3 wǎng yè kuài lì dù de fēn xī suàn fǎ
zài yī gè yè miàn zhōng， wǎng wǎng hán yòu duō gè zhǐ xiàng qí tā yè miàn de liàn jiē， zhè xiē liàn jiē zhōng zhǐ yòu yī bù fēn shì zhǐ xiàng zhù tí xiāng guān wǎng yè de， huò gēn jù wǎng yè de liàn jiē máo wén běn biǎo míng qí jù yòu jiào gāo zhòng yào xìng。 dàn shì， zài pagerank hé hits suàn fǎ zhōng， méi yòu duì zhè xiē liàn jiē zuò qū fēn， yīn cǐ cháng cháng gěi wǎng yè fēn xī dài lái guǎng gào děng zào shēng liàn jiē de gān rǎo。 zài wǎng yè kuài jí bié (block level) jìn xíng liàn jiē fēn xī de suàn fǎ de jī běn sī xiǎng shì tōng guò vips wǎng yè fēn gē suàn fǎ jiāng wǎng yè fēn wéi bù tóng de wǎng yè kuài (pageblock)， rán hòu duì zhè xiē wǎng yè kuài jiàn lì page to block hé block to page de liàn jiē jǔ zhèn， fēn bié jì wéi z hé x。 yú shì， zài page to page tú shàng de wǎng yè kuài jí bié de pagerank wéi w p=x×z； zài block to block tú shàng de blockrank wéi w b=z×x。 yǐ jīng yòu rén shí xiàn liǎo kuài jí bié de pagerank hé hits suàn fǎ， bìng tōng guò shí yàn zhèng míng， xiàolǜ hé zhǔn què shuài dū bǐ chuán tǒng de duì yìng suàn fǎ yào hǎo。
4.2 jī yú wǎng yè nèi róng de wǎng yè fēn xī suàn fǎ
jī yú wǎng yè nèi róng de fēn xī suàn fǎ zhǐ de shì lì yòng wǎng yè nèi róng（ wén běn、 shù jù děng zī yuán） tè zhēng jìn xíng de wǎng yè píng jià。 wǎng yè de nèi róng cóng yuán lái de yǐ chāo wén běn wéi zhù， fā zhǎn dào hòu lái dòng tài yè miàn（ huò chēng wéi hiddenweb） shù jù wéi zhù， hòu zhě de shù jù liàng yuē wéi zhí jiē kě jiàn yè miàn shù jù（ piw， publiclyindexableweb） de 400~500 bèi。 lìng yī fāng miàn， duō méi tǐ shù jù、 webservice děng gè zhǒng wǎng luò zī yuán xíng shì yě rì yì fēng fù。 yīn cǐ， jī yú wǎng yè nèi róng de fēn xī suàn fǎ yě cóng yuán lái de jiào wéi dān chún de wén běn jiǎn suǒ fāng fǎ， fā zhǎn wéi hán gài wǎng yè shù jù chōu qǔ、 jī qì xué xí、 shù jù wā jué、 yǔ yì lǐ jiě děng duō zhǒng fāng fǎ de zōng hé yìng yòng。 běn jié gēn jù wǎng yè shù jù xíng shì de bù tóng， jiāng jī yú wǎng yè nèi róng de fēn xī suàn fǎ， guī nà yǐ xià sān lèi： dì yī zhǒng zhēn duì yǐ wén běn hé chāo liàn jiē wéi zhù de wú jié gòu huò jié gòu hěn jiǎn dān de wǎng yè； dì 'èr zhǒng zhēn duì cóng jié gòu huà de shù jù yuán（ rú rdbms） dòng tài shēng chéng de yè miàn， qí shù jù bù néng zhí jiē pī liàng fǎng wèn； dì sān zhǒng zhēn duì de shù jù jiè yú dì yī hé dì 'èr lèi shù jù zhī jiān， jù yòu jiào hǎo de jié gòu， xiǎn shì zūn xún yī dìng mó shì huò fēng gé， qiě kě yǐ zhí jiē fǎng wèn。
4.2.1 jī yú wén běn de wǎng yè fēn xī suàn fǎ
1) chún wén běn fēn lèi yǔ jù lèi suàn fǎ
hěn dà chéng dù shàng jiè yòng liǎo wén běn jiǎn suǒ de jì shù。 wén běn fēn xī suàn fǎ kě yǐ kuài sù yòu xiào de duì wǎng yè jìn xíng fēn lèi hé jù lèi， dàn shì yóu yú hū lüè liǎo wǎng yè jiān hé wǎng yè nèi bù de jié gòu xìn xī， hěn shǎo dān dú shǐ yòng。
2) chāo wén běn fēn lèi hé jù lèi suàn fǎ |