|
|
wǎng luò zhī zhū jí webspider， shì yī gè hěn xíng xiàng de míng zì。 bǎ hù lián wǎng bǐ yù chéng yī gè zhī zhū wǎng， nà me spider jiù shì zài wǎng shàng pá lái pá qù de zhī zhū。 wǎng luò zhī zhū shì tōng guò wǎng yè de liàn jiē dì zhǐ lái xún zhǎo wǎng yè， cóng wǎng zhàn mǒu yī gè yè miàn（ tōng cháng shì shǒu yè） kāi shǐ， dú qǔ wǎng yè de nèi róng， zhǎo dào zài wǎng yè zhōng de qí tā liàn jiē dì zhǐ， rán hòu tōng guò zhè xiē liàn jiē dì zhǐ xún zhǎo xià yī gè wǎng yè， zhè yàng yī zhí xún huán xià qù， zhí dào bǎ zhè gè wǎng zhàn suǒ yòu de wǎng yè dū zhuā qǔ wán wéi zhǐ。 rú guǒ bǎ zhěng gè hù lián wǎng dàngchéng yī gè wǎng zhàn， nà me wǎng luò zhī zhū jiù kě yǐ yòng zhè gè yuán lǐ bǎ hù lián wǎng shàng suǒ yòu de wǎng yè dū zhuā qǔ xià lái。
duì yú sōu suǒ yǐn qíng lái shuō， yào zhuā qǔ hù lián wǎng shàng suǒ yòu de wǎng yè jīhū shì bù kě néng de， cóng mù qián gōng bù de shù jù lái kàn， róng liàng zuì dà de sōu suǒ yǐn qíng yě bù guò shì zhuā qǔ liǎo zhěng gè wǎng yè shù liàng de bǎi fēn zhī sì shí zuǒ yòu。 zhè qí zhōng de yuán yīn yī fāng miàn shì zhuā qǔ jì shù de píng jǐng， wú fǎ biàn lì suǒ yòu de wǎng yè， yòu xǔ duō wǎng yè wú fǎ cóng qí tā wǎng yè de liàn jiē zhōng zhǎo dào； lìng yī gè yuán yīn shì cún chǔ jì shù hé chǔlǐ jì shù de wèn tí， rú guǒ 'àn zhào měi gè yè miàn de píng jūn dà xiǎo wéi 20k jì suàn（ bāo hán tú piàn）， 100 yì wǎng yè de róng liàng shì 100×2000g zì jié， jí shǐ néng gòu cún chǔ， xià zài yě cún zài wèn tí（ àn zhào yī tái jī qì měi miǎo xià zài 20k jì suàn， xū yào 340 tái jī qì bù tíng de xià zài yī nián shí jiān， cái néng bǎ suǒ yòu wǎng yè xià zài wán bì）。 tóng shí， yóu yú shù jù liàng tài dà， zài tí gōng sōu suǒ shí yě huì yòu xiàolǜ fāng miàn de yǐng xiǎng。 yīn cǐ， xǔ duō sōu suǒ yǐn qíng de wǎng luò zhī zhū zhǐ shì zhuā qǔ nà xiē zhòng yào de wǎng yè， ér zài zhuā qǔ de shí hòu píng jià zhòng yào xìng zhù yào de yǐ jù shì mǒu gè wǎng yè de liàn jiē shēn dù。
zài zhuā qǔ wǎng yè de shí hòu， wǎng luò zhī zhū yī bān yòu liǎng zhǒng cè lüè： guǎng dù yōu xiān hé shēn dù yōu xiān（ rú xià tú suǒ shì）。 guǎng dù yōu xiān shì zhǐ wǎng luò zhī zhū huì xiān zhuā qǔ qǐ shǐ wǎng yè zhōng liàn jiē de suǒ yòu wǎng yè， rán hòu zài xuǎn zé qí zhōng de yī gè liàn jiē wǎng yè， jì xù zhuā qǔ zài cǐ wǎng yè zhōng liàn jiē de suǒ yòu wǎng yè。 zhè shì zuì cháng yòng de fāng shì， yīn wéi zhè gè fāng fǎ kě yǐ ràng wǎng luò zhī zhū bìng xíng chǔlǐ， tí gāo qí zhuā qǔ sù dù。 shēn dù yōu xiān shì zhǐ wǎng luò zhī zhū huì cóng qǐ shǐ yè kāi shǐ， yī gè liàn jiē yī gè liàn jiē gēn zōng xià qù， chǔlǐ wán zhè tiáo xiàn lù zhī hòu zài zhuǎn rù xià yī gè qǐ shǐ yè， jì xù gēn zōng liàn jiē。 zhè gè fāng fǎ yòu gè yōu diǎn shì wǎng luò zhī zhū zài shè jì de shí hòu bǐ jiào róng yì。 liǎng zhǒng cè lüè de qū bié， xià tú de shuō míng huì gèng jiā míng què。
yóu yú bù kě néng zhuā qǔ suǒ yòu de wǎng yè， yòu xiē wǎng luò zhī zhū duì yī xiē bù tài zhòng yào de wǎng zhàn， shè zhì liǎo fǎng wèn de céng shù。 lì rú， zài shàng tú zhōng， a wéi qǐ shǐ wǎng yè， shǔ yú 0 céng， b、 c、 d、 e、 f shǔ yú dì 1 céng， g、 h shǔ yú dì 2 céng， i shǔ yú dì 3 céng。 rú guǒ wǎng luò zhī zhū shè zhì de fǎng wèn céng shù wéi 2 de huà， wǎng yè i shì bù huì bèi fǎng wèn dào de。 zhè yě ràng yòu xiē wǎng zhàn shàng yī bù fēn wǎng yè néng gòu zài sōu suǒ yǐn qíng shàng sōu suǒ dào， lìng wài yī bù fēn bù néng bèi sōu suǒ dào。 duì yú wǎng zhàn shè jì zhě lái shuō， biǎn píng huà de wǎng zhàn jié gòu shè jì yòu zhù yú sōu suǒ yǐn qíng zhuā qǔ qí gèng duō de wǎng yè。
wǎng luò zhī zhū zài fǎng wèn wǎng zhàn wǎng yè de shí hòu， jīng cháng huì yù dào jiā mì shù jù hé wǎng yè quán xiàn de wèn tí， yòu xiē wǎng yè shì xū yào huì yuán quán xiàn cái néng fǎng wèn。 dāng rán， wǎng zhàn de suǒ yòu zhě kě yǐ tōng guò xié yì ràng wǎng luò zhī zhū bù qù zhuā qǔ（ xià xiǎo jié huì jiè shào）， dàn duì yú yī xiē chū shòu bào gào de wǎng zhàn， tā men xī wàng sōu suǒ yǐn qíng néng sōu suǒ dào tā men de bào gào， dàn yòu bù néng wán quán miǎn fèi de ràng sōu suǒ zhě chá kàn， zhè yàng jiù xū yào gěi wǎng luò zhī zhū tí gōng xiāng yìng de yòng hù míng hé mì mǎ。 wǎng luò zhī zhū kě yǐ tōng guò suǒ gěi de quán xiàn duì zhè xiē wǎng yè jìn xíng wǎng yè zhuā qǔ， cóng 'ér tí gōng sōu suǒ。 ér dāng sōu suǒ zhě diǎn jī chá kàn gāi wǎng yè de shí hòu， tóng yàng xū yào sōu suǒ zhě tí gōng xiāng yìng de quán xiàn yàn zhèng。
wǎng zhàn yǔ wǎng luò zhī zhū
wǎng luò zhī zhū xū yào zhuā qǔ wǎng yè， bù tóng yú yī bān de fǎng wèn， rú guǒ kòng zhì bù hǎo， zé huì yǐn qǐ wǎng zhàn fú wù qì fù dān guò zhòng。 jīn nián 4 yuè， táo bǎo wǎng（ http://www.taobao.com） jiù yīn wéi yǎ hǔ sōu suǒ yǐn qíng de wǎng luò zhī zhū zhuā qǔ qí shù jù yǐn qǐ táo bǎo wǎng fú wù qì de bù wěn dìng。 wǎng zhàn shì fǒu jiù wú fǎ hé wǎng luò zhī zhū jiāo liú ní？ qí shí bù rán， yòu duō zhǒng fāng fǎ kě yǐ ràng wǎng zhàn hé wǎng luò zhī zhū jìn xíng jiāo liú。 yī fāng miàn ràng wǎng zhàn guǎn lǐ yuán liǎo jiě wǎng luò zhī zhū dōulái zì nǎ 'ér， zuò liǎo xiē shénme， lìng yī fāng miàn yě gào sù wǎng luò zhī zhū nǎ xiē wǎng yè bù yìng gāi zhuā qǔ， nǎ xiē wǎng yè yīnggāi gēngxīn。
měi gè wǎng luò zhī zhū dōuyòu zì jǐ de míng zì， zài zhuā qǔ wǎng yè de shí hòu， dū huì xiàng wǎng zhàn biāo míng zì jǐ de shēn fèn。 wǎng luò zhī zhū zài zhuā qǔ wǎng yè de shí hòu huì fā sòng yī gè qǐng qiú， zhè gè qǐng qiú zhōng jiù yòu yī gè zì duàn wéi user － agent， yòng yú biāozhì cǐ wǎng luò zhī zhū de shēn fèn。 lì rú google wǎng luò zhī zhū de biāozhì wéi googlebot， baidu wǎng luò zhī zhū de biāozhì wéi baiduspider， yahoo wǎng luò zhī zhū de biāozhì wéi inktomislurp。 rú guǒ zài wǎng zhàn shàng yòu fǎng wèn rì zhì jì lù， wǎng zhàn guǎn lǐ yuán jiù néng zhī dào， nǎ xiē sōu suǒ yǐn qíng de wǎng luò zhī zhū guò lái guò， shénme shí hòu guò lái de， yǐ jí dú liǎo duō shǎo shù jù děng děng。 rú guǒ wǎng zhàn guǎn lǐ yuán fā xiàn mǒu gè zhī zhū yòu wèn tí， jiù tōng guò qí biāozhì lái hé qí suǒ yòu zhě lián xì。 xià miàn shì bó kè zhōng guó（ http://www.blogchina.com） 2004 nián 5 yuè 15 rì de sōu suǒ yǐn qíng fǎng wèn rì zhì：
wǎng luò zhī zhū jìn rù yī gè wǎng zhàn， yī bān huì fǎng wèn yī gè tè shū de wén běn wén jiàn robots.txt， zhè gè wén jiàn yī bān fàng zài wǎng zhàn fú wù qì de gēn mù lù xià， rú： http://www.blogchina.com/robots.txt。 wǎng zhàn guǎn lǐ yuán kě yǐ tōng guò robots.txt lái dìng yì nǎ xiē mù lù wǎng luò zhī zhū bù néng fǎng wèn， huò zhě nǎ xiē mù lù duì yú mǒu xiē tè dìng de wǎng luò zhī zhū bù néng fǎng wèn。 lì rú yòu xiē wǎng zhàn de kě zhí xíng wén jiàn mù lù hé lín shí wén jiàn mù lù bù xī wàng bèi sōu suǒ yǐn qíng sōu suǒ dào， nà me wǎng zhàn guǎn lǐ yuán jiù kě yǐ bǎ zhè xiē mù lù dìng yì wéi jù jué fǎng wèn mù lù。 robots.txt yǔ fǎ hěn jiǎn dān， lì rú rú guǒ duì mù lù méi yòu rèn hé xiàn zhì， kě yǐ yòng yǐ xià liǎng xíng lái miáo shù： user-agent:*disallow:
dāng rán， robots.txt zhǐ shì yī gè xié yì， rú guǒ wǎng luò zhī zhū de shè jì zhě bù zūn xún zhè gè xié yì， wǎng zhàn guǎn lǐ yuán yě wú fǎ zǔ zhǐ wǎng luò zhī zhū duì yú mǒu xiē yè miàn de fǎng wèn， dàn yī bān de wǎng luò zhī zhū dū huì zūn xún zhè xiē xié yì， ér qiě wǎng zhàn guǎn lǐ yuán hái kě yǐ tōng guò qí tā fāng shì lái jù jué wǎng luò zhī zhū duì mǒu xiē wǎng yè de zhuā qǔ。
wǎng luò zhī zhū zài xià zài wǎng yè de shí hòu， huì qù shí bié wǎng yè de html dài mǎ， zài qí dài mǎ de bù fēn， huì yòu meta biāozhì。 tōng guò zhè xiē biāozhì， kě yǐ gào sù wǎng luò zhī zhū běn wǎng yè shì fǒu xū yào bèi zhuā qǔ， hái kě yǐ gào sù wǎng luò zhī zhū běn wǎng yè zhōng de liàn jiē shì fǒu xū yào bèi jì xù gēn zōng。 lì rú： biǎo shì běn wǎng yè bù xū yào bèi zhuā qǔ， dàn shì wǎng yè nèi de liàn jiē xū yào bèi gēn zōng。
xiàn zài yī bān de wǎng zhàn dū xī wàng sōu suǒ yǐn qíng néng gèng quán miàn de zhuā qǔ zì jǐ wǎng zhàn de wǎng yè， yīn wéi zhè yàng kě yǐ ràng gèng duō de fǎng wèn zhě néng tōng guò sōu suǒ yǐn qíng zhǎo dào cǐ wǎng zhàn。 wéi liǎo ràng běn wǎng zhàn de wǎng yè gèng quán miàn bèi zhuā qǔ dào， wǎng zhàn guǎn lǐ yuán kě yǐ jiàn lì yī gè wǎng zhàn dì tú， jí sitemap。 xǔ duō wǎng luò zhī zhū huì bǎ sitemap wén jiàn zuò wéi yī gè wǎng zhàn wǎng yè pá qǔ de rù kǒu， wǎng zhàn guǎn lǐ yuán kě yǐ bǎ wǎng zhàn nèi bù suǒ yòu wǎng yè de liàn jiē fàng zài zhè gè wén jiàn lǐ miàn， nà me wǎng luò zhī zhū kě yǐ hěn fāng biàn de bǎ zhěng gè wǎng zhàn zhuā qǔ xià lái， bì miǎn yí lòu mǒu xiē wǎng yè， yě huì jiǎn xiǎo duì wǎng zhàn fú wù qì de fù dān。
nèi róng tí qǔ
sōu suǒ yǐn qíng jiàn lì wǎng yè suǒ yǐn， chǔlǐ de duì xiàng shì wén běn wén jiàn。 duì yú wǎng luò zhī zhū lái shuō， zhuā qǔ xià lái wǎng yè bāo kuò gè zhǒng gé shì， bāo kuò html、 tú piàn、 doc、 pdf、 duō méi tǐ、 dòng tài wǎng yè jí qí tā gé shì děng。 zhè xiē wén jiàn zhuā qǔ xià lái hòu， xū yào bǎ zhè xiē wén jiàn zhōng de wén běn xìn xī tí qǔ chū lái。 zhǔn què tí qǔ zhè xiē wén dàng de xìn xī， yī fāng miàn duì sōu suǒ yǐn qíng de sōu suǒ zhǔn què xìng yòu zhòng yào zuò yòng， lìng yī fāng miàn duì yú wǎng luò zhī zhū zhèng què gēn zōng qí tā liàn jiē yòu yī dìng yǐng xiǎng。
duì yú doc、 pdf děng wén dàng， zhè zhǒng yóu zhuān yè chǎng shāng tí gōng de ruǎn jiàn shēng chéng de wén dàng， chǎng shāng dū huì tí gōng xiāng yìng de wén běn tí qǔ jiē kǒu。 wǎng luò zhī zhū zhǐ xū yào diào yòng zhè xiē chā jiàn de jiē kǒu， jiù kě yǐ qīng sōng de tí qǔ wén dàng zhōng de wén běn xìn xī hé wén jiàn qí tā xiāng guān de xìn xī。
html děng wén dàng bù yī yàng， html yòu yī tào zì jǐ de yǔ fǎ， tōng guò bù tóng de mìng lìng biāozhì fú lái biǎo shì bù tóng de zì tǐ、 yán sè、 wèi zhì děng bǎn shì， rú：、、 děng， tí qǔ wén běn xìn xī shí xū yào bǎ zhè xiē biāozhì fú dū guò lǜ diào。 guò lǜ biāozhì fú bìng fēinàn shì， yīn wéi zhè xiē biāozhì fú dōuyòu yī dìng de guī zé， zhǐ yào 'àn zhào bù tóng de biāozhì fú qǔ dé xiāng yìng de xìn xī jí kě。 dàn zài shí bié zhè xiē xìn xī de shí hòu， xū yào tóng bù jì lù xǔ duō bǎn shì xìn xī， lì rú wén zì de zì tǐ dà xiǎo、 shì fǒu shì biāo tí、 shì fǒu shì jiā cū xiǎn shì、 shì fǒu shì yè miàn de guān jiàn cí děng， zhè xiē xìn xī yòu zhù yú jì suàn dān cí zài wǎng yè zhōng de zhòng yào chéng dù。 tóng shí， duì yú html wǎng yè lái shuō， chú liǎo biāo tí hé zhèng wén yǐ wài， huì yòu xǔ duō guǎng gào liàn jiē yǐ jí gōng gòng de pín dào liàn jiē， zhè xiē liàn jiē hé wén běn zhèng wén yī diǎn guān xì yě méi yòu， zài tí qǔ wǎng yè nèi róng de shí hòu， yě xū yào guò lǜ zhè xiē wú yòng de liàn jiē。 lì rú mǒu gè wǎng zhàn yòu “ chǎn pǐn jiè shào ” pín dào， yīn wéi dǎo háng tiáo zài wǎng zhàn nèi měi gè wǎng yè dōuyòu， ruò bù guò lǜ dǎo háng tiáo liàn jiē， zài sōu suǒ“ chǎn pǐn jiè shào” de shí hòu， zé wǎng zhàn nèi měi gè wǎng yè dū huì sōu suǒ dào， wú yí huì dài lái dà liàng lā jī xìn xī。 guò lǜ zhè xiē wú xiào liàn jiē xū yào tǒng jì dà liàng de wǎng yè jié gòu guī lǜ， chōu qǔ yī xiē gòng xìng， tǒng yī guò lǜ； duì yú yī xiē zhòng yào 'ér jiēguǒ tè shū de wǎng zhàn， hái xū yào gè bié chǔlǐ。 zhè jiù xū yào wǎng luò zhī zhū de shè jì yòu yī dìng de kuò zhǎn xìng。
duì yú duō méi tǐ、 tú piàn děng wén jiàn， yī bān shì tōng guò liàn jiē de máo wén běn（ jí， liàn jiē wén běn） hé xiāng guān de wén jiàn zhù shì lái pàn duàn zhè xiē wén jiàn de nèi róng。 lì rú yòu yī gè liàn jiē wén zì wéi“ zhāng màn yù zhào piàn”， qí liàn jiē zhǐ xiàng yī zhāng bmp gé shì de tú piàn， nà me wǎng luò zhī zhū jiù zhī dào zhè zhāng tú piàn de nèi róng shì“ zhāng màn yù de zhào piàn”。 zhè yàng， zài sōu suǒ“ zhāng màn yù” hé“ zhào piàn” de shí hòu dōunéng ràng sōu suǒ yǐn qíng zhǎo dào zhè zhāng tú piàn。 lìng wài， xǔ duō duō méi tǐ wén jiàn zhōng yòu wén jiàn shǔ xìng， kǎo lǜ zhè xiē shǔ xìng yě kě yǐ gèng hǎo de liǎo jiě wén jiàn de nèi róng。
dòng tài wǎng yè yī zhí shì wǎng luò zhī zhū miàn lín de nán tí。 suǒ wèi dòng tài wǎng yè， shì xiāng duì yú jìng tài wǎng yè 'ér yán， shì yóu chéng xù zì dòng shēng chéng de yè miàn， zhè yàng de hǎo chù shì kě yǐ kuài sù tǒng yī gēnggǎi wǎng yè fēng gé， yě kě yǐ jiǎn shǎo wǎng yè suǒ zhàn fú wù qì de kōng jiān， dàn tóng yàng gěi wǎng luò zhī zhū de zhuā qǔ dài lái yī xiē má fán。 yóu yú kāi fā yǔ yán bù duàn de zēng duō， dòng tài wǎng yè de lèi xíng yě yuè lái yuè duō， rú： asp、 jsp、 php děng。 zhè xiē lèi xíng de wǎng yè duì yú wǎng luò zhī zhū lái shuō， kě néng hái shāo wēi róng yì yī xiē。 wǎng luò zhī zhū bǐ jiào nán yú chǔlǐ de shì yī xiē jiǎo běn yǔ yán（ rú vbscript hé javascript） shēng chéng de wǎng yè， rú guǒ yào wán shàn de chǔlǐ hǎo zhè xiē wǎng yè， wǎng luò zhī zhū xū yào yòu zì jǐ de jiǎo běn jiě shì chéng xù。 duì yú xǔ duō shù jù shì fàng zài shù jù kù de wǎng zhàn， xū yào tōng guò běn wǎng zhàn de shù jù kù sōu suǒ cái néng huò dé xìn xī， zhè xiē gěi wǎng luò zhī zhū de zhuā qǔ dài lái hěn dà de kùn nán。 duì yú zhè lèi wǎng zhàn， rú guǒ wǎng zhàn shè jì zhě xī wàng zhè xiē shù jù néng bèi sōu suǒ yǐn qíng sōu suǒ， zé xū yào tí gōng yī zhǒng kě yǐ biàn lì zhěng gè shù jù kù nèi róng de fāng fǎ。
duì yú wǎng yè nèi róng de tí qǔ， yī zhí shì wǎng luò zhī zhū zhōng zhòng yào de jì shù。 zhěng gè xì tǒng yī bān cǎi yòng chā jiàn de xíng shì， tōng guò yī gè chā jiàn guǎn lǐ fú wù chéng xù， yù dào bù tóng gé shì de wǎng yè cǎi yòng bù tóng de chā jiàn chǔlǐ。 zhè zhǒng fāng shì de hǎo chù zài yú kuò chōng xìng hǎo， yǐ hòu měi fā xiàn yī zhǒng xīn de lèi xíng， jiù kě yǐ bǎ qí chǔlǐ fāng shì zuò chéng yī gè chā jiàn bǔ chōng dào chā jiàn guǎn lǐ fú wù chéng xù zhī zhōng。
gēngxīn zhōu qī
yóu yú wǎng zhàn de nèi róng jīng cháng zài biàn huà， yīn cǐ wǎng luò zhī zhū yě xū bù duàn de gēngxīn qí zhuā qǔ wǎng yè de nèi róng， zhè jiù xū yào wǎng luò zhī zhū àn zhào yī dìng de zhōu qī qù sǎo miáo wǎng zhàn， chá kàn nǎ xiē yè miàn shì xū yào gēngxīn de yè miàn， nǎ xiē yè miàn shì xīn zēng yè miàn， nǎ xiē yè miàn shì yǐ jīng guò qī de sǐ liàn jiē。
sōu suǒ yǐn qíng de gēngxīn zhōu qī duì sōu suǒ yǐn qíng sōu suǒ de chá quán shuài yòu hěn dà yǐng xiǎng。 rú guǒ gēngxīn zhōu qī tài cháng， zé zǒng huì yòu yī bù fēn xīn shēng chéng de wǎng yè sōu suǒ bù dào； zhōu qī guò duǎn， jì shù shí xiàn huì yòu yī dìng nán dù， ér qiě huì duì dài kuān、 fú wù qì de zī yuán dōuyòu làng fèi。 sōu suǒ yǐn qíng de wǎng luò zhī zhū bìng bù shì suǒ yòu de wǎng zhàn dū cǎi yòng tóng yī gè zhōu qī jìn xíng gēngxīn， duì yú yī xiē zhòng yào de gēngxīn liàng dà de wǎng zhàn， gēngxīn de zhōu qī duǎn， rú yòu xiē xīn wén wǎng zhàn， jǐ gè xiǎo shí jiù gēngxīn yī cì； xiāng fǎn duì yú yī xiē bù zhòng yào de wǎng zhàn， gēngxīn de zhōu qī jiù cháng， kě néng yī liǎng gè yuè cái gēngxīn yī cì。
yī bān lái shuō， wǎng luò zhī zhū zài gēngxīn wǎng zhàn nèi róng de shí hòu， bù yòng bǎ wǎng zhàn wǎng yè chóngxīn zhuā qǔ yī biàn， duì yú dà bù fēn de wǎng yè， zhǐ xū yào pàn duàn wǎng yè de shǔ xìng（ zhù yào shì rì qī）， bǎ dé dào de shǔ xìng hé shàng cì zhuā qǔ de shǔ xìng xiāng bǐ jiào， rú guǒ yī yàng zé bù yòng gēngxīn。 |
|
[ zhāi yào ] dāng“ zhī zhū” chéng xù chū xiàn shí， xiàn dài yì yì shàng de sōu suǒ yǐn qíng cái chū lù duān ní。 tā shí jì shàng shì yī zhǒng diàn nǎo“ jī qì rén”（ ComputerRobot）， diàn nǎo“ jī qì rén” shì zhǐ mǒu gè néng yǐ rén lèi wú fǎ dá dào de sù dù bù jiànduàn dì zhí xíng mǒu xiàng rèn wù de ruǎn jiàn chéng xù。 yóu yú zhuān mén yòng yú jiǎn suǒ xìn xī de“ jī qì rén” chéng xù jiù xiàng zhī zhū yī yàng zài wǎng luò jiān pá lái pá qù， fǎn fǎn fù fù， bù zhī pí juàn。 suǒ yǐ， sōu suǒ yǐn qíng de“ jī qì rén” chéng xù jiù bèi chēng wéi“ zhī zhū” chéng xù。
guān jiàn cí： wǎng luò zhī zhū qǐ yuán yuán lǐ yōu huà
mù lù
shénme shì wǎng luò zhī zhū
wǎng luò zhī zhū de qǐ yuán
wǎng luò zhī zhū de gōng zuò yuán lǐ
zhèng wén kāi shǐ【 wǎng luò zhī zhū 】
1、 shénme shì wǎng luò zhī zhū
---- shénme shì wǎng luò zhī zhū ní？ wǎng luò zhī zhū jí WebSpider， shì yī gè hěn xíng xiàng de míng zì。 bǎ hù lián wǎng bǐ yù chéng yī gè zhī zhū wǎng， nà me Spider jiù shì zài wǎng shàng pá lái pá qù de zhī zhū。 wǎng luò zhī zhū shì tōng guò wǎng yè de liàn jiē dì zhǐ lái xún zhǎo wǎng yè， cóng wǎng zhàn mǒu yī gè yè miàn（ tōng cháng shì shǒu yè） kāi shǐ， dú qǔ wǎng yè de nèi róng， zhǎo dào zài wǎng yè zhōng de qí tā liàn jiē dì zhǐ， rán hòu tōng guò zhè xiē liàn jiē dì zhǐ xún zhǎo xià yī gè wǎng yè， zhè yàng yī zhí xún huán xià qù， zhí dào bǎ zhè gè wǎng zhàn suǒ yòu de wǎng yè dū zhuā qǔ wán wéi zhǐ。 rú guǒ bǎ zhěng gè hù lián wǎng dàngchéng yī gè wǎng zhàn， nà me wǎng luò zhī zhū jiù kě yǐ yòng zhè gè yuán lǐ bǎ hù lián wǎng shàng suǒ yòu de wǎng yè dū zhuā qǔ xià lái。
---- zhè yàng kàn lái， wǎng luò zhī zhū jiù shì yī gè pá xíng chéng xù， yī gè zhuā qǔ wǎng yè de chéng xù。
2、 wǎng luò zhī zhū de qǐ yuán
---- yào shuō wǎng luò zhī zhū de qǐ yuán， wǒ men hái dé cóng sōu suǒ yǐn qíng shuō qǐ， shénme shì sōu suǒ yǐn qíng ní？ sōu suǒ yǐn qíng de qǐ yuán shì shénme， zhè hé wǎng luò zhī zhū de qǐ yuán mìqiè xiāng guān。
---- sōu suǒ yǐn qíng zhǐ zì dòng cóng yīng tè wǎng sōu jí xìn xī， jīng guò yī dìng zhěng lǐ yǐ hòu， tí gōngjǐ yòng hù jìn xíng chá xún de xì tǒng。 yīng tè wǎng shàng de xìn xī hào hàn wàn qiān， ér qiě háo wú zhì xù， suǒ yòu de xìn xī xiàng wāng yáng shàng de yī gè gè xiǎo dǎo， wǎng yè liàn jiē shì zhè xiē xiǎo dǎo zhī jiān zòng héng jiāo cuò de qiáo liáng， ér sōu suǒ yǐn qíng， zé wéi nǐ huì zhì yī fú yī mù liǎo rán de xìn xī dì tú， gōng nǐ suí shí chá yuè。
---- sōu suǒ yǐn qíng cóng 1990 nián yuán xíng chū xiǎn， dào xiàn zài chéng wéi rén men shēng huó zhōng bì bù kě shǎo de yī bù fēn， tā jīng lì liǎo tài duō jì shù hé guān niàn de biàn gé。
---- shí sì nián qián 1994 nián de yī yuè fèn， dì yī gè jì kě sōu suǒ yòu kě liú lǎn de fēn lèi mù lù EINetGalaxy shàng xiàn liǎo。 zài tā zhī hòu cái chū xiàn liǎo yǎ hǔ， zhí zhì wǒ men xiàn zài shú zhī de Google、 bǎi dù。 dàn shì tā mendōu bù shì dì yī gè chī sōu suǒ yǐn qíng zhè gè páng xiè de dì yī rén。 cóng sōu suǒ FTP shàng de wén jiàn kāi shǐ， sōu suǒ yǐn qíng de yuán xíng jiù chū xiàn liǎo， nà shí hái wèi yòu wàn wéi wǎng， dāng shí rén men xiān yòng shǒu gōng hòu yòng zhī zhū chéng xù sōu suǒ wǎng yè， dàn suí zhe hù lián wǎng de bù duàn zhuàng dà， zěn yàng néng gòu sōu jí dào de wǎng yè shù liàng gèng duō、 shí jiān gèng duǎn chéng wéi liǎo dāng shí de nán diǎn hé zhòng diǎn， chéng wéi rén men yán jiū de zhòng diǎn。
---- sōu suǒ yǐn qíng yuán xíng chū xiǎn
---- rú guǒ yào zhuī sù de huà， sōu suǒ yǐn qíng de lì shǐ bǐ WorldWideWeb hái yào cháng。 zǎo zài Web chū xiàn zhī qián， hù lián wǎng shàng jiù yǐ jīng cún zài xǔ duō zhǐ zài ràng rén men gòng xiǎng de xìn xī zī yuán liǎo。 zhè xiē zī yuán dāng shí zhù yào cún zài yú gè zhǒng yǔn xǔ nì míng fǎng wèn de FTP zhàn diǎn。 wèile biàn yú rén men zài fēn sàn de FTP zī yuán zhōng zhǎo dào suǒ xū de dōng xī， 1990 nián， jiā ná dà mài jí 'ěr dà xué（ McGillUniversity） de jǐ gè dà xué shēng kāi fā liǎo yī gè ruǎn jiàn Archie。 tā shì yī gè kě sōu suǒ de FTP wén jiàn míng liè biǎo， yòng hù bì xū shū rù jīng què de wén jiàn míng sōu suǒ， rán hòu Archie huì gào sù yòng hù nǎ yī gè FTP dì zhǐ kě yǐ xià zài zhè gè wén jiàn。 Archie shí jì shàng shì yī gè dà xíng de shù jù kù， zài jiā shàng yǔ zhè gè dà xíng shù jù kù xiāng guān lián de yī tào jiǎn suǒ fāng fǎ。 Archie suī rán hái bù shì sōu suǒ yǐn qíng , dàn shì cóng tā de gōng zuò yuán lǐ shàng kàn， tā shì suǒ yòu sōu suǒ yǐn qíng de zǔ xiān。
---- dāng wàn wéi wǎng（ WorldWideWeb） chū xiàn hòu， rén men kě yǐ tōng guò html chuán bō wǎng yè xìn xī， wǎng luò shàng de xìn xī kāi shǐ chéng bèi zēngzhǎng。 rén men fēn fēn shǐ yòng gè zhǒng fāng fǎ jiāng wǎng luò shàng de xìn xī sōu jí lái， jìn xíng fēn lèi、 zhěng lǐ， yǐ fāng biàn chá zhǎo。 xiàn zài rén men hěn shú xī de wǎng zhàn yǎ hǔ（ Yahoo） jiù shì zài zhè gè huán jìng xià dàn shēng de。 hái zài Stanford dà xué dú shū de měi jí huá rén yáng zhì yuǎn hé tā de tóng xué mí shàng liǎo hù lián wǎng。 tā men jiāng hù lián wǎng shàng yòu qù de wǎng yè sōu jí guò lái， yǔ tóng xué yī qǐ fēn xiǎng。 hòu lái， 1994 nián 4 yuè， tā men liǎ gòng tóng bàn liǎo yǎ hǔ。 suí zhe fǎng wèn liàng hé shōu lù liàn jiē shù de zēngzhǎng， yǎ hǔ mù lù kāi shǐ zhī chí jiǎn dān de shù jù kù sōu suǒ。 dàn shì yīn wéi yǎ hǔ de shù jù shì shǒu gōng shū rù de， suǒ yǐ bù néng zhēn zhèng bèi guī wéi sōu suǒ yǐn qíng， shì shí shàng zhǐ shì yī gè kě sōu suǒ de mù lù。
---- dāng“ zhī zhū” chéng xù chū xiàn shí， xiàn dài yì yì shàng de sōu suǒ yǐn qíng cái chū lù duān ní。 tā shí jì shàng shì yī zhǒng diàn nǎo“ jī qì rén”（ ComputerRobot）， diàn nǎo“ jī qì rén” shì zhǐ mǒu gè néng yǐ rén lèi wú fǎ dá dào de sù dù bù jiànduàn dì zhí xíng mǒu xiàng rèn wù de ruǎn jiàn chéng xù。 yóu yú zhuān mén yòng yú jiǎn suǒ xìn xī de“ jī qì rén” chéng xù jiù xiàng zhī zhū yī yàng zài wǎng luò jiān pá lái pá qù， fǎn fǎn fù fù， bù zhī pí juàn。 suǒ yǐ， sōu suǒ yǐn qíng de“ jī qì rén” chéng xù jiù bèi chēng wéi“ zhī zhū” chéng xù。
---- zhè zhǒng chéng xù shí jì shì lì yòng html wén dàng zhī jiān de liàn jiē guān xì， zài Web shàng yī gè wǎng yè yī gè wǎng yè de pá qǔ（ crawl）， jiāng zhè xiē wǎng yè zhuā dào xì tǒng lái jìn xíng fēn xī， bìng fàng rù shù jù kù zhōng。 dì yī gè kāi fā chū“ zhī zhū” chéng xù de shì Matthew Gray， tā yú 1993 nián kāi fā liǎo World Wide Web Wanderer， tā zuì chū jiàn lì shí shì wéi liǎo tǒng jì hù lián wǎng shàng de fú wù qì shù liàng， dào hòu lái fā zhǎn dào néng gòu bǔ huò wǎng zhǐ。 xiàn dài sōu suǒ yǐn qíng de sī lù jiù lái yuán yú Wanderer， hòu lái hěn duō rén zài cǐ jī chǔ shàng duì zhī zhū chéng xù jìn xíng liǎo gǎi jìn。
----1994 nián 7 yuè 20 rì fā bù de Lycos wǎng zhàn dì yī gè jiāng“ zhī zhū” chéng xù jiē rù dào qí suǒ yǐn chéng xù zhōng。 yǐn rù“ zhī zhū” hòu gěi qí dài lái de zuì dà yōu shì jiù zài yú qí yuǎn shèng yú qí tā sōu suǒ yǐn qíng de shù jù liàng。 zì cǐ zhī hòu jīhū suǒ yòu zhàn jù zhù dǎo dì wèi de sōu suǒ yǐn qíng zhōng， dū kào“ zhī zhū” lái sōu jí wǎng yè xìn xī。 Infoseek shì lìng yī gè zhòng yào de sōu suǒ yǐn qíng， yú 1994 nián nián dǐ cái yǔ gōng zhòng jiàn miàn。 qǐ chū， Infoseek zhǐ shì yī gè bù qǐ yǎn de sōu suǒ yǐn qíng， tā yán xí Yahoo! hé Lycos de gài niàn， bìng méi yòu shénme dú tè de gé xīn。 dàn shì tā yǒu shàn de yòng hù jiè miàn、 dà liàng fù jiā fú wù shǐ tā zài yòng hù zhōng yíng dé liǎo kǒu bēi。 1995 nián 12 yuè， tā yǔ Netscape de zhàn lüè xìng xié yì， shǐ tā chéng wéi yī gè qiáng shì sōu suǒ yǐn qíng： dāng yòng hù diǎn jī Netscape liú lǎn qì shàng de sōu suǒ 'àn niǔ shí， dàn chū Infoseek de sōu suǒ fú wù， ér cǐ qián yóu Yahoo! tí gōng gāi fú wù。 1995 nián 12 yuè 15 rì， AltaVista zhèng shì shàng xiàn。 tā shì dì yī gè zhī chí gāo jí sōu suǒ yǔ fǎ de sōu suǒ yǐn qíng， chéng gōng dì zhěng hé liǎo cǐ qián rén lèi suǒ yòu de xìn xī jiǎn suǒ jì shù， jiě jué liǎo bāo kuò zì gēn chǔlǐ、 guān jiàn cí jiǎn suǒ、 bù 'ěr luó ji， yǐ jí tōng guò xiàng liàng kōng jiān mó xíng de chá xún pái míng děng guān jiàn wèn tí。 zhèng shì gōng kāi zhī qián， AltaVista jiù yǐ jīng yōng yòu 20 wàn fǎng wèn yòng hù， zài duǎn duǎn sān gè xīng qī zhī nèi， dào fǎng rén shù yóu měi tiān 30 wàn cì zēng jiā dào 200 wàn cì。 tā de chéng gōng zài yú mǎn zú liǎo yòng hù sān gè fāng miàn de xū qiú： wǎng shàng suǒ yǐn fàn wéi chāo guò liǎo cǐ qián rèn hé yī jiā sōu suǒ yǐn qíng； duǎn duǎn jǐ miǎo zhōng nèi biàn kě cóng páng dà de shù jù kù zhōng wéi yòng hù fǎn huí sōu suǒ jiēguǒ； AltaVista xiǎo zǔ cóng yī kāi shǐ jiù cǎi yòng liǎo yī zhǒng mó kuài shè jì jì shù， néng gòu gēn zōng wǎng zhàn de liú xíng qū shì， tóng shí bù duàn kuò dà chǔlǐ néng lì。 zài dāng shí xǔ duō sōu suǒ yǐn qíng zhī zhōng， AltaVista tuō yíng 'ér chū， chéng wéi wǎng luò sōu suǒ de dài míng cí。 Google jiù shì zhàn zài zhè yàng de jù rén de jiān bǎng shàng diān fù bìng chuàng zào zhe。“ shàng wǎng jí sōu suǒ” gǎi biàn liǎo rén men shàng wǎng fāng shì de， jiù shì xiàn zài dǐng dǐng dà míng de Google。 Google bìng bù shì sōu suǒ yǐn qíng de fā míng zhě， shèn zhì yòu diǎn luò hòu， dàn shì tā què ràng rén men 'ài shàng liǎo sōu suǒ。
----1998 nián 9 yuè， zài pèi qí hé bù lín chuàng jiàn Google zhī shí， yè jiè duì hù lián wǎng sōu suǒ gōng néng de lǐ jiě shì： mǒu gè guān jiàn cí zài yī gè wén dàng zhōng chū xiàn de pín shuài yuè gāo， gāi wén dàng zài sōu suǒ jiēguǒ zhōng de pái liè wèi zhì jiù yào yuè xiǎn zhù。 zhè jiù yǐn chū liǎo zhè yàng yī gè wèn tí， rú guǒ yī gè yè miàn chōng chì zhe mǒu yī gè guān jiàn zì de huà， nà me tā jiāng pái zài hěn xiǎn zhù de wèi zhì， dàn zhè yàng yī gè yè miàn duì yú yòng hù lái shuō， què méi yòu rèn hé yì yì。 pèi qí hé bù lín fā míng liǎo“ wǎng yè jí bié”（ PageRank） jì shù， lái pái liè sōu suǒ jiēguǒ。 jí kǎo chá gāi yè miàn zài wǎng shàng bèi liàn jiē de pín shuài hé zhòng yào xìng lái pái liè， hù lián wǎng shàng zhǐ xiàng zhè yī yè miàn de zhòng yào wǎng zhàn yuè duō， gāi yè miàn de wèi cì yě jiù yuè gāo。 dāng cóng wǎng yè A liàn jiē dào wǎng yè B shí， Google jiù rèn wéi“ wǎng yè A tóu liǎo wǎng yè B yī piào”。 Google gēn jù wǎng yè de dé piào shù píng dìng qí zhòng yào xìng。 rán 'ér， chú liǎo kǎo lǜ wǎng yè dé piào shù de chún shù liàng zhī wài， Google hái yào fēn xī tóu piào de wǎng yè，“ zhòng yào” de wǎng yè suǒ tóu chū de piào jiù huì yòu gèng gāo de quán zhòng， bìng qiě yòu zhù yú tí gāo qí tā wǎng yè de“ zhòng yào xìng”。 Google yǐ qí fù zá 'ér quán zì dòng de sōu suǒ fāng fǎ pái chú liǎo rèn hé rén wéi yīn sù duì sōu suǒ jiēguǒ de yǐng xiǎng。 méi rén néng huā qián mǎi dào gèng gāo de wǎng yè jí bié， cóng 'ér bǎo zhèng liǎo wǎng yè pái míng de kè guān gōng zhèng。 chú cǐ zhī wài， dòng tài zhāi yào、 wǎng yè kuài zhào、 duō wén dàng gé shì zhī chí、 dì tú gǔ piào cí diǎn xún rén děng jí chéng sōu suǒ yědōu shēn dé wǎng mín de xǐ 'ài。 qí tā zhòng duō sōu suǒ yǐn qíng yědōu jǐn gēn Google， tuī chū zhè xiē fú wù。 Fast（ Alltheweb） gōng sī fā bù de sōu suǒ yǐn qíng AllTheWeb， zǒng bù wèi yú nuó wēi， qí zài hǎi wài de fēng tóu zhí bī Google。 Alltheweb de wǎng yè sōu suǒ zhī chí Flash hé pdf sōu suǒ， zhī chí duō yǔ yán sōu suǒ， hái tí gōng xīn wén sōu suǒ、 tú xiàng sōu suǒ、 shì pín、 MP3、 hé FTP sōu suǒ， yōng yòu jí qí qiáng dà de gāo jí sōu suǒ gōng néng。 ér zhōng guó de bǎi dù gèng shì píng jiè“ gèng dǒng zhōng wén” ér xī yǐn zhe zhōng guó de wǎng luò shòu zhòng， tā yōng yòu chāo guò 10 yì de zhōng wén wǎng yè shù jù kù， bìng qiě， zhè xiē wǎng yè de shù liàng měi tiān zhèng yǐ qiān wàn jí de sù dù zài zēngzhǎng。
---- sōu suǒ yǐn qíng yuè lái yuè chéng wéi rén men shēng huó zhōng zhòng yào de yī bù fēn， zhǎo zī liào、 chá dì tú、 tīng yīnyuè， zhǐ yòu xiǎng bù dào de， méi yòu sōu suǒ bù dào de。
---- sōu suǒ yǐn qíng de sān gè jī běn yuán lǐ
----1 ． lì yòng zhī zhū xì tǒng chéng xù， zì dòng fǎng wèn hù lián wǎng， bìng yán zhe rèn hé wǎng yè zhōng de suǒ yòu URL pá dào qí tā wǎng yè， chóngfù zhè guò chéng， bìng bǎ pá guò de suǒ yòu wǎng yè shōu jí huí lái。
----2. yóu fēn xī suǒ yǐn xì tǒng chéng xù duì shōu jí huí lái de wǎng yè jìn xíng fēn xī， tí qǔ xiāng guān wǎng yè xìn xī， gēn jù yī dìng de xiāng guān dù suàn fǎ jìn xíng dà liàng fù zá jì suàn， dé dào měi yī gè wǎng yè zhēn duì yè miàn nèi róng zhōng jí chāo liàn zhōng měi yī gè guān jiàn cí de xiāng guān dù（ huò zhòng yào xìng）， rán hòu yòng zhè xiē xiāng guān xìn xī jiàn lì wǎng yè suǒ yǐn shù jù kù。
----3. dāng yòng hù shū rù guān jiàn cí sōu suǒ hòu， yóu sōu suǒ xì tǒng chéng xù cóng wǎng yè suǒ yǐn shù jù kù zhōng zhǎo dào fú hé gāi guān jiàn cí de suǒ yòu xiāng guān wǎng yè。 xiāng guān dù shù zhí pái xù， xiāng guān dù yuè gāo， pái míng yuè kào qián。 zuì hòu， yóu yè miàn shēng chéng xì tǒng jiāng sōu suǒ jiēguǒ de liàn jiē dì zhǐ hé yè miàn nèi róng zhāi yào děng nèi róng zǔ zhì qǐ lái fǎn huí gěi yòng hù。
---- shuō dào zhè lǐ， nǐ kě néng duì sōu suǒ yǐn qíng hé wǎng luò zhī zhū yòu liǎo yī gè chū bù de liǎo jiě liǎo bā！
3、 wǎng luò zhī zhū de gōng zuò yuán lǐ
---- duì yú sōu suǒ yǐn qíng lái shuō， yào zhuā qǔ hù lián wǎng shàng suǒ yòu de wǎng yè jīhū shì bù kě néng de， cóng mù qián gōng bù de shù jù lái kàn， róng liàng zuì dà de sōu suǒ yǐn qíng yě bù guò shì zhuā qǔ liǎo zhěng gè wǎng yè shù liàng de bǎi fēn zhī sì shí zuǒ yòu。 zhè qí zhōng de yuán yīn yī fāng miàn shì zhuā qǔ jì shù de píng jǐng， wú fǎ biàn lì suǒ yòu de wǎng yè， yòu xǔ duō wǎng yè wú fǎ cóng qí tā wǎng yè de liàn jiē zhōng zhǎo dào； lìng yī gè yuán yīn shì cún chǔ jì shù hé chǔlǐ jì shù de wèn tí， rú guǒ 'àn zhào měi gè yè miàn de píng jūn dà xiǎo wéi 20K jì suàn（ bāo hán tú piàn）， 100 yì wǎng yè de róng liàng shì 100×2000G zì jié， jí shǐ néng gòu cún chǔ， xià zài yě cún zài wèn tí（ àn zhào yī tái jī qì měi miǎo xià zài 20K jì suàn， xū yào 340 tái jī qì bù tíng de xià zài yī nián shí jiān， cái néng bǎ suǒ yòu wǎng yè xià zài wán bì）。 tóng shí， yóu yú shù jù liàng tài dà， zài tí gōng sōu suǒ shí yě huì yòu xiàolǜ fāng miàn de yǐng xiǎng。 yīn cǐ， xǔ duō sōu suǒ yǐn qíng de wǎng luò zhī zhū zhǐ shì zhuā qǔ nà xiē zhòng yào de wǎng yè， ér zài zhuā qǔ de shí hòu píng jià zhòng yào xìng zhù yào de yǐ jù shì mǒu gè wǎng yè de liàn jiē shēn dù。
---- zài zhuā qǔ wǎng yè de shí hòu， wǎng luò zhī zhū yī bān yòu liǎng zhǒng cè lüè： guǎng dù yōu xiān hé shēn dù yōu xiān（ rú xià tú suǒ shì）。
---- guǎng dù yōu xiān shì zhǐ wǎng luò zhī zhū huì xiān zhuā qǔ qǐ shǐ wǎng yè zhōng liàn jiē de suǒ yòu wǎng yè， rán hòu zài xuǎn zé qí zhōng de yī gè liàn jiē wǎng yè， jì xù zhuā qǔ zài cǐ wǎng yè zhōng liàn jiē de suǒ yòu wǎng yè。 zhè shì zuì cháng yòng de fāng shì， yīn wéi zhè gè fāng fǎ kě yǐ ràng wǎng luò zhī zhū bìng xíng chǔlǐ， tí gāo qí zhuā qǔ sù dù。 shēn dù yōu xiān shì zhǐ wǎng luò zhī zhū huì cóng qǐ shǐ yè kāi shǐ， yī gè liàn jiē yī gè liàn jiē gēn zōng xià qù， chǔlǐ wán zhè tiáo xiàn lù zhī hòu zài zhuǎn rù xià yī gè qǐ shǐ yè， jì xù gēn zōng liàn jiē。 zhè gè fāng fǎ yòu gè yōu diǎn shì wǎng luò zhī zhū zài shè jì de shí hòu bǐ jiào róng yì。 liǎng zhǒng cè lüè de qū bié， xià tú de shuō míng huì gèng jiā míng què。
---- yóu yú bù kě néng zhuā qǔ suǒ yòu de wǎng yè， yòu xiē wǎng luò zhī zhū duì yī xiē bù tài zhòng yào de wǎng zhàn， shè zhì liǎo fǎng wèn de céng shù。 lì rú， zài shàng tú zhōng， A wéi qǐ shǐ wǎng yè， shǔ yú 0 céng， B、 C、 D、 E、 F shǔ yú dì 1 céng， G、 H shǔ yú dì 2 céng， I shǔ yú dì 3 céng。 rú guǒ wǎng luò zhī zhū shè zhì de fǎng wèn céng shù wéi 2 de huà， wǎng yè I shì bù huì bèi fǎng wèn dào de。 zhè yě ràng yòu xiē wǎng zhàn shàng yī bù fēn wǎng yè néng gòu zài sōu suǒ yǐn qíng shàng sōu suǒ dào， lìng wài yī bù fēn bù néng bèi sōu suǒ dào。 duì yú wǎng zhàn shè jì zhě lái shuō， biǎn píng huà de wǎng zhàn jié gòu shè jì yòu zhù yú sōu suǒ yǐn qíng zhuā qǔ qí gèng duō de wǎng yè。
---- wǎng luò zhī zhū zài fǎng wèn wǎng zhàn wǎng yè de shí hòu， jīng cháng huì yù dào jiā mì shù jù hé wǎng yè quán xiàn de wèn tí， yòu xiē wǎng yè shì xū yào huì yuán quán xiàn cái néng fǎng wèn。 dāng rán， wǎng zhàn de suǒ yòu zhě kě yǐ tōng guò xié yì ràng wǎng luò zhī zhū bù qù zhuā qǔ（ xià xiǎo jié huì jiè shào）， dàn duì yú yī xiē chū shòu bào gào de wǎng zhàn， tā men xī wàng sōu suǒ yǐn qíng néng sōu suǒ dào tā men de bào gào， dàn yòu bù néng wán quán miǎn fèi de ràng sōu suǒ zhě chá kàn， zhè yàng jiù xū yào gěi wǎng luò zhī zhū tí gōng xiāng yìng de yòng hù míng hé mì mǎ。 wǎng luò zhī zhū kě yǐ tōng guò suǒ gěi de quán xiàn duì zhè xiē wǎng yè jìn xíng wǎng yè zhuā qǔ， cóng 'ér tí gōng sōu suǒ。 ér dāng sōu suǒ zhě diǎn jī chá kàn gāi wǎng yè de shí hòu， tóng yàng xū yào sōu suǒ zhě tí gōng xiāng yìng de quán xiàn yàn zhèng。
---- měi gè wǎng luò zhī zhū dōuyòu zì jǐ de míng zì， zài zhuā qǔ wǎng yè de shí hòu， dū huì xiàng wǎng zhàn biāo míng zì jǐ de shēn fèn。 wǎng luò zhī zhū zài zhuā qǔ wǎng yè de shí hòu huì fā sòng yī gè qǐng qiú， zhè gè qǐng qiú zhōng jiù yòu yī gè zì duàn wéi User－ agent， yòng yú biāozhì cǐ wǎng luò zhī zhū de shēn fèn。 lì rú Google wǎng luò zhī zhū de biāozhì wéi GoogleBot， Baidu wǎng luò zhī zhū de biāozhì wéi BaiDuSpider， Yahoo wǎng luò zhī zhū de biāozhì wéi InktomiSlurp。 rú guǒ zài wǎng zhàn shàng yòu fǎng wèn rì zhì jì lù， wǎng zhàn guǎn lǐ yuán jiù néng zhī dào， nǎ xiē sōu suǒ yǐn qíng de wǎng luò zhī zhū guò lái guò， shénme shí hòu guò lái de， yǐ jí dú liǎo duō shǎo shù jù děng děng。 rú guǒ wǎng zhàn guǎn lǐ yuán fā xiàn mǒu gè zhī zhū yòu wèn tí， jiù tōng guò qí biāozhì lái hé qí suǒ yòu zhě lián xì。
---- wǎng luò zhī zhū jìn rù yī gè wǎng zhàn， yī bān huì fǎng wèn yī gè tè shū de wén běn wén jiàn Robots.txt， zhè gè wén jiàn yī bān fàng zài wǎng zhàn fú wù qì de gēn mù lù xià， rú： http://www.blogchina.com/robots.txt。 wǎng zhàn guǎn lǐ yuán kě yǐ tōng guò robots.txt lái dìng yì nǎ xiē mù lù wǎng luò zhī zhū bù néng fǎng wèn， huò zhě nǎ xiē mù lù duì yú mǒu xiē tè dìng de wǎng luò zhī zhū bù néng fǎng wèn。 lì rú yòu xiē wǎng zhàn de kě zhí xíng wén jiàn mù lù hé lín shí wén jiàn mù lù bù xī wàng bèi sōu suǒ yǐn qíng sōu suǒ dào， nà me wǎng zhàn guǎn lǐ yuán jiù kě yǐ bǎ zhè xiē mù lù dìng yì wéi jù jué fǎng wèn mù lù。 Robots.txt yǔ fǎ hěn jiǎn dān， lì rú rú guǒ duì mù lù méi yòu rèn hé xiàn zhì， kě yǐ yòng yǐ xià liǎng xíng lái miáo shù： User-agent:*
Disallow:
---- dāng rán， Robots.txt zhǐ shì yī gè xié yì， rú guǒ wǎng luò zhī zhū de shè jì zhě bù zūn xún zhè gè xié yì， wǎng zhàn guǎn lǐ yuán yě wú fǎ zǔ zhǐ wǎng luò zhī zhū duì yú mǒu xiē yè miàn de fǎng wèn， dàn yī bān de wǎng luò zhī zhū dū huì zūn xún zhè xiē xié yì， ér qiě wǎng zhàn guǎn lǐ yuán hái kě yǐ tōng guò qí tā fāng shì lái jù jué wǎng luò zhī zhū duì mǒu xiē wǎng yè de zhuā qǔ。
---- wǎng luò zhī zhū zài xià zài wǎng yè de shí hòu， huì qù shí bié wǎng yè de HTML dài mǎ， zài qí dài mǎ de bù fēn， huì yòu META biāozhì。 tōng guò zhè xiē biāozhì， kě yǐ gào sù wǎng luò zhī zhū běn wǎng yè shì fǒu xū yào bèi zhuā qǔ， hái kě yǐ gào sù wǎng luò zhī zhū běn wǎng yè zhōng de liàn jiē shì fǒu xū yào bèi jì xù gēn zōng。 lì rú： biǎo shì běn wǎng yè bù xū yào bèi zhuā qǔ， dàn shì wǎng yè nèi de liàn jiē xū yào bèi gēn zōng。
---- sōu suǒ yǐn qíng jiàn lì wǎng yè suǒ yǐn， chǔlǐ de duì xiàng shì wén běn wén jiàn。 duì yú wǎng luò zhī zhū lái shuō， zhuā qǔ xià lái wǎng yè bāo kuò gè zhǒng gé shì， bāo kuò html、 tú piàn、 doc、 pdf、 duō méi tǐ、 dòng tài wǎng yè jí qí tā gé shì děng。 zhè xiē wén jiàn zhuā qǔ xià lái hòu， xū yào bǎ zhè xiē wén jiàn zhōng de wén běn xìn xī tí qǔ chū lái。 zhǔn què tí qǔ zhè xiē wén dàng de xìn xī， yī fāng miàn duì sōu suǒ yǐn qíng de sōu suǒ zhǔn què xìng yòu zhòng yào zuò yòng， lìng yī fāng miàn duì yú wǎng luò zhī zhū zhèng què gēn zōng qí tā liàn jiē yòu yī dìng yǐng xiǎng。 duì yú doc、 pdf děng wén dàng， zhè zhǒng yóu zhuān yè chǎng shāng tí gōng de ruǎn jiàn shēng chéng de wén dàng， chǎng shāng dū huì tí gōng xiāng yìng de wén běn tí qǔ jiē kǒu。 wǎng luò zhī zhū zhǐ xū yào diào yòng zhè xiē chā jiàn de jiē kǒu， jiù kě yǐ qīng sōng de tí qǔ wén dàng zhōng de wén běn xìn xī hé wén jiàn qí tā xiāng guān de xìn xī。 dàn HTML děng wén dàng bù yī yàng， HTML yòu yī tào zì jǐ de yǔ fǎ， tōng guò bù tóng de mìng lìng biāozhì fú lái biǎo shì bù tóng de zì tǐ、 yán sè、 wèi zhì děng bǎn shì， rú：、、 děng， tí qǔ wén běn xìn xī shí xū yào bǎ zhè xiē biāozhì fú dū guò lǜ diào。 guò lǜ biāozhì fú bìng fēinàn shì， yīn wéi zhè xiē biāozhì fú dōuyòu yī dìng de guī zé， zhǐ yào 'àn zhào bù tóng de biāozhì fú qǔ dé xiāng yìng de xìn xī jí kě。 dàn zài shí bié zhè xiē xìn xī de shí hòu， xū yào tóng bù jì lù xǔ duō bǎn shì xìn xī， lì rú wén zì de zì tǐ dà xiǎo、 shì fǒu shì biāo tí、 shì fǒu shì jiā cū xiǎn shì、 shì fǒu shì yè miàn de guān jiàn cí děng， zhè xiē xìn xī yòu zhù yú jì suàn dān cí zài wǎng yè zhōng de zhòng yào chéng dù。 tóng shí， duì yú HTML wǎng yè lái shuō， chú liǎo biāo tí hé zhèng wén yǐ wài， huì yòu xǔ duō guǎng gào liàn jiē yǐ jí gōng gòng de pín dào liàn jiē， zhè xiē liàn jiē hé wén běn zhèng wén yī diǎn guān xì yě méi yòu， zài tí qǔ wǎng yè nèi róng de shí hòu， yě xū yào guò lǜ zhè xiē wú yòng de liàn jiē。 lì rú mǒu gè wǎng zhàn yòu“ chǎn pǐn jiè shào” pín dào， yīn wéi dǎo háng tiáo zài wǎng zhàn nèi měi gè wǎng yè dōuyòu， ruò bù guò lǜ dǎo háng tiáo liàn jiē， zài sōu suǒ“ chǎn pǐn jiè shào” de shí hòu， zé wǎng zhàn nèi měi gè wǎng yè dū huì sōu suǒ dào， wú yí huì dài lái dà liàng lā jī xìn xī。 guò lǜ zhè xiē wú xiào liàn jiē xū yào tǒng jì dà liàng de wǎng yè jié gòu guī lǜ， chōu qǔ yī xiē gòng xìng， tǒng yī guò lǜ； duì yú yī xiē zhòng yào 'ér jiēguǒ tè shū de wǎng zhàn， hái xū yào gè bié chǔlǐ。 zhè jiù xū yào wǎng luò zhī zhū de shè jì yòu yī dìng de kuò zhǎn xìng。
---- duì yú duō méi tǐ、 tú piàn děng wén jiàn， yī bān shì tōng guò liàn jiē de máo wén běn（ jí， liàn jiē wén běn） hé xiāng guān de wén jiàn zhù shì lái pàn duàn zhè xiē wén jiàn de nèi róng。 lì rú yòu yī gè liàn jiē wén zì wéi“ zhāng màn yù zhào piàn”， qí liàn jiē zhǐ xiàng yī zhāng bmp gé shì de tú piàn， nà me wǎng luò zhī zhū jiù zhī dào zhè zhāng tú piàn de nèi róng shì“ zhāng màn yù de zhào piàn”。 zhè yàng， zài sōu suǒ“ zhāng màn yù” hé“ zhào piàn” de shí hòu dōunéng ràng sōu suǒ yǐn qíng zhǎo dào zhè zhāng tú piàn。 lìng wài， xǔ duō duō méi tǐ wén jiàn zhōng yòu wén jiàn shǔ xìng， kǎo lǜ zhè xiē shǔ xìng yě kě yǐ gèng hǎo de liǎo jiě wén jiàn de nèi róng。
---- dòng tài wǎng yè yī zhí shì wǎng luò zhī zhū miàn lín de nán tí。 suǒ wèi dòng tài wǎng yè， shì xiāng duì yú jìng tài wǎng yè 'ér yán， shì yóu chéng xù zì dòng shēng chéng de yè miàn， zhè yàng de hǎo chù shì kě yǐ kuài sù tǒng yī gēnggǎi wǎng yè fēng gé， yě kě yǐ jiǎn shǎo wǎng yè suǒ zhàn fú wù qì de kōng jiān， dàn tóng yàng gěi wǎng luò zhī zhū de zhuā qǔ dài lái yī xiē má fán。 yóu yú kāi fā yǔ yán bù duàn de zēng duō， dòng tài wǎng yè de lèi xíng yě yuè lái yuè duō， rú： asp、 jsp、 php děng。 zhè xiē lèi xíng de wǎng yè duì yú wǎng luò zhī zhū lái shuō， kě néng hái shāo wēi róng yì yī xiē。 wǎng luò zhī zhū bǐ jiào nán yú chǔlǐ de shì yī xiē jiǎo běn yǔ yán（ rú VBScript hé JavaScript） shēng chéng de wǎng yè， rú guǒ yào wán shàn de chǔlǐ hǎo zhè xiē wǎng yè， wǎng luò zhī zhū xū yào yòu zì jǐ de jiǎo běn jiě shì chéng xù。 duì yú xǔ duō shù jù shì fàng zài shù jù kù de wǎng zhàn， xū yào tōng guò běn wǎng zhàn de shù jù kù sōu suǒ cái néng huò dé xìn xī， zhè xiē gěi wǎng luò zhī zhū de zhuā qǔ dài lái hěn dà de kùn nán。 duì yú zhè lèi wǎng zhàn， rú guǒ wǎng zhàn shè jì zhě xī wàng zhè xiē shù jù néng bèi sōu suǒ yǐn qíng sōu suǒ， zé xū yào tí gōng yī zhǒng kě yǐ biàn lì zhěng gè shù jù kù nèi róng de fāng fǎ。
duì yú wǎng yè nèi róng de tí qǔ， yī zhí shì wǎng luò zhī zhū zhōng zhòng yào de jì shù。 zhěng gè xì tǒng yī bān cǎi yòng chā jiàn de xíng shì， tōng guò yī gè chā jiàn guǎn lǐ fú wù chéng xù， yù dào bù tóng gé shì de wǎng yè cǎi yòng bù tóng de chā jiàn chǔlǐ。 zhè zhǒng fāng shì de hǎo chù zài yú kuò chōng xìng hǎo， yǐ hòu měi fā xiàn yī zhǒng xīn de lèi xíng， jiù kě yǐ bǎ qí chǔlǐ fāng shì zuò chéng yī gè chā jiàn bǔ chōng dào chā jiàn guǎn lǐ fú wù chéng xù zhī zhōng。
---- yóu yú wǎng zhàn de nèi róng jīng cháng zài biàn huà， yīn cǐ wǎng luò zhī zhū yě xū bù duàn de gēngxīn qí zhuā qǔ wǎng yè de nèi róng， zhè jiù xū yào wǎng luò zhī zhū àn zhào yī dìng de zhōu qī qù sǎo miáo wǎng zhàn， chá kàn nǎ xiē yè miàn shì xū yào gēngxīn de yè miàn， nǎ xiē yè miàn shì xīn zēng yè miàn， nǎ xiē yè miàn shì yǐ jīng guò qī de sǐ liàn jiē。
---- sōu suǒ yǐn qíng de gēngxīn zhōu qī duì sōu suǒ yǐn qíng sōu suǒ de chá quán shuài yòu hěn dà yǐng xiǎng。 rú guǒ gēngxīn zhōu qī tài cháng， zé zǒng huì yòu yī bù fēn xīn shēng chéng de wǎng yè sōu suǒ bù dào； zhōu qī guò duǎn， jì shù shí xiàn huì yòu yī dìng nán dù， ér qiě huì duì dài kuān、 fú wù qì de zī yuán dōuyòu làng fèi。 sōu suǒ yǐn qíng de wǎng luò zhī zhū bìng bù shì suǒ yòu de wǎng zhàn dū cǎi yòng tóng yī gè zhōu qī jìn xíng gēngxīn， duì yú yī xiē zhòng yào de gēngxīn liàng dà de wǎng zhàn， gēngxīn de zhōu qī duǎn， rú yòu xiē xīn wén wǎng zhàn， jǐ gè xiǎo shí jiù gēngxīn yī cì； xiāng fǎn duì yú yī xiē bù zhòng yào de wǎng zhàn， gēngxīn de zhōu qī jiù cháng， kě néng yī liǎng gè yuè cái gēngxīn yī cì。
---- yī bān lái shuō， wǎng luò zhī zhū zài gēngxīn wǎng zhàn nèi róng de shí hòu， bù yòng bǎ wǎng zhàn wǎng yè chóngxīn zhuā qǔ yī biàn， duì yú dà bù fēn de wǎng yè， zhǐ xū yào pàn duàn wǎng yè de shǔ xìng（ zhù yào shì rì qī）， bǎ dé dào de shǔ xìng hé shàng cì zhuā qǔ de shǔ xìng xiāng bǐ jiào， rú guǒ yī yàng zé bù yòng gēngxīn。
---- xiàn zài dà jiā duì wǎng luò zhī zhū de gōng zuò yuán lǐ yòu liǎo chū bù de liǎo jiě liǎo bā， liǎo jiě hòu jiù yào zài yǐ hòu de wǎng zhàn zhì zuò zhōng kǎo lǜ zhī zhū de pá xíng guī lǜ， bǐ rú zhì zuò wǎng zhàn dì tú jiù hěn zhòng yào， hǎo liǎo， rú guǒ nǐ yòu gèng hǎo de jiàn jiě， qǐng dào zhè lǐ fā biǎo， huǒ niǎo fēi cháng yuàn yì yǔ nǐ jiāo liú， gòng tóng yán jiū wǎng zhàn zhì zuò jì qiǎo， jìn liàng jiāng zì jǐ de wǎng zhàn zhì zuò de fú hé biāo zhǔn， fú hé yòng hù de xí guàn！
xiàn dài sōu suǒ yǐn qíng duì wǎng yè de zhòng yào xìng yī bān yòng PR zhí lái liàng huà。
yī bān shuō lái， PR zhí yuè gāo， fǎn yìng zài zài sōu suǒ jiēguǒ zhōng de pái míng yuè kào qián（ zhòng yào xīn yuè gāo）， dāng qián yòu hěn duō rén tōng guò hěn duō fāng shì lái tí gāo zì jǐ wǎng zhàn de PR zhí， chú wǎng zhàn nèi bù de yōu huà wài， dà duō shù rén cǎi yòng de shì wài bù liàn jiē。
rú xià：
PR(A)=(1-d)+d(PR(t1)/C(t1)+...+PR(tn)/C(tn))
qí zhōng PR(A) biǎo shì de shì cóng yī gè wài bù liàn jiē zhàn diǎn t1 shàng， yǐ jù Pagerank? xì tǒng gěi nǐ de wǎng zhàn suǒ zēng jiā de PR fēn zhí； PR(t1) biǎo shì gāi wài bù liàn jiē wǎng zhàn běn shēn de PR fēn zhí； C(t1) zé biǎo shì gāi wài bù liàn jiē zhàn diǎn suǒ yōng yòu de wài bù liàn jiē shù liàng。 dà jiā yào jǐn jì： yī gè wǎng zhàn de tóu piào quán zhí zhǐ yòu gāi wǎng zhàn PR fēn zhí de 0.85， ér qiě zhè gè 0.85 de quán zhí píng jūn fēn pèijǐ qí liàn jiē de měi gè wài bù wǎng zhàn。
shè xiǎng yī gè míng wéi akamarketing.com de wǎng zhàn， bèi liàn jiē zhì PR zhí wéi 4， wài bù liàn jiē shù wéi 9 de wǎng zhàn XYZ.COM， zé jì suàn gōng shì rú xià：
PR(AKA)=(1-0.85)+0.85*(4/10)
PR(AKA)=0.15+0.85*(0.4)
PR(AKA)=0.15+0.34
PR(AKA)=0.49
yě jiù shì shuō， rú guǒ wǒ de wǎng zhàn huò dé yī gè PR zhí wéi 4， wài bù liàn jiē shù wéi 9 de wǎng zhàn de liàn jiē， zuì hòu wǒ de wǎng zhàn jiāng huò dé 0.49 de PR fēn zhí。
zài ràng wǒ men kàn kàn rú guǒ wǒ de wǎng zhàn huò dé de shì yī gè PR fēn zhí wéi 8， wài bù liàn jiē shù wéi 16 de wǎng zhàn de liàn jiē， nà me wǒ jiāng huò dé de PR fēn zhí jiāng shì：
PR(AKA)=(1-0.85)+0.85*(8/16)
PR(AKA)=0.15+0.85(0.5)
PR(AKA)=0.15+0.425
PR(AKA)=0.575
shàng shù liǎng gè lì zǐ biǎo míng， wài bù liàn jiē zhàn diǎn de PR zhí gù rán zhòng yào， gāi zhàn diǎn de wài bù liàn jiē shù yě shì yī gè xū yào kǎo lǜ de zhòng yào yīn sù。 |
|
|