Ni nini Crawler? Crawler chombo "Yandex" na Google

Kila siku kwenye mtandao kuna kiasi kubwa ya vifaa vya mpya ya kujenga tovuti updated kurasa zamani tovuti, kupakia picha na video. Bila siri kutoka injini ya utafutaji haikupatikana katika mtandao wa dunia nzima, hakuna hata nyaraka hizi. Njia mbadala kama mipango roboti wakati wowote haipo. Ni nini search robot, kwa nini unahitaji yake na jinsi ya kuendesha?

ni utafutaji robot gani

Crawler tovuti (injini ya utafutaji) - ni mpango wa moja kwa moja kuwa ni uwezo wa kutembelea mamilioni ya kurasa za mtandao, haraka punde kupitia mtandao bila juhudi yoyote mwendeshaji. Boti ni daima Scan nafasi ya mtandao wa dunia nzima, kutafuta kurasa mpya mtandao na mara kwa mara tembelea tayari indexed. Majina mengine kwa mtandao crawlers buibui, crawlers, boti.

Kwa nini injini ya utafutaji buibui

kazi kuu zinazofanya injini buibui - kurasa za mtandao faharasa, pamoja na maandishi, picha, audio na video files kwamba ni juu yao. Boti kuangalia kumbukumbu, maeneo kioo (nakala) na taarifa. robots pia kufanya HTML-code udhibiti kwa ajili ya viwango vya Ukubalifu wa Shirika la Dunia, ambayo yanaendelea na kutekeleza viwango teknolojia ya mtandao wa dunia nzima.

kuwekwa kwa ni nini, na kwa nini ni inahitajika

Indexing - ni, kwa kweli, ni mchakato wa kutembelea maalum ya mtandao na injini ya utafutaji. mpango scans maandishi kwenye tovuti hii, picha, video, viungo zinazotoka, basi ukurasa inaonekana katika matokeo ya utafutaji. Wakati mwingine, tovuti haiwezi kukaguliwa moja kwa moja, basi ni inaweza kuongezwa katika injini ya utafutaji manually webmaster. Kwa kawaida, hii hutokea kutokana na kukosekana ya viungo vya nje kwa fulani (mara nyingi hivi karibuni tu kuundwa) ukurasa.

Je, injini ya utafutaji buibui

Kila injini search ina bot yake mwenyewe na robot utafutaji wa Google inaweza kutofautiana kwa kiasi kikubwa kulingana na utaratibu kazi kwenye programu kama hiyo, "Yandex" au mifumo mingine.

Kwa ujumla, robot kazi kanuni ni kama ifuatavyo: mpango "linatokana" katika tovuti na viungo vya nje kwenye ukurasa mkuu, "inasema" Web rasilimali (pamoja na yaliyo kuangalia uendeshaji ambayo haina kuona mtumiaji). Boat ni jinsi ya kuendesha kati ya kurasa ya tovuti na kuendelea na wengine.

Mpango huo kuchagua tovuti ya index? Mara nyingi zaidi kuliko "safari" buibui huanza na tovuti za habari au orodha ya rasilimali kubwa na wakusanyaji na kumbukumbu uzito mkubwa. Crawler kuendelea scans kurasa moja kwa moja, juu ya kiwango na msimamo wa kuorodhesha mambo yafuatayo:

• Ya ndani: perelinovka (viungo vya ndani kati ya kurasa ya rasilimali hiyo), tovuti ya kawaida, kanuni sahihi, user-kirafiki na kadhalika;
• Vya nje: jumla kumbukumbu uzito, ambayo inaongoza kwenye tovuti.

Jambo la kwanza upekuzi search robot kwenye tovuti yoyote na robots.txt. kuwekwa kwa rasilimali zaidi ni kazi kulingana na taarifa kupokea yametoka hati hii. Faili hili lina maelekezo maalum kwa ajili ya "buibui" kwamba inaweza kuongeza uwezekano wa kutembelea ukurasa na injini za utafutaji, na, kwa sababu hiyo, ili kufikia hit mapema tovuti katika "Yandex" au Google.

Programu milinganisho crawlers

Mara nyingi neno "search robot" ni kuchanganyikiwa na akili, user au mawakala huru, "siafu" au "minyoo". Kuzama tofauti kubwa tu kwa kulinganisha na mawakala, ufafanuzi nyingine kutaja aina hiyo ya robots.

Kwa mfano, mawakala wanaweza kuwa:

• akili: mpango, ambayo ni wakiongozwa kutoka tovuti kwa tovuti, kwa kujitegemea kuamua jinsi ya kuendelea; wao si kawaida sana kwenye mtandao,
• Autonomous: Dawa hizi kusaidia mtumiaji katika kuchagua bidhaa, utafutaji, au kujaza fomu, kinachojulikana filters, ambayo ni kidogo kuhusiana na mipango mtandao,.
• user: mpango kuchangia mtumiaji kuingilia kwa mtandao wa dunia nzima, kivinjari (kwa mfano, Opera, IE, Google Chrome, Firefox), wajumbe (Viber, Telegram) au programu ya barua (MS Outlook na Qualcomm).

"Mchwa" na "minyoo" ni zaidi sawa na injini ya utafutaji "buibui". aina ya kwanza kati ya mtandao na mara kwa mara kuwasiliana kama koloni hii chungu, "minyoo" ni uwezo wa kuiga katika mambo mengine sawa na crawler kiwango.

Aina ya injini ya utafutaji robots

Kutofautisha kati ya aina nyingi za crawlers. Kulingana na madhumuni ya mpango, ni:

• "Mirror" - Nakili ni kuvinjari tovuti.
• Simu - lengo la matoleo ya mkononi ya kurasa za mtandao.
• Quick - kurekebisha habari mpya haraka kwa kuangalia taarifa za hivi karibuni.
• Kumbukumbu - kumbukumbu index, kuhesabu idadi yao.
• Indexers aina tofauti ya maudhui - mipango maalum kwa maandishi, sauti, video, picha.
• "Spyware" - kutafuta kurasa ambayo bado kuonyeshwa katika injini ya utafutaji.
• "Woodpecker" - mara kwa mara kutembelea maeneo ya kuangalia umuhimu na ufanisi.
• Taifa - kuvinjari rasilimali Web iko kwenye moja ya nyanja nchi (kwa mfano, .mobi, au .kz .ua).
• Global - index maeneo yote ya taifa.

Robots injini kuu search

Pia kuna baadhi ya buibui injini ya utafutaji. Kwa nadharia, utendaji wao unaweza kutofautiana sana, lakini katika mazoezi ya mipango ni karibu sawa. Tofauti kuu kuorodhesha kurasa za mtandao robots mbili kuu search injini ni:

• stringency ya kupima. Inaaminika kuwa utaratibu wa crawler "Yandex" makadirio fulani kali tovuti kwa ajili ya kufuata na viwango vya mtandao wa dunia nzima.
• Utunzaji wa uadilifu wa tovuti. Crawler bahati Google tovuti nzima (pamoja na maudhui ya vyombo vya habari), "Yandex" inaweza pia kuangalia maudhui selectively.
• Kasi ya mtihani kurasa mpya. Google anaongeza rasilimali mpya katika matokeo ya utafutaji ya siku chache, katika kesi ya "na Yandex" mchakato inaweza kuchukua wiki mbili au zaidi.
• mzunguko wa re-faharasa. Crawler "Yandex" masasisho mara mbili kwa wiki, na Google - moja kila baada ya siku 14.

Internet, bila shaka, si mdogo na injini za kutafuta mbili. Mitambo mingine ya kutafuta na robots yao wanaofuata vigezo yao faharasa. Aidha, kuna kadhaa "buibui" kwamba ni iliyoundwa sio nyenzo kuu ya utafutaji, na timu ya mtu binafsi au webmasters.

potofu ya kawaida

Kinyume na imani maarufu, "buibui" wala mchakato taarifa. mpango tu scans na maduka kurasa za mtandao na usindikaji zaidi inachukua robots tofauti kabisa.

Pia, watumiaji wengi wanaamini kwamba injini ya utafutaji buibui kuwa na athari hasi na "madhara" mtandao. Kwa kweli, baadhi ya matoleo ya "buibui" inaweza kwa kiasi kikubwa overload server. Pia kuna sababu binadamu - webmaster ambaye iliyoundwa mpango, wanaweza kufanya makosa katika usanidi roboti. Hata hivyo wengi wa mipango iliyopo ni pamoja iliyoundwa na kitaaluma imeweza, na matatizo yoyote kujitokeza mara moja kuondolewa.

Jinsi ya kusimamia kuwekwa kwa

Mtambo wa kutafuta robots ni mipango automatiska, lakini mchakato kuwekwa inaweza kuwa sehemu kudhibitiwa na webmaster. Hii inasaidia sana nje na ndani optimization ya rasilimali. Aidha, unaweza kuongeza wewe mwenyewe tovuti mpya ili injini: rasilimali kubwa na aina maalum ya kurasa Mtandao usajili.