Რა არის crawler? crawler ინსტრუმენტი "Yandex" და Google

ყოველდღე ინტერნეტში არსებობს დიდი რაოდენობით ახალი მასალები უნდა შევქმნათ საიტი მხრიდან ძველი ვებ გვერდები, ატვირთეთ ფოტო და ვიდეო. გარეშე ფარული საძიებო ვერ გამოჩნდება World Wide Web, არც ერთი ეს დოკუმენტები. ალტერნატივის მოსწონს robotic პროგრამების ნებისმიერ დროს, არ არსებობს. რა არის საძიებო რობოტი, რატომ გჭირდებათ ეს და როგორ უნდა იმოქმედონ?

რა არის საძიებო robot

Crawler საიტი (საძიებო) - ეს არის ავტომატური პროგრამა, რომელიც შეუძლია ეწვევა მილიონობით ვებ-გვერდების, სწრაფად სანავიგაციო ინტერნეტის გარეშე ოპერატორის ჩარევის გარეშე. Bots მუდმივად სკანირების სივრცეში მსოფლიო აბლაბუდა, მოძიებაში ახალი ვებ გვერდები და რეგულარულად ეწვევა უკვე ინდექსირებული. სხვა სახელები, რომელი გვერდებიდან შემოდიან spiders, crawler წერილებისგან.

რატომ არიან საძიებო ობობები

ძირითადი ფუნქციები, რომელიც ასრულებს საძიებო ობობები - ვებ გვერდები ინდექსირებული, ისევე, როგორც ტექსტი, სურათები, აუდიო და ვიდეო ფაილებს, რომლებიც მათ. Bots შეამოწმოს ცნობას, სარკის საიტები (ასლი) და განახლება. რობოტები ასევე ასრულებს HTML კოდი კონტროლი შესაბამისობის სტანდარტების მსოფლიო ორგანიზაცია, რომელიც შეიმუშავებს და ახორციელებს ტექნოლოგიური სტანდარტების მსოფლიო აბლაბუდა.

რა არის ინდექსირებას, და რატომ არის საჭირო

ინდექსირებას - ეს არის, ფაქტობრივად, არის პროცესი გამოჩენის კონკრეტულ ვებ გვერდზე საძიებლების მიერ. პროგრამა ასკანირებს ტექსტში ამ საიტზე, სურათები, ვიდეოები, გამავალი კავშირები, მაშინ გვერდზე ჩნდება ძებნის შედეგები. ზოგიერთ შემთხვევაში, ადგილზე არ შეიძლება დასკანირებული ავტომატურად, მაშინ ეს შეიძლება დაემატოს საძიებო ხელით webmaster. როგორც წესი, ეს ხდება იმ შემთხვევაში, გარე კავშირები კონკრეტულ (ხშირად მხოლოდ ახლადშექმნილ) გვერდზე.

როგორ საძიებო ობობები

თითოეული საძიებო აქვს საკუთარი bot ერთად Google ძიების რობოტი შეუძლია მნიშვნელოვნად განსხვავდება მიხედვით მექანიზმი მუშაობს ანალოგიური პროგრამა, "Yandex" ან სხვა სისტემები.

ზოგადად, robot მუშაობის პრინციპი ასეთია: პროგრამა "მოდის" ადგილზე და გარე ბმულები მთავარ გვერდზე, "ნათქვამია" ვებ რესურსების (მათ შორის, ვინც ეძებს ოვერჰედის, რომ არ ვხედავ შესახებ). Boat არის, თუ როგორ ნავიგაცია შორის გვერდები საიტი და გადაადგილება სხვები.

პროგრამა აირჩიოს, რომელიც საიტზე ინდექსი? უფრო ხშირად არ, "მოგზაურობა" ობობას იწყება საინფორმაციო საიტები ან დიდი რესურსი, ცნობარების და აგრეგატორი დიდი მინიშნება წონა. Crawler მუდმივად ინტენსიურობა გვერდებზე ერთი, კურსი და თანმიმდევრულობა ინდექსირებას შემდეგი ფაქტორები:

• შინაგან: perelinovka (შიდა კავშირების გვერდებზე იგივე რესურსი), საიტის ზომის, სწორი კოდი, მოსახერხებელი და ა.შ.
• გარე: საერთო მინიშნება წონა, რაც იწვევს საიტზე.

პირველი, რაც საძიებო robot ეძებს ნებისმიერ საიტზე რომელსაც robots.txt. დამატებითი რესურსების ინდექსირებას ხორციელდება ინფორმაციის საფუძველზე მიიღო სწორედ ეს დოკუმენტი. ფაილი შეიცავს ზუსტი მითითებები, რომ "ობობები", რომელიც შეიძლება გაიზარდოს შანსი გვერდი ვიზიტები საძიებო სისტემებში, და, შესაბამისად, უსწრაფესი დარტყმა საიტი "Yandex" ან Google.

პროგრამის ანალოგები შემოდიან

ხშირად ტერმინი "ძიება robot" გაუგებარია, ინტელექტუალური, შესახებ ან ავტონომიური აგენტები, "ჭიანჭველები" ან "ჭიები". ჩაეფლო მნიშვნელოვანი განსხვავებები მხოლოდ შედარებით აგენტები, სხვა განმარტებები ეხება მსგავსი ტიპის რობოტები.

მაგალითად, აგენტები შეიძლება იყოს:

• ინტელექტუალური: პროგრამა, რომელიც გადაადგილდება საიტი საიტი, დამოუკიდებლად გადაწყვეტილების გავაკეთოთ შემდეგი; ისინი არ არის ძალიან გავრცელებული ინტერნეტში;
• ავტონომიური: ეს აგენტები დაეხმარება მომხმარებელს შერჩევისას პროდუქტი, ჩხრეკის ან შევსების ფორმები, ე.წ. ფილტრები, რომლებიც პატარა დაკავშირებული ქსელის პროგრამები.;
• შესახებ: პროგრამა ხელს უწყობს მომხმარებლის ურთიერთქმედების მსოფლიო აბლაბუდა, ბრაუზერის (მაგალითად, Opera, IE, Google Chrome, Firefox), მესენჯერები (Viber, დეპეშა) ან e-mail პროგრამების (MS Outlook და Qualcomm).

"ანტს" და "ჭიები" უფრო მსგავსი საძიებო სისტემა "ობობები". პირველი ფორმა შორის ქსელის და თანმიმდევრულად ურთიერთქმედება მოსწონს ეს ant კოლონია, "ჭიები" შეუძლია იმეორებს სხვა მხრივ იგივე, რაც სტანდარტული crawler.

სხვადასხვა საძიებო რობოტები

განასხვავოს მრავალი სახის შემოდიან. დამოკიდებულია მიზნით პროგრამა, ესენი არიან:

• "Mirror" - ეგზ ათვალიერებს საიტებზე.
• მობილური - აქცენტი მობილური ვერსიები ვებ გვერდები.
• Quick - დაფიქსირება ახალი ინფორმაციის სწრაფად ათვალიერებენ უახლესი განახლებები.
• Reference - მინიშნება ინდექსი, იმედი მათი ნომრები.
• Indexers სხვადასხვა სახის შინაარსი - კონკრეტული პროგრამების ტექსტი, აუდიო, ვიდეო, images.
• "Spyware" - ეძებს გვერდები, რომლებიც ჯერ კიდევ არ არის ნაჩვენები საძიებო სისტემა.
• "კოდალა", - პერიოდულად ეწვევა საიტები, რათა შეამოწმოს მათი შესაბამისობა და ეფექტურობა.
• ეროვნულ - ათვალიერებს ვებ რესურსების მდებარე ერთ ქვეყანაში დომენები (მაგ, .mobi, ან .kz .ua).
• Global - ინდექსი ყველა ეროვნული საიტებზე.

სამსახური ძირითად საძიებო სისტემებში

ასევე არსებობს რამდენიმე საძიებო ობობები. თეორიულად, მათი ფუნქცია შეიძლება მნიშვნელოვნად განსხვავდება, მაგრამ პრაქტიკაში პროგრამების თითქმის იდენტურია. ძირითადი განსხვავებები ინდექსირებას ვებ გვერდები რობოტები ორი ძირითადი საძიებო ასეთია:

• სიმკაცრისაა ტესტირება. ითვლება, რომ მექანიზმი crawler "Yandex" გარკვეულწილად მკაცრი შეფასებები საიტი სტანდარტების მსოფლიო აბლაბუდა.
• დაცვის მთლიანობის საიტზე. The Google crawler ინდექსირებას მთელი საიტი (მათ შორის, მედიის შინაარსის), "Yandex" ასევე შეგიძლიათ ნახოთ შინაარსი შერჩევით.
• სიჩქარის ტესტი ახალი გვერდები. Google დასძენს ახალი რესურსი ძებნის ფარგლებში რამდენიმე დღის განმავლობაში, იმ შემთხვევაში, თუ "მიერ Yandex" პროცესი შეიძლება ორი კვირის ან მეტი.
• სიხშირე reindexing. Crawler "Yandex" შეამოწმოთ განახლებები კვირაში ორჯერ, და Google - ერთი ყოველ 14 დღეში.

ინტერნეტი, რა თქმა უნდა, არ შემოიფარგლება ორი საძიებო. სხვა საძიებო აქვთ რობოტები, რომელიც დაიცვას საკუთარი ინდექსირებას პარამეტრები. გარდა ამისა, არსებობს რამდენიმე "ობობები", რომელიც გამიზნულია არა ძირითადი საძიებო რესურსები და ინდივიდუალური გუნდები ან ვებოსტატებისათვის.

საერთო მცდარი

ეწინააღმდეგება პოპულარული რწმენით, "ობობები" არ გადაამუშავებს ინფორმაციას. პროგრამა მხოლოდ ინტენსიურობა და ინახავს ვებ გვერდები და შემდგომი დამუშავება იღებს სრულიად განსხვავებული რობოტები.

გარდა ამისა, ბევრი წევრებს მიაჩნიათ, რომ საძიებო ობობები ჰქონდეს უარყოფითი გავლენა და "მავნე" ინტერნეტში. ფაქტობრივად, ზოგიერთი ვერსიის "ობობები" შეიძლება მნიშვნელოვნად გადატვირთვა სერვერზე. არსებობს ასევე ადამიანური ფაქტორი - სუპერვიზორს, რომელმაც შექმნა პროგრამა, რათა შეცდომები robot კონფიგურაცია. მიუხედავად ამისა, ყველაზე არსებული პროგრამების მოფიქრებული და პროფესიონალურად მოახერხა და ნებისმიერი წამოჭრილი პრობლემების დაუყოვნებლივ მოიხსნება.

როგორ ვმართოთ ინდექსირებას

საძიებო რობოტები არიან ავტომატური პროგრამები, მაგრამ ინდექსირებას პროცესში შეიძლება ნაწილობრივ აკონტროლებს webmaster. ეს დიდად ეხმარება გარე და შიდა ოპტიმიზაცია რესურსი. გარდა ამისა, თქვენ შეგიძლიათ ხელით დაამატოთ ახალი საიტი საძიებო სისტემა: დიდი რესურსი აქვთ სპეციალური ფორმა ვებ გვერდების რეგისტრაცია.