Veb saytındakı məlumat kəsmə işində Semalt mütəxəssisi - Yaxşı və pis botlar

Veb qırıntısı uzun müddətdir və veb ustalar, jurnalistlər, freelancerlər, proqramçılar, qeyri-proqramçılar, marketinq tədqiqatçıları, alimlər və sosial media mütəxəssisləri üçün faydalı hesab olunur. Botlar iki növdür: yaxşı botlar və pis botlar. Yaxşı botlar, axtarış motorlarına veb məzmununu indeksləşdirməyə imkan verir və bazar mütəxəssisləri və rəqəmsal marketoloqlar tərəfindən yüksək üstünlük verilir. Pis botlar, digər tərəfdən, faydasızdır və bir saytın axtarış motoru sıralamasına ziyan vurmağı hədəfləyir. Veb qırıntısının qanuniliyi, hansı növ botlardan istifadə etməyinizə bağlıdır.

Məsələn, məzmunu fərqli veb səhifələrdən qeyri-qanuni istifadə etmək niyyəti ilə gətirən pis botlardan istifadə edirsinizsə, veb qırıntıları zərər verə bilər. Ancaq yaxşı botlardan istifadə etsəniz və xidmət hücumlarının rədd edilməsi, onlayn fırıldaqçılıq, rəqabətli məlumat hasilatı strategiyaları, məlumat oğurluğu, hesab oğurluğu, icazəsiz zəiflik tarama, rəqəmsal reklam saxtakarlığı və intellektual xüsusiyyətlərin oğurlanması da daxil olmaqla zərərli fəaliyyətlərdən qaçınsanız, onda veb qırıntı proseduru İnternetdə işinizi böyütmək üçün yaxşı və faydalıdır.

Təəssüf ki, freelancerlərin və startapların əksəriyyəti pis botları sevirlər, çünki ortaqlığa ehtiyac olmadan məlumat toplamaq ucuz, güclü və hərtərəfli bir yoldur. Böyük şirkətlər, qanuni veb kazıyıcıları qazancları üçün istifadə edirlər və İnternetdəki nüfuzlarını qeyri-qanuni veb kazıyıcılarla məhv etmək istəmirlər. Veb qırıntısının qanuniliyi ilə bağlı ümumi rəylər elə də əhəmiyyət kəsb etmir, çünki son bir neçə ayda federal məhkəmə sistemlərinin daha çox qanunsuz veb kazıma strategiyalarını sındırdığı aydın oldu.

Veb qırıntıları qanunsuz bir proses olaraq 2000-ci ildə başladı, veb saytları qarmaq üçün botlardan və hörümçəklərdən istifadə yaramaz hesab edildi. Bu prosedurun 2010-cu ilə qədər internetdə yayılmasını dayandırmaq üçün bir çox təcrübə uyğunlaşdırılmadı. EBay, ilk olaraq veb saytdakı botlardan istifadənin Çattels qanunlarını pozduğunu iddia edərək iddiaçı Edge-yə qarşı ilkin ittiham aktını təqdim etdi. Məhkəmə tezliklə bu qərarı verdi, çünki istifadəçilər saytın şərtləri ilə razılaşmalı və çox sayda bot botları eBay-ın kompüter maşınları üçün dağıdıcı ola biləcəyi üçün deaktiv edilmişdir. İddia qısa müddətdə məhkəmədən çıxarıldı və eBay, hamısının yaxşı və ya pis olmasından asılı olmayaraq veb kazıma üçün botlardan istifadə etməyi dayandırdı.

2001-ci ildə bir səyahət agentliyi zərərli örümcekler ve pis botların köməyi ilə veb saytdakı məzmunu sızdıran rəqibləri məhkəməyə vermişdi. Hakimlər yenidən cinayətə qarşı tədbirlər gördülər və həm veb-kazıma, həm də botlardan istifadə müxtəlif onlayn bizneslərə zərər verə biləcəyini söylədi.

İndiki vaxtda akademik, şəxsi və məlumat toplama üçün çox sayda insan ədalətli veb kazıma prosedurlarına güvənir və bu baxımdan çox sayda veb kazıma vasitələri hazırlanmışdır. İndi səlahiyyətlilər deyirlər ki, bu vasitələrin hamısı etibarlı deyil, lakin pullu və ya mükafat versiyasında olanlar pulsuz veb kazıyıcılardan daha yaxşıdır.

2016-cı ildə Konqres, pis botları hədəfə almaq və yaxşı botları dəstəkləmək üçün ilk qanunvericiliyi qəbul etdi. Daha yaxşı Onlayn Bilet Satışları (BOTS) Qanunu, veb saytları hədəfə ala biləcək, axtarış motorları sıralarına zərər vuran və işlərini məhv edən qanunsuz proqram təminatından istifadəni qadağan edən qanun yaradıldı. Ədalət mövzuları var. Məsələn, LinkedIn, pis botları bloklayan və ya ləğv edən və yaxşı botları təşviq edən vasitələrə çoxlu pul xərcləmişdir. Məhkəmələr veb qırıntıların qanuniliyinə qərar verməyə çalışdıqları üçün şirkətlər məlumatlarını oğurlamış olurlar.

mass gmail