Cum de a analiza site-uri

A învăța să lucreze (Junior)

Ei bine, unele site-uri „în cazul în care-pull“ are un API plin, sau altă piesă de tip XML pentru a returna orice date. În cazul în care un astfel de lucru nu este oferit de resurse pentru dezvoltatori, oamenii încep să scrie propriile lor Derivatoare care caută pagina, și datele din tag-uri html predeterminate. O grămadă de opțiuni. Dacă aveți nevoie de ceva konekretnoe întrebare elaborat.






PS: atunci când parserul bate o dată pe zi, la o parte a site-ului, acesta poate fi priynyat pentru vizitator obișnuit, așa că nu este întotdeauna ușor de a bloca accesul parser.

@xmoonlight am spus că am nevoie de un număr mare de cereri, să actualizeze la fiecare 2-5 secunde. Ce abordare a (principale) criterii? Deci, nimeni nu a spus despre parserul, scris, sau puteți utiliza gata cu propriile sale setări? De exemplu, dacă utilizați un algoritm distribuit, astfel încât să nu se încarce un server și de a se proteja de interdicția și aceeași RHP SIMPLĂ DOM + Curl, și apoi nu știu cum, dar cumva toate datele de pe server (desigur, prelucrate), afișate pe site-ul dvs. + reînnoire constantă trebuie să aibă loc fără acțiunea utilizatorului. INFA trebuie să fie actualizat pe server și client este deja afișată (de exemplu, Infa nu depinde de frecvența actualizărilor client, Infa actualizate numai atunci când acesta va fi noul server) Fuh. Sper că totul este bine explicat :)

@hrvasiliy. chiar peste!
Cravate nu prinde între parser și frecvența cererilor.
Utilizați orice opțiune - nici o diferenta aici. Principalul lucru - că ați înțeles logica deciziei și nu „îngrămădite“ donator cerere de resurse.