Indeksiranje Web Stranica (Crawler)

Pitaj.io crawler omogućava vašem AI agentu da samostalno pročita, raščlani i nauči kompletan sadržaj vaše web stranice. Dovoljno je da unesete adresu vaše domene, a sistem će automatski detektovati sve podstranice, blog članke, opise proizvoda i kontakt informacije.

Kako dodati web stranicu

Otvorite sekciju Baza Znanja
U navigacijskom meniju vašeg agenta kliknite na Baza Znanja → Web Stranice.
Odaberite način unosa
Možete odabrati jednu od dvije opcije:
- Kompletna domena (Crawl cijele stranice): Unesite npr. https://vasafirma.ba. Naš sistem traži sitemap.xml ili prati interne linkove do podešenog limita dubine.
- Pojedinačni URL-ovi: Ako želite indeksirati samo specifične landing stranice ili FAQ sekciju, unesite pojedinačne linkove odvojene zarezom ili novim redom.
Definišite pravila isključivanja (Opciono)
U polju Pravila isključivanja unesite putanje koje crawler treba ignorisati (npr. /korpa, /checkout, /admin, /login).
Pokrenite indeksiranje
Kliknite na dugme Započni indeksiranje. Sistem će u realnom vremenu prikazati listu pronađenih stranica i njihov status treniranja.

Upravljanje sitemapom i linkovima

Kada unesete domenu, Pitaj.io automatski pokušava locirati vaš sitemap na standardnim lokacijama:

https://vasadomena.com/sitemap.xml
https://vasadomena.com/sitemap_index.xml
https://vasadomena.com/wp-sitemap.xml (za WordPress instalacije)

Isključivanje nepotrebnih stranica

Kako biste uštedjeli prostor u bazi znanja i spriječili agenta da odgovara o internim tehničkim stranicama, koristite wildcard obrasce:

# Primjeri pravila za isključivanje:
*/korpa*
*/checkout*
*/moj-racun*
*/admin/*
*.pdf
*tag=*
*sort=*

Automatsko re-indeksiranje (Auto-Sync)

Cijene, proizvodi i radno vrijeme se često mijenjaju. U postavkama crawla možete omogućiti automatsku sinhronizaciju:

Interval	Preporučeno za
Dnevno (Daily)	E-commerce prodavnice sa čestim promjenama zaliha i cijena
Sedmično (Weekly)	Poslovne web stranice, agencije i SaaS landing stranice
Mjesečno (Monthly)	Statične portfolio stranice i dokumentacije koje se rijetko ažuriraju
Ručno (Manual)	Pokretanje osvježavanja na zahtjev jednim klikom na dugme Osvježi

Česta pitanja i rješavanje problema

Da li crawler podržava JavaScript (SPA)?

Da. Naš crawler koristi headless Chromium renderere koji uspješno procesiraju stranice izgrađene u Reactu, Vue-u, Angularu i Next.js-u.

Šta ako imam Cloudflare ili Bot zaštitu?

Ako Cloudflare blokira naš crawler (greška 403 ili 503), dodajte Pitaj.io User-Agent ili naše IP adrese na bijelu listu unutar Cloudflare WAF pravila.