تکنولوژی جستجو در همه‌جو
همه‌جو به عنوان یک موتور جستجوی عمودی (Vertical Search Engine)، با هدف یکپارچه‌سازی دسترسی به بازار نیازمندی‌های آنلاین ایران طراحی شده است. در ادامه، فرآیند تبدیل داده‌های خام به نتایج جستجو بر اساس رفتار واقعی سامانه تشریح شده است.
۱. خزش و استخراج متادیتا (Crawling)
برنامه‌های خزش ما صفحات عمومی منابع پیکربندی‌شده را پیمایش می‌کنند و متادیتای کلیدی (عنوان، دسته‌بندی، قیمت، موقعیت، زمان مشاهده و لینک منبع) را استخراج می‌کنند. تصاویر و متن کامل آگهی معمولاً روی سرورهای همه‌جو ذخیره نمی‌شوند و در نمایش نتایج از مبدأ بارگذاری می‌گردند. رفتار دقیق احترام به robots.txt، شناسهٔ عامل کاربر (UA) و تکنیک‌های مرورگر برای هر منبع تحت تنظیمات عملیاتی است و ممکن است بین منابع فرق کند؛ این صفحه ادعای یکسان برای همهٔ منابع نمی‌کند.
۲. پردازش و نمایه‌سازی (Indexing)
داده‌های استخراج‌شده پس از نرمال‌سازی (یکسان‌سازی واحدها و شهرها) ایندکس می‌شوند. موتور جستجو ارتباط عبارت شما را با متادیتا می‌سنجد و نتایج را رتبه‌بندی می‌کند. علاوه بر آگهی‌ها، خوراک‌های خبری RSS نیز خزش و در نماهای مرتبط (مثلاً شبکهٔ تصاویر یا نمای اخبار) مخلوط می‌شوند؛ شمارنده‌های صفحهٔ اول می‌توانند آگهی، تصویر و خبر را جداگانه نشان دهند و «مورد فهرست‌شده» مجموع این‌هاست.
۳. تأیید منبع، منقضی و نگهداری ایندکس
پس از ایندکس، سامانه‌ای دوره‌ای بخشی از آگهی‌های فعال را با درخواست HTTP به صفحهٔ مبدأ بررسی می‌کند. با تنظیمات رایج فعلی (حدود ۳۰۰ بررسی در هر دورهٔ حدود ۱۵ دقیقه)، ظرفیت روزانه در حد ده‌ها هزار بررسی است؛ بنابراین یک دور کامل روی کل ایندکس فعال می‌تواند حدود یک تا دو هفته طول بکشد و ادعای «بررسی همهٔ آگهی‌ها هر ۱۲ ساعت» با ظرفیت فعلی سازگار نیست. اگر آگهی در مبدأ حذف شده باشد، در همه‌جو به‌صورت «منقضی» علامت می‌خورد و تا حدود هفت روز همچنان در نتایج دیده می‌شود. پس از آن ردیف از پایگاه داده حذف فیزیکی می‌شود. شمارنده‌های تجمیعی حذف از طریق API عمومی GET /listing-lifecycle-stats قابل مشاهده است (فقط اعداد تجمیعی). زمان «آخرین مشاهده در خزش فهرست» با زمان «آخرین بررسی HTTP» لزوماً یکی نیست.
۴. گروه‌بندی تکراری و هدایت به مرجع
اگر یک آگهی در چند منبع دیده شود، ممکن است در یک صفحهٔ نتایج به‌صورت یک گروه نمایش داده شود و لینک‌های جایگزین («همین آگهی در N منبع دیگر») نشان داده شود. تعداد کل اعلام‌شده برای جستجو ممکن است پیش از گروه‌بندی صفحه محاسبه شده باشد؛ بنابراین تعداد کارت‌های دیده‌شده در یک صفحه می‌تواند از «total» کمتر به نظر برسد. با کلیک روی آگهی به صفحهٔ منبع اصلی هدایت می‌شوید؛ همه‌جو فروشگاه نیست.
دقت و محدودیت‌ها
ما همواره در تلاشیم فاصلهٔ بین انتشار در منبع و نمایش در همه‌جو را کم کنیم. با این حال به‌خاطر حجم داده، محدودیت نرخ درخواست به منابع، و ظرفیت بررسی HTTP، ممکن است تأخیر چند دقیقه‌ای تا چندروزه در به‌روزرسانی یا انقضای برخی آگهی‌ها رخ دهد. همه‌جو در حال توسعهٔ پوشش و دقت است.
این صفحه خزش و نمایه را توضیح می‌دهد. برای خواندن خود نتیجه — قیمت، چند منبع، و آگهی حذف‌شده — راهنمای همه‌جو را ببینید.
تکنولوژی همه‌جو (نسخه ۱.۲.۰) — آخرین بازنگری فنی: ۳۰ مهر ۱۴۰۵