أتمتة جمع البيانات · Python

من موقع ويب إلى تقرير Excel
في دقيقة واحدة.

«رقيب» يزور كتالوج منتجات كاملًا بطريقة مهذبة، يستخرج البيانات وينظفها ويتحقق منها، ثم يُنتج ملف Excel عربي بلوحة ملخص ورسوم بيانية تتحدث تلقائيًا — مع تقرير لتغيّر الأسعار عند كل تشغيل.

raqib — bash

كيف يعمل

خمس مراحل قابلة لإعادة الاستعمال على أي موقع يسمح بجمع بياناته.

01 · crawlتصفّح الصفحاتالمرور على 50 صفحة كتالوج واستخراج 1000 رابط منتج.
02 · fetchجلب مهذب4 طلبات متزامنة، تأخير، وإعادة المحاولة عند الأخطاء.
03 · parseاستخراج الحقولالرمز، العنوان، التصنيف، السعر، التقييم، المخزون، الوصف.
04 · validateتنظيف وتحقققواعد صريحة وتقرير بكل سجل مرفوض وسبب رفضه.
05 · reportتصدير ومقارنةCSV وJSON وExcel، وتقرير تغيّر الأسعار مقارنة بآخر تشغيل.

متوسط السعر حسب التصنيف (أكبر 12 تصنيفًا) — £

توزيع التقييمات

البيانات المجمّعة

1000 سجل بعد التحقق — ابحث ورتّب مباشرة.

العنوانالتصنيفالسعرالتقييمالمخزونUPC

المخرجات

كل الملفات الناتجة عن آخر تشغيل، والكود المصدري.

جمع مسؤول

نجمع فقط ما يُسمح بجمعه، وبطريقة لا تُثقل الموقع.

مواقع تسمح بذلكهذا العرض على books.toscrape.com، وهو موقع أُنشئ خصيصًا للتدريب على الجمع.
بدون تجاوز حمايةلا تسجيل دخول، لا CAPTCHA، ولا محتوى مدفوع.
ضغط محدودعدد طلبات صغير، تأخير بينها، وتوقف عند أخطاء الخادم.
بيانات غير شخصيةنتجنب جمع البيانات الشخصية دون أساس قانوني.