ببساطة؛ الإبحار الآلي في الويب هي أن يبحر روبوت عوض مستعمل بشري، هذا تماما ما نشرحه بإسهاب و بالتطرق لما يحيط هذا المفهوم من متطلبات و إستعمالات في نبذة عن الويب سكراپين (تقشير الويب) و الويب  كراولر Web scraping crawler. عندما يريد الواحد منا الإبحار في الشبكة العنكبوتية، فإنه يستعمل متصفح ويب للقيام بذلك، لكن في الواقع لسنا بحاجة لمتصفح ويب لنربط الإتصال بموقع ما و نطلب إحدى صفحاته : نستعمل البروتوكول HTTP لذلك، نطلب صفحة معينة فيقوم خادم الموقع بإرسالها إلينا، و تأخذ شكل وثيقة HTML. دور المتصفح الحقيقي و الأصلي هو تحويل الوثيقة HTML الى الشكل الذي نراها عليه من خلال متصفح الويب.

إذا رغبنا إذن في إنجاز روبوت يقوم بربط الإتصال بموقع ما و يطلب صفحة ما، ثم يستخلصها إذا أرسلها خادم الموقع. فذلك متاح عبر أغلب لغات البرمجة التي توفر مكتبات متخصصة في إستعمال البرتكول HTTP. ما يستوجب معرفة عامة ل HTTP و معرفة متخصصة لHTML الذي سنتعامل مع وثائقه لنستخلص منها البيانات التي نريد مستغنيين عن متصفحات الويب لهذا الغرض. هذا ما سنراه في الجزء الثاني من هذا الدرس بتطبيق يستعمل لغة بيرل Perl  التي تعد الأكثر فعالية لهذا النوع من التطبيقات، و هذا ما يمكن فعله بلغات برمجة كپايثون و جافا.

الإستغناء عن متصفحات الويب ليس حتمية، بل مرده إستخدامنا للغات فعالة قادرة على إنجاز أوامر مرتبطة بنظام التشغيل و قادرة على إستعمال البرتوكول HTTP بجودة و دقة عاليتين. لكن هناك لغات سكربت تمكن كذلك من الإبحار بالتحكم في متصفح الويب، هذه السكربتات تقوم بمماهاة الإبحار البشري و أتمتته، بحيث نستطيع التحكم في مداخل الحاسوب (الماوس و زر المفاتيح)، نذكر منها Autoit و أيضا VBScript الخاص بويندوز و Applescript الخاص بآبل. هذه المنهجية ضعيفة بحيث أننا لا نتعامل مباشرة مع الأشياء، بل مع أنظمة هي من تقوم بالتعامل مع الأشياء ( متصفح الويب ).

في تطبيقنا في الجزء الثاني من هذا الدرس، سنقوم بإستجواب صفحة باينة التي تحتوي على لائحة الحروف الخاصة، و سنقوم بإستخلاص هذه الأخيرة إرتكازا على الرموز HTML و الخصائص CSS المصاحبة لها. سنستعمل في تطبيقنا بيرل و سنستخدم المكتبة Mojo.