محتوای پنهان وب چیست و چگونه به آن دسترسی پیدا کنیم؟

وب‌سایت گجت نیوز - سید سجاد احمدی: محتوای پنهان وب بخش‌هایی از وب است که توسط موتورهای جستجو ایندکس نمی‌شوند. اکثر ما فکر می کنیم موتورهای جستجویی مانند گوگل و بینگ مانند اوراکل بزرگ در سه گانه ماتریکس هستند و هرچه آن‌ها پیشنهاد می‌دهند درست است، اما واقعیت چیز دیگری است.

متاسفانه این موتورهای جستجو آن گونه که از نام‌شان بر می‌آید تنها گزینه‌های موجود برای دسترسی به مطالبات ما نیستند؛ آن‌ها فقط صفحات وب را ایندکس می‌کنند و با دنبال کردن یک هایپرلینک بعد از هایپرلینک دیگر مطالب مرتبط را به دست می‌آورند، اما تمام وب با این هایپرلینک‌ها به هم ارتباط ندارد و با این روش بیشتر وب، با استفاده از گوگل و بینگ قابل دسترسی نیست.

دیتابیس کتاب‌خانه‌هایی که برای دسترسی به کلمه عبور نیاز دارند یا صفحاتی از وب که خصوصی بوده و مربوط به یک شبکه یا شرکت خاص هستند از جمله بخش‌هایی است که موتورهای جستجو نمی‌توانند به آن‌ها دسترسی داشته باشند. این بخش‌ها ایندکس نشده مانده و برای موتورهای جستجو، جز بخش پنهان و غیر قابل دسترسی به حساب می‌آیند.

امروزه پیشرفت‌های بزرگی در موتورهای جستجو به وجود آمده، برای مثال دسترسی به محتوای فایل‌های PDF و فایل‌های تصویری Flash هم برای موتورهای جستجو مقدور شده، اما هنوز بخش‌های عظیمی از وب وجود دارند که با این موتورها نمی‌توان آن‌ها را پیدا کرد. این بخش‌های وب را محتوای پنهان وب ، اعماق وب (دیپ وب) و بخش تاریک وب (دارک وب) می‌نامند.

باید بدانید که دسترسی به این بخش‌های پنهان وب امکان پذیر است اما نه با روش هایی که تا به حال به کار برده ایم. برای دسترسی به این بخش های پنهان باید از ابزار مناسب این کار بهره برد. در اینجا ده مورد از جستجوگرهایی که امکان این دسترسی را برای ما فراهم می‌آورند به شما معرفی می‌کنیم.

۱.The WWW Virtual Library

به نظر می‌رسد که قدیمی‌ترین کاتالوگ دسترسی به اینترنت همین Virtual Library باشد که توسط تیم بِرنِر لی ساخته شده است. جالب است بدانید که خالق وب نیز همین تیم بِرنِر است! پس عجیب نیست که این کاتالوگ را درون فهرست ۱۰ موتور جستجو برای دسترسی به محتوای پنهان وب پیدا کنیم. در هر زمینه‌ای که در نظر دارید این سایت به شما موارد خوبی پیشنهاد خواهد داد.


برای مثال ۳۰۰ زیرشاخه در کتابخانه این سایت برای شما موجود است. شما می‌توانید به صورت مستقیم از بخش دسته‌بندی استفاده کرده و یا از قسمت جستجوی این سایت بهره ببرید. صفحه اول سایت، تمامی موضوعات را به ترتیب حروف الفبا برای شما نشان می‌دهد. جالب است بدانید که از آغاز وب، خیلی سایت ها آمده و رفته اند اما این سایت ۲۶ سال است که به کار خود ادامه می‌دهد.

2. USA.gov

شماره دوم فهرست ما سایت رسمی دولت آمریکا است که دروازه‌ای به تمامی اطلاعات عمومی است، اطلاعاتی که هر آژانس دولتی به آن‌ها نیاز دارد. این سایت فهرستی A-Z از تمامی تاپیک‌های موجود در سایت در خود جای داده که به راحتی می‌توانید اطلاعات مورد نیاز خود را با استفاده از این دسته‌بندی‌ها بیابید.


برای دسترسی دقیق‌تر به اطلاعات مورد نظرتان می‌توانید از فیلترهای "Only USA.gov"، "Images" و "Videos" در بالای صفحه استفاده کنید. اگر از این سایت استقبال کردید می‌توانید به سایت های وابسته به آن، Kids.USA.gov و Publications.USA.gov نیز سری بزنید.

3. Science.gov

اسم سایت گویای تمامی داستان است. موتور جستجوی این سایت از 60 دیتابیس و بیش از 2200 سایت علمی معتبر برای یافتن اطلاعات مورد نظر شما استفاده می‌کند. برای دسترسی دقیق‌تر می‌توانید از جستجوی پیشرفته استفاده کنید تا به اطلاعات بهتری در دیتابیس بخش علمی دولت آمریکا دسترسی داشته باشید.


فارغ از این‌که اطلاعات مورد نیاز شما چه هست، از شاخه کشاورزی گرفته تا جدیدترین شاخه های علم نوین، با خیال راحت می‌توانید بر روی این موتور جستجو حساب کنید.

4. U.S Geological Survey

تصویر گرفته شده از این سایت گویای همه چیز هست. هدف این سازمان پخش زنده تمامی اطلاعات مربوط به مشاهدات و وضعیت زمین است. البته برای تحقیقات آکادمیک و حتی عادی نیز منبعی بی رقیب به شمار می‌رود.


برای این‌که درک بهتری از عملکرد و نتایج این سایت داشته باشید پیشنهاد می‌کنیم بخش National Geologic Map Database را امتحان کنید، علاوه بر آن بهتر است با ابزار EarthExplorer تصاویر ماهواره‌ای موجود را از نظر بگذرانید. قسمت‌های نام‌برده تجربیات منحصر به فردی از این سایت به شما می‌دهند اما ابزارهای این سایت بیشتر از این حرف‌ها است. برای مثال شما در بخش جستجو به بیش از ۱۰۰۰۰۰ مقاله و کتاب علمی معتبر دسترسی دارید. اگر دانشجو هستید به شما پیشنهاد می‌کنیم برای یک‌بار هم که شده سری به این وب‌سایت بزنید.

5. Directory of Open Access Journals

به دنبال مقاله‌های علمی مورد نیاز خود در سایت Open Access Journals بگردید. تمامی مقاله‌های آکادمیکی که در این سایت وجود دارند بدون هیچ محدودیت کپی رایت و هزینه استفاده‌ای در دسترس شما هستند، تنها محدودیت موجود دسترسی به اینترنت است که این یک مورد با شما است!


در این سایت به بیش از ۹۰۰۰ ژورنال و ۲.۵ میلیون مقاله در موضوعات گوناگون دسترسی کاملا رایگان دارید؛ اطلاعاتی که شاید با استفاده از Google Scholar به راحتی به دست نیایند. اما در کل DOAJ ابزاری بهتر برای پیدا کردن مقاله مورد نظر شما است و با موتور جستجوی قوی آن به هر مقاله و ژورنالی که در نظر دارید دسترسی پیدا می‌کنید.

6. Voice of The Shuttle

اگر دانشجوی ادبیات هستید پیشنهاد ششم ما را در نظر بگیرید؛ مکانی پربار از تمامی منابع ادبیاتی و فرهنگی. بخش جستجوی سایت به گزینه‌های Sci-Tech، Culture و Technology of Writing مجهز شده و با استفاده از آن‌ها به راحتی می‌توانید مطلب مورد نظر خود را پیدا کنید.


این سایت به عنوان ابزاری کمکی برای دپارتمان زبان انگلیسی دانشگاه کالیفرنیا و در سال ۱۹۹۴ تاسیس گردید و تا امروز به به‌روزرسانی خود ادامه داده است.

7. RxList

درست است که گوگل به شما اطلاعات پزشکی و دارویی خوبی می‌دهد و علائم بیماری‌ها را برای شما تعریف می‌کند، اما RxList ابزاری است که اساسا برای همین کار طراحی شده و مجموعه‌ای کامل از اطلاعات پزشکی مورد نیاز را در اختیار شما قرار می‌دهد.


علاوه بر موارد عادی، که از گوگل هم به دست می‌آیند (البته با کیفیت کم‌تر و صرف زمان بیشتر) در اینجا فیلدهای جستجویی مربوط به ویتامین‌ها، گیاهان دارویی، مواد غذایی و … نیز وجود دارند. RxList اطلاعات خود را از منابع معتبری چون FDA، CernerMultum و First Data Band به دست می‌آورد.

8. Infoplease

این دایره المعارف آنلاین از یک مسابقه رادیویی در سال 1938 شروع شد. infoplease یک دروازه اطلاعاتی است که محتوای پرباری در خود جای داده است. با استفاده از این سایت می‌توانید به دیتابیس‌ها، ژورنال‌های الکترونیکی، کتاب‌ها و نقشه‌های گوناگون و معتبر جهان دسترسی داشته باشید.


InfoPlease علاوه بر موارد گفته شده امکاناتی چون سایت‌های Factmonster.com برای بچه‌ها و TeacherVision را که هر دو بخشی از این شبکه اطلاعاتی هستند در اختیار کاربران قرار می‌دهد.

9. WorldCat

به کمک این سایت امکان دسترسی به 72000 کتابخانه در 170 کشور مختلف را داشته و با استفاده از آن می‌توانید به هر مقاله، پایان‌ نامه، ویدئوی آموزشی و … دسترسی پیدا کنید.


بهترین راه برای گم نشدن در این دیتابیس غول‌پیکر استفاده از ابزار جستجوی پیشرفته یا Advanced Search Tool می‌باشد. اطلاعاتی که در این‌جا پیدا می‌کنید برای استناد در مقاله یا ژورنال‌‌تان کاملا معتبر و مورد قبول است. با یک جستجوی ساده در WorldCat.org می‌توانید از اطلاعات این دیتابیس استفاده کنید اما در نظر داشته باشید که برای دسترسی باید عضو سایت شوید.

10. The National Security Archive

این سایت یک منبع غیر دولتی از اطلاعات دولتی غیر سری است. بزرگ‌ترین مجموعه اطلاعات دولتی در این سایت جمع شده‌اند. The National Security Archive با استفاده از جستجوگر گوگل درون دیتابیس سایت می‌گردد و به این ترتیب امکان دسترسی به بیش از 10 میلیون صفحه از داکیومنت‌های دولتی را برای شما فراهم می‌کند.


محتوای این سایت برای روزنامه نگاران و خبرگزاران دولتی بهترین مکان تحقیقات است.

جستجوگرهای دیگر برای دسترسی به محتوای پنهان وب :

• Elephind
• MagPortal
• Free Lunch
• Clinical Trials
• Project Gutenberg
• The Library of Congress
• Internet Archive
• The National Gallery of Art
• Scitation
• PubSpace

جمع‌بندی نهایی

محاسبه اندازه محتوای پنهان وب کار راحتی نیست، اما بر اساس تقریب‌های صورت گرفته، نسبت به آن‌چه تاکنون از اینترنت تجربه کرده‌اید چندین برابر بزرگ‌تر است. نکته مشخص این است که اگر به دنبال اطلاعات هستید بهترین جا برای هدف گرفتن، همین بخش محتوای پنهان وب است.

لازم است در اینجا تفاوت بین "محتوای پنهان وب" و "بخش تاریک نت" را هم بررسی کنیم. محتوای پنهان وب با استفاده از ابزارهای موجود برای عموم قابل دسترسی است اما برای دسترسی به بخش تاریک وب نیاز به استفاده از سایت های TOR است و مراحل پیچیده و بغرنجی را در بر می‌گیرد که کار کاربر عادی نیست.

مانند جستجوی عادی وب که تاکنون شناخته‌اید، گشت و گذار در محتوای پنهان وب نیز مانند پیدا کردن سوزن در انبار کاه است، گرچه اینبار انبار کاه ما خیلی بزرگ‌تر است! این بخش از وب برای جستجوگر عادی مناسب نیست، محتوای پنهان وب در اعماق وب جای گرفته‌اند ولی تاریک نیستند، پس اگر بدانید که به دنبال چه هستید به کمک ابزارهای معرفی شده، با ورود چند کلمه و فشردن گزینه جستجو به هدف خود خواهید رسید.