خلاصه خبر
گوگل رسماً اعلام کرد ربات NotebookLM که محتوای وبسایتها را برای کاربران میخواند، دستور robots.txt را نادیده میگیرد؛ اما میتوانید با چند خط ساده دسترسیاش را مسدود کنید.
مقدمهای سریع
اگر فکر میکردید فایل robots.txt میتواند جلوی هر ربات گوگلی را بگیرد، باید بدانید که این قانون برای NotebookLM دیگر اعمال نمیشود. در ادامه میگویید چرا و چطور جلویش بگیرید.
NotebookLM چیست؟
ابزار تحقیق و نویسندگی AI گوگل که با دادن یک آدرس صفحه، خلاصه و نقشهذهنی تعاملی میسازد.
ویژگی اصلی
- استخراج نکات کلیدی خودکار
- ایجاد نقشه ذهنی از موضوعات
- پرسوجوی آزاد روی محتوا
چرا robots.txt برایش بیاثر شد؟
چون درخواست از سمت کاربر انجام میشود، نه خزندهی خودکار.
نقلقول رسمی گوگل
«از آنجا که واکشی توسط کاربر انجام میشود، این رباتها معمولاً قوانین robots.txt را نادیده میگیرند.»
روشهای مسدودسازی NotebookLM
با شناسهی User-Agent زیر میتوانید دسترسی را قطع کنید.
روش سریع: افزونه Wordfence برای وردپرس
- افزونه را نصب و فعال کنید.
- در بخش Firewall > Custom Rules یک قانون جدید بسازید.
- در فیلد User-Agent عبارت
Google-NotebookLMرا وارد کنید و action را روی Block قرار دهید.
روش سراسری: فایل .htaccess
<IfModule mod_rewrite.c>
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} Google-NotebookLM [NC]
RewriteRule .* - [F,L]
</IfModule>چکلیست نهایی
- ✓ قبل از اعمال هر قانون، نسخه پشتیبان از .htaccess بگیرید.
- ✓ در صورت استفاده از CDN، آن را پاکسازی کنید تا تغییرات اعمال شود.
- ✓ پس از اعمال، با مرورگر کاربر-مندی مثل
Google-NotebookLMتست کنید تا مطمئن شوید خطای 403 میگیرید.