خلاصه: گوگل DeepMind الگوریتم رتبه‌بندی جدیدی به نام BlockRank ساخته که با کمک همان مدل زبانی بزرگ، سرعت جستجو را چندبرابر می‌کند و حالا هر کسی می‌تواند یک موتور جستجوی قدرتمند و کم‌مصرف را روی لپتاپ یا حتی سرور کوچک شخصی خودش راه‌اندازی کند.
چرا BlockRank را بشناسیم؟
مشکل قبلی چه بود؟
تا حالا اگر می‌خواستید چند هزار صفحه وب را بر اساس یک سوال رتبه‌بندی کنید، باید همه آن‌ها را هم‌زمان به مدل زبانی می‌دادید؛ این کار با افزایش تعداد صفحه‌ها، هزینه محاسباتی به‌صورت نمایی بالا می‌رفت.
راه‌حل BlockRank
BlockRank فقط «ارتباط هر سند با پرس‌وجو» را بررسی می‌کند و کاری به مقایسه سند با سند ندارد؛ به‌این‌ترتیب حجم محاسبه از O(n²) به O(n) می‌رسد و سرعت ده برابر می‌شود.
دو ترفند کلیدی
1. تمرکز بلوکی بین اسناد
بررسی دقیق نشان داد مدل معمولا هر سند را جداگانه می‌خواند و کمتر آن‌ها را با هم مقایسه می‌کند. BlockRank همین رفتار را رسمی کرد تا از محاسبات اضافی صرف‌نظر شود.
2. اهمیت‌سنجی بخش‌های پرس‌وجو
کلمه‌های کلیدی یا علائم نگارشی خاص در سوال، خودشان نوک پیکان را به سند صحیح نشانه می‌روند. الگوریتم به مدل یاد می‌دهد این بخش‌ها را جدی‌تر بگیرد.
آزمون عملی
محققان BlockRank را با مدل ۷-میلیارد پارامتری Mistral روی سه پایگاه رایج ارزیابی کردند:
- BEIR: طیف وسیعی از موضوعات
- MS MARCO: پرس‌وجوهای واقعی بینگ
- Natural Questions: سوالات واقعی گوگلی
در هر سه مجموعه، دقت نتایج هم‌سطح یا بهتر از سیستم‌هایی بود که برای همین کار به‌طور خاص آموزش دیده بودند.
دستاورد بزرگ
حالا حتی یک دانشجو با یک لپتاپ معمولی می‌تواند «موتور جستجوی semantic» خودش را راه بیندازد؛ این یعنی تحقیقات علمی سریع‌تر، آموزش شخصی‌شده‌تر و تصمیم‌گیری‌های دقیق‌تر در هر سازمانی.
آیا گوگل از BlockRank استفاده می‌کند؟
در حال حاضر هیچ نشانه‌ای در نسخه‌ی عمومی جستجوی گوگل دیده نشده؛ پروژه در آزمایشگاه مانده و هنوز کد کاملش روی گیت‌هاب قرار نگرفته است.
چشم‌انداز
BlockRank مصرف انرژی را پایین می‌آورد، پردازش ابری ارزان‌تر می‌شود و احتمال دارد به‌زودی در دسترس توسعه‌دهندگان قرار بگیرد تا هر استارتاپ کوچکی هم موتور جستجوی اختصاصی خودش را بسازد.