خلاصه مقاله
با یک کارت گرافیک مستعمل GTX 1080 می‌توان مدل‌زبان بزرگ (LLM) را در خانه اجرا کرد و به Home Assistant، VS Code، ابزار تحقیقاتی و حتی بایگانی‌کننده‌های وب هوش مصنوعی بخشید؛ بدون اینکه داده‌های خصوصی‌تان به سرورهای بیرونی برود.
مقدمه
هوش مصنوعی فقط مخصوص شرکت‌های بزرگ نیست. اگر یک کارت گرافیک قدیمی دارید، می‌توانید همان امروز دستیار هوشمند خانگی بسازید که هم حریم خصوصی‌تان را حفظ می‌کند و هم کارهای روزمره‌تان را آسان‌تر می‌کند.
چرا سراغ LLM محلی رفتم؟
مدت‌ها نسبت به AI شک داشتم، ولی وقتی دیدم می‌شود همه‌چیز را لوکال اجرا کرد، تصمیم گرفتم کارت‌های GPU قدیمی‌ام را دوباره احیا کنم؛ حاصل، تجربه‌ای سریع، ارزان و ایمن بود.
Home Assistant با هوش محالی حرف می‌زند
با وصل کردن Ollama به Home Assistant دیگر فقط دکمه‌زدن نیست؛ می‌پرسم «پنجره اتاق کودک بازه؟» یا می‌گویم «مهمان میاد، همه چراغا رو روشن کن» و در عرض چند ثانیه انجام می‌شود.
مدل‌های کوچک ۴B هم کافی‌اند
روی GTX 1080 با مدل ۴ میلیارد پارامتری هم پاسخ‌ها دقیق و سریع است؛ نیازی به کارت گرافیک RTX 4090 ندارید.
دستیار صوتی کامل با سه ماژول
- Ollama: مغز متفکر
- faster-whisper: تبدیل گفتار به متن
- whisper: شناسایی هوشمند صدا
حاصل یک الکسای کاملاً شخصی است که هیچ اطلاعاتی به بیرون نمی‌فرستد.
پژوهش خصوصی با Open Notebook
به جای Google NotebookLM که اطلاعاتم را روی سرور ذخیره می‌کند، Open Notebook را لوکال راه‌اندازی کردم؛ فایل PDF، مقاله و یادداشت می‌دهم، خلاصه، فلش‌کارت و حتی فایل صوتی تحویل می‌گیرم.
مدل ۷B برای گزارش‌های دقیق‌تر
برای تحلیل عمیق‌تر از مدل ۷ یا ۱۲ میلیارد پارامتری استفاده می‌کنم؛ کمی صبر لازم است، ولی نتیجه دقیق‌تر و قابل‌اتکاتر است.
کدنویسی ایمن در VS Code
اکستنشن Continue.Dev از طریق Ollama به کدم نگاه می‌کند، خطا پیدا می‌کند و کامنت‌های مفید می‌گذارد؛ بدون اینکه کد من برای GitHub یا Claude فرستاده شود.
AI جایگزین برنامه‌نویس نیست
هنوز هم خودم کد می‌نویسم، ولی LLM باعث می‌شود خطاها را سریع‌تر پیدا کنم و قابلیت‌خوانایی کد بالاتر برود.
خدمات خودمیزبان دیگر هم جان گرفتند
Paperless-ngx + Paperless-GPT
اسکن قبض‌ها و صورتحساب‌ها OCR می‌شود، AI برچسب می‌زند و حتی با جست‌جوی معنایی فایل موردنظر را پیدا می‌کنم؛ دیگر نیازی به زدن کلیدواژه دقیق نیست.
Karakeep (原名 Hoarder)
صفحه وب را بایگانی می‌کند، AI خلاصه و برچسب تولید می‌کند؛ کتابخانه لینک‌هایم مرتب و قابل‌جست‌جو شده بدون دقایق دستی دست‌وپنجه نرم کردن با پوشه‌ها.
جمع‌بندی
کارت گرافیک قدیمی را دور نیندازید؛ با نصب Ollama و چند سرویس ساده می‌توانید خانه، پژوهش و کدنویسی‌تان را هوشمند کنید، بدون اینکه محدودیت اینترنت یا نگرانی حریم خصوصی داشته باشید. سرمایه‌گذاری اولیه صفر، تجربه‌ای بی‌نظیر.