راهنما
اسناد چطور خوانده می‌شوند
پیش از آنکه بتوان به چیزی ارجاع داد، پارس‌رگ هر فایل را به بخش‌هایی تبدیل می‌کند که جایشان مشخص است: متن، همراه با نام فایل و صفحه، اسلاید، بند، جدول یا تصویری که از آن آمده.
فایل‌های PDF
- هر صفحه قسمتی جداگانه است تا ارجاع بتواند شمارهٔ صفحه را بیاورد.
- صفحه‌های فارسی از روی جای هر حرف، به ترتیب خواندن بازسازی می‌شوند: سطرهای راست‌به‌چپ، متن لاتین و ارقام داخل سطر، پرانتزهای قرینه و نشانهٔ اضافه روی حرف خودش.
- صفحه‌ای به OCR فرستاده می‌شود که متن نداشته باشد، لایهٔ متنی‌اش به‌هم‌ریخته باشد، یا کمتر از ۴۰ نویسه متن و دست‌کم یک تصویر داشته باشد.
نویسه‌خوانی (OCR)
- ابزار Tesseract با داده‌های فارسی و انگلیسی، روی صفحه‌هایی که با ۲۰۰ dpi و به‌صورت خاکستری رندر شده‌اند، بدون کشش کنتراست.
- اگر خوانش اول ضعیف باشد (میانگین اطمینان زیر ۷۵)، یک دور دوم به‌صورت تک‌بلوکی اجرا می‌شود و از دو خوانش، آنکه اطمینان بیشتری دارد انتخاب می‌شود.
- صفحه‌هایی که ۹۰، ۱۸۰ یا ۲۷۰ درجه چرخیده‌اند و صفحه‌هایی که ۲ درجه یا بیشتر کج‌اند، شناسایی و دوباره خوانده می‌شوند.
- تصویرها و اسکرین‌شات‌ها یک دور دیگر هم خوانده می‌شوند، روی نسخهٔ بزرگ‌شده و سیاه‌وسفید تصویر و با حالتی که متن پراکنده را پیدا می‌کند. این دور متن‌هایی را اضافه می‌کند که تحلیل چیدمان صفحه جا انداخته، مثل پنل‌های وضعیت، نوارابزارهای تیره و متن روی پنل‌های رنگی.
- تصویرهای درون Word و PowerPoint چندتا با هم خوانده می‌شوند (OCR_WORKERS؛ پیش‌فرض: همهٔ هسته‌های CPU، حداکثر ۸) و متن حاصل با خواندن تک‌به‌تک فرقی ندارد.
- محدودیت‌های پیش‌فرض: ۳۰ صفحهٔ اسکن‌شده در هر PDF و ۲۰۰ تصویر در هر فایل Word یا PowerPoint، ۴۵ ثانیه برای هر صفحه و ۴۰ میلیون پیکسل برای هر تصویر. تصویرهای کوچک‌تر از ۱۰٬۰۰۰ پیکسل، مثل آیکون‌ها، خوانده نمی‌شوند.
فایل‌های Word، PowerPoint و دیگر قالب‌ها
- فایل Word: بندها زیر سرعنوان خودشان و تا سقف ۱۸۰ واژه گروه‌بندی می‌شوند و هر بخش مسیر سرعنوان‌هایش را با خود دارد. دستورها و کدهایی که در کادرهای تک‌خانه‌ای آمده‌اند، کنار جمله‌ای می‌مانند که معرفی‌شان می‌کند.
- جدول‌های Word به جدول Markdown همراه با رکورد هر سطر تبدیل می‌شوند و با شمارهٔ جدول و بندی که پیش از آن آمده ارجاع می‌گیرند، مثلاً «بند ۱۲۰ · جدول ۳».
- تصویرهای درون Word و PowerPoint: متنی که از هر تصویر خوانده می‌شود، همراه با عنوان تصویر، بخش جداگانه‌ای است و با «بند ۱۲۰ · تصویر ۷» یا «اسلاید ۲۵ · تصویر ۹» ارجاع می‌گیرد. این بخش متنی را هم که تصویر را معرفی می‌کند با خود دارد و پاسخ می‌گوید کدام مطلب از تصویر آمده است.
- فایل PowerPoint: برای هر اسلاید یک قسمت، همراه با جدول‌هایش.
- از فایل‌های HTML و XML فقط متن قابل‌مشاهده نگه داشته می‌شود. فایل JSON اعتبارسنجی و به شکلی خواناتر بازنویسی می‌شود.
بخش‌ها
- متن به بخش‌هایی حدود ۵۱۲ توکنی تقسیم می‌شود که ۵۰ توکن با هم هم‌پوشانی دارند. بخش‌های هر سند به ترتیب طول، دسته‌دسته به بردار تبدیل می‌شوند.
- برای صفحه‌های پشت‌سرهم PDF، یک بخش اضافه ۹۰ واژهٔ آخر هر صفحه را به ۹۰ واژهٔ اول صفحهٔ بعد وصل می‌کند. به این ترتیب مطلبی که با عوض‌شدن صفحه دو تکه شده، با بازهٔ صفحه‌ها ارجاع داده می‌شود.
- املای فارسی در بخش‌ها و پرسش‌ها یکسان‌سازی می‌شود: ی و ک عربی، شکل‌های نمایشی حروف، اِعراب و ارقام. همزهٔ اضافه حفظ می‌شود.
- از هر تصویری که با OCR خوانده می‌شود، یک نسخهٔ WebP با عرض حداکثر ۱۲۸۰ پیکسل نگه داشته می‌شود تا منبع بتواند آن را نشان دهد.