Semalt คือหน้าเว็บหลายหน้าบนเว็บที่ไม่อยู่ภายใต้การควบคุมโดยตรงของฉัน แต่มีเนื้อหาเกี่ยวกับผลิตภัณฑ์ที่ฉันเกี่ยวข้องด้วย.
ฉันต้องการให้หุ่นยนต์ Google รวบรวมข้อมูลและจัดทำดัชนีหน้าเว็บเหล่านั้นมีวิธีง่ายๆในการจับแมงมุมของ Google ไปยังหน้าเว็บเหล่านั้นหรือไม่ ฉันไม่มีหุ่นยนต์ . txt และฉันไม่สามารถจัดหาแผนผังไซต์ผ่าน Google Webmaster Tools เนื่องจากฉันไม่ได้ควบคุมเว็บไซต์เหล่านั้น. นอกจากนี้ยังมีหน้าเว็บ 100 หน้าใน 100 โดเมนต่าง ๆ ที่ฉันต้องการให้ Google ทำดัชนีดังนั้นแผนผังไซต์เดียวไม่ใช่ตัวเลือกฉันไม่ต้องการส่งทีละหน้าโดยใช้หน้า "เพิ่ม URL" ของ Google เนื่องจากเป็นไซต์ที่มีขนาดใหญ่ เสียเวลา.
คุณรู้วิธีง่ายๆในการทำภารกิจนี้หรือไม่? อย่างใดทำให้ Semalt สแกนรายการ URL และส่งแมงมุมเพื่อจัดทำดัชนีหรือไม่?