เช็ค Robots.txt + Sitemap

สองไฟล์เล็ก ๆ ที่ตัดสินว่า Google เห็นเว็บคุณหรือไม่

robots.txt คือประตูหน้าบ้าน sitemap คือแผนที่ในบ้าน — ถ้าประตูล็อก (Disallow: /) แผนที่สวยแค่ไหนก็ไร้ค่า และถ้าแผนที่ผิด (sitemap เข้าไม่ได้ หรือลิสต์หน้าที่ลบไปแล้ว) bot จะเสียเวลาไปกับหน้าที่ไม่มีอยู่จริงแทนที่จะเก็บหน้าที่คุณอยากให้ติด เครื่องมือนี้เปิดทั้งสองไฟล์มากางให้ดูพร้อมกัน แล้วชี้ปัญหาเรียงตามความรุนแรง

อ่านผลเสร็จแล้วทำอะไรต่อ

เตือนแดง Disallow ทั้งเว็บ → แก้ทันทีก่อนทุกอย่าง · ไม่มีบรรทัด Sitemap → เพิ่ม Sitemap: https://โดเมนคุณ/sitemap.xml ต่อท้าย robots.txt · sitemap เข้าไม่ได้หรือ 404 → เช็คว่า CMS สร้าง sitemap อยู่ที่ URL ไหนจริง (WordPress + Yoast มักเป็น /sitemap_index.xml) · ทุกอย่างเขียวแล้ว → ไปเช็คต่อว่าแต่ละหน้าใน sitemap ไม่ได้ redirect ไปไหนด้วย เช็ค Redirect

คำถามที่พบบ่อย

ไม่มี robots.txt เลย เว็บจะเป็นอะไรไหม

ไม่พังทันที — bot จะถือว่าเข้าได้ทุกหน้า แต่คุณเสียพื้นที่ประกาศ Sitemap ฟรี ๆ ไปหนึ่งจุด และควบคุมอะไรไม่ได้เลยเวลาอยากกันบางส่วนของเว็บออกจากการ crawl สร้างไว้เถอะ ใช้เวลาไม่ถึงห้านาที

Disallow: / อันตรายแค่ไหน

อันตรายที่สุดในบรรดาค่าที่ตั้งผิดได้ — มันปิดกั้น bot ไม่ให้ crawl เว็บเกือบทั้งหมด หน้าเว็บจะเสียอันดับรุนแรงและแสดงข้อมูลบนผลค้นหาไม่ครบ (URL อาจยังโผล่จากลิงก์ภายนอกแบบไม่มีรายละเอียด) และเจอบ่อยกว่าที่ควรจะเป็น เพราะมันคือค่าที่คนตั้งไว้ตอนพัฒนาเว็บบน staging แล้วยกไฟล์มาขึ้น production ทั้งดุ้น ถ้าเครื่องมือขึ้นเตือนข้อนี้สีแดง หยุดทุกอย่างแล้วแก้ก่อน

ต้องระบุ Sitemap ใน robots.txt ด้วยหรือ ในเมื่อ submit ใน Search Console แล้ว

Search Console ครอบคลุมแค่ Google — แต่ Bing และ AI crawler ทั้งหลายเริ่มอ่านจาก robots.txt บรรทัด Sitemap: บรรทัดเดียวทำให้ทุก bot เจอทุกหน้าเร็วขึ้น ซึ่งยิ่งสำคัญในยุคที่การถูก AI search อ้างอิงมีผลต่อทราฟฟิก

เครื่องมือฟรีตัวอื่น