วิธีสร้างไฟล์ Robots.txt ที่สมบูรณ์แบบสำหรับ SEO

ทุกคนล้วนชื่นชอบการ “hacks” แน่นอนว่ารวมถึงฉันด้วย เพราะฉันชอบค้นหาวิธีที่จะทำให้ชีวิตของฉันง่ายขึ้น ซึ่งสิ่งที่ฉันจะแนะนำต่อจากนี้เป็น SEO hacks ที่ถูกกฎหมาย และคุณสามารถเริ่มใช้งานได้ทันที

วิธีนี้จะเพิ่มประสิทธิภาพการทำ SEO ของคุณ จากการใช้ประโยชน์ส่วนหนึ่งของเว็บไซต์ที่ไม่ค่อยมีใครพูดถึงมัน และมันก็ทำได้ไม่ยากด้วย

นั่นคือการสร้างไฟล์ Robots.txt ซึ่งไฟล์ .txt เล็กๆ นี้เป็นส่วนหนึ่งของทุกๆ เว็บไซต์ แต่คนส่วนใหญ่กลับไม่รู้จักมัน

robots.txt ได้รับการออกแบบให้ทำงานควบคู่กันกับเครื่องมือค้นหา มันคือแหล่งทรัพยากรทาง SEO ที่รอการค้นพบจากคุณ

คุณไม่จำเป็นต้องมีประสบการณ์ในทางเทคนิคใดๆ มาก่อนในการใช้ไฟล์ robots.txt ขอเพียงแค่คุณสามารถเปิดหน้าโค้ดของเว็บไซต์ได้ คุณก็สามารถใช้มันได้

มีหลากหลายวิธีในการเพิ่มประสิทธิภาพการทำ SEO ที่ไม่ยากหรือใช้เวลานานจนเกินไป และนี่ก็คือหนึ่งในวิธีเหล่านั้น

ทำไมไฟล์ robots.txt จึงมีความสำคัญ?

robots.txt คือ robots protocal ซึ่งเป็นไฟล์ .txt ที่มีไว้เพื่อบอกข้อความที่ web robots (ส่วนใหญ่คือเครื่องมือค้นหา) ควรทราบก่อนจะทำการรวบรวมข้อมูลเว็บไซต์ของคุณ

นอกจากนี้ robots.txt ยังสามารถบอกกับ web robots ได้ด้วยว่าจะอนุญาตให้รวบรวมรวมข้อมูลเว็บไซต์ของคุณได้หรือไม่

สมมติว่าเครื่องมือค้นหากำลังจะมารวบรวมข้อมูลเว็บไซต์ของคุณ ก่อนที่จะไปยังเว็บเพจเป้าหมาย พวกเขาจะตรวจสอบคำแนะนำจากไฟล์ robots.txt ก่อนเสมอ

เนื่องจากการสร้างไฟล์ Robots.txt มีหลายประเภท เราลองมาดูตัวอย่างที่แตกต่างกัน 2-3 อย่างก่อนเพื่อการทำความเข้าใจ

สมมติว่าเครื่องมือค้นหาพบไฟล์ robots.txt ในแบบนี้

การสร้างไฟล์ Robots.txt_Robots.txt_เทคนิค SEO_การทำ SEO_รับทำ SEO_บริษัทรับทำ SEO_เทคนิคการทำ SEO_เทคนิคเพิ่ม traffic_เพิ่ม traffic ให้กับเว็บไซต์_การสร้าง Content_เครื่องมือ SEO_เครื่องมือ SEO Google_วิธีทำ SEO

นี่คือโครงสร้างพื้นฐานของไฟล์ robots.txt

เครื่องหมาย * หลังคำว่า “user-agent” นั้นหมายความว่า ไฟล์ robots.txt นี้ ใช้กับทุก web robots ที่เข้ามาถึงเว็บไซต์นี้

เครื่องหมาย / หลังคำว่า “Disallow” จะบ่งบอกว่าห้ามไม่ให้ web robots ไปยังเว็บเพจใดบ้างบนเว็บไซต์

คุณอาจสงสัยว่าทำไมจึงต้องหยุด web robots ไม่ให้เข้าไปยังบางเว็บเพจ

หนึ่งในเป้าหมายสำคัญของ SEO คือการทำให้เครื่องมือค้นหาเข้ามาทำการรวบรวมข้อมูลได้อย่างง่ายดาย เพื่อเพิ่มอันดับการค้นหาให้กับเว็บไซต์ของคุณ

และนี่คือสาเหตุที่ต้องมีการ hack SEO นี้ คุณมีเว็บเพจมากมายในเว็บไซต์ของคุณใช่หรือไม่? 

เมื่อเครื่องมือค้นหาเข้าไปทำการรวบรวมขอมูลเว็บไซต์ของคุณ พวกเขาจะรวบรวมข้อมูลจากทุกเว็บเพจบนเว็บไซต์

และหากเว็บเพจนั้นมีจำนวนมาก bots ก็จะต้องใช้เวลามากในการรวบรวมข้อมูล ซึ่งอาจสร้างผลกระทบเชิงลบต่อการจัดอันดับของคุณ

นั่นเป็นเพราะ Googlebot (Bots ของ Google) จะมีสิ่งที่เรียกว่า “Crawl Budget” หรือ “งบประมาณในการรวบรวมข้อมูล” ซึ่งงบประมาณในการรวบรวมข้อมูลนี้แบ่งออกได้เป็นสองส่วน

ส่วนแรกคือ “ขีดจำกัดของการรวบรวมข้อมูล” ซึ่ง Google ได้อธิบายไว้ดังนี้

การสร้างไฟล์ Robots.txt_Robots.txt_เทคนิค SEO_การทำ SEO_รับทำ SEO_บริษัทรับทำ SEO_เทคนิคการทำ SEO_เทคนิคเพิ่ม traffic_เพิ่ม traffic ให้กับเว็บไซต์_การสร้าง Content_เครื่องมือ SEO_เครื่องมือ SEO Google_วิธีทำ SEO

ส่วนที่สองคือ “ความต้องการในการรวบรวมข้อมูล”

การสร้างไฟล์ Robots.txt_Robots.txt_เทคนิค SEO_การทำ SEO_รับทำ SEO_บริษัทรับทำ SEO_เทคนิคการทำ SEO_เทคนิคเพิ่ม traffic_เพิ่ม traffic ให้กับเว็บไซต์_การสร้าง Content_เครื่องมือ SEO_เครื่องมือ SEO Google_วิธีทำ SEO

โดยทั่วไปแล้ว งบประมาณในการรวบรวมข้อมูล ก็คือจำนวน URL ที่ Googlebot ต้องการและสามารถรวบรวมข้อมูลได้

คุณสามารถใช้งบประมาณในการรวบรวมข้อมูลของ Googlebot อย่างคุ้มค่าได้โดยการให้ Googlebot รวบรวมข้อมูลเฉพาะเว็บเพจที่มีคุณค่าของคุณ

มีปัจจัยบางอย่างที่ Google กล่าวว่า ส่งผลเสียต่อการรวบรวมข้อมูลและการจัดทำฐานข้อมูลของเว็บไซต์

นี่คือปัจจัยเหล่านั้น

การสร้างไฟล์ Robots.txt_Robots.txt_เทคนิค SEO_การทำ SEO_รับทำ SEO_บริษัทรับทำ SEO_เทคนิคการทำ SEO_เทคนิคเพิ่ม traffic_เพิ่ม traffic ให้กับเว็บไซต์_การสร้าง Content_เครื่องมือ SEO_เครื่องมือ SEO Google_วิธีทำ SEO

กลับมาที่เรื่องของ robots.txt กันอีกครั้ง

การสร้างไฟล์ robots.txt ได้อย่างถูกต้อง คุณก็จะสามารถบอกกับ Googlebot ได้ว่าจะให้รวบรวมข้อมูลเว็บเพจใดได้บ้าง และยกเว้นเว็บเพจใดไปบ้าง

ดังที่ Google ได้กล่าวไว้ว่า:“คุณคงไม่ต้องการให้งบประมาณในการรวบรวมข้อมูลต้องเสียไปกับการรวบรวมข้อมูลเว็บเพจที่ไม่สำคัญ หรือคล้ายกันบนเว็บไซต์ของคุณ”

หากใช้ไฟล์ robots.txt ได้อย่างถูกวิธี คุณจะทำให้ Bots ของเครื่องมือค้นหาใช้งบประมาณในการรวบรวมข้อมูลได้อย่างชาญฉลาด และนั่นทำให้การสร้างไฟล์ Robots.txt มีความสำคัญสำหรับการทำ SEO

เราลองมาดูในเรื่องของวิธีการค้นหาและการใช้งานกันบ้าง

การค้นหาไฟล์ robots.txt ของคุณ

หากคุณต้องการดูไฟล์ robots.txt ของคุณ เรามีวิธีที่ง่ายที่สุดในการเรียกเปิดไฟล์ขึ้นมา และวิธีนี้สามารถใช้ได้กับทุกเว็บไซต์ ดังนั้นคุณสามารถเรียกดูไฟล์นี้จากเว็บไซต์อื่นๆ ได้ด้วย

สิ่งที่คุณต้องทำคือ พิมพ์ URL ของเว็บไซต์ลงบนแถบค้นหาของเบราว์เซอร์ จากนั้นเพิ่มคำว่า /robots.text ลงไปด้านหลัง URL นั้น

มีสถานการณ์ 3 แบบที่สามารถเกิดขึ้นได้จากขั้นตอนนี้ นั่นคือ

1. คุณจะพบไฟล์ robots.txt

การสร้างไฟล์ Robots.txt_Robots.txt_เทคนิค SEO_การทำ SEO_รับทำ SEO_บริษัทรับทำ SEO_เทคนิคการทำ SEO_เทคนิคเพิ่ม traffic_เพิ่ม traffic ให้กับเว็บไซต์_การสร้าง Content_เครื่องมือ SEO_เครื่องมือ SEO Google_วิธีทำ SEO

2. คุณจะพบไฟล์ที่ว่างเปล่า

การสร้างไฟล์ Robots.txt_Robots.txt_เทคนิค SEO_การทำ SEO_รับทำ SEO_บริษัทรับทำ SEO_เทคนิคการทำ SEO_เทคนิคเพิ่ม traffic_เพิ่ม traffic ให้กับเว็บไซต์_การสร้าง Content_เครื่องมือ SEO_เครื่องมือ SEO Google_วิธีทำ SEO

3. คุณจะพบ Error 404 (ค้นหาเว็บเพจนั้นไม่พบ)

ใช้เวลาเพียงไม่กี่วินาทีในการเรียกดูข้อมูลไฟล์ robots.txt ของเว็บไซต์

แต่หากคุณพบกับไฟล์ที่ว่างเปล่า หรือ Error 404 คุณต้องทำการแก้ไขไฟล์นั้น

หากคุณพบไฟล์ที่ถูกต้อง มันอาจจะถูกตั้งค่าเป็นค่าเริ่มต้นเมื่อคุณสร้างเว็บไซต์นั้นขึ้นมา

ขั้นตอนต่อไปนี้ขึ้นอยู่กับว่าคุณมีไฟล์ robots.txt หรือไม่

หากคุณไม่มีไฟล์ robots.txt คุณจะต้องเริ่มสร้างไฟล์ใหม่ตั้งแต่ต้น โดยใช้โปรแกรมแก้ไขข้อความธรรมดา เช่น Notepad สำหรับระบบปฏิบัติการ Windows หรือ TextEdit สำหรับระบบปฏิบัติการ Mac หากใช้โปรแกรมอื่น เช่น Microsoft Word โปรแกรมอาจจะแทรกโค้ดบางอย่างลงไปในข้อความเองได้โดยที่เราไม่ได้ตั้งใจ

การสร้างไฟล์ Robots.txt_Robots.txt_เทคนิค SEO_การทำ SEO_รับทำ SEO_บริษัทรับทำ SEO_เทคนิคการทำ SEO_เทคนิคเพิ่ม traffic_เพิ่ม traffic ให้กับเว็บไซต์_การสร้าง Content_เครื่องมือ SEO_เครื่องมือ SEO Google_วิธีทำ SEO

หากคุณมีไฟล์ robots.txt อยู่แล้ว คุณต้องนำมันไปไว้ใน Root Directory ของเว็บไซต์ของคุณ

โดยปกติแล้ว คุณสามารถค้นหา Root Directory ของคุณได้โดยการไปที่ Hosting Account ของเว็บไซต์ เข้าสู่ระบบ และไปยังส่วนของการจัดการไฟล์ หรือ FTP ของเว็บไซต์

และคุณจะได้เห็นหน้าจอดังนี้

การสร้างไฟล์ Robots.txt_Robots.txt_เทคนิค SEO_การทำ SEO_รับทำ SEO_บริษัทรับทำ SEO_เทคนิคการทำ SEO_เทคนิคเพิ่ม traffic_เพิ่ม traffic ให้กับเว็บไซต์_การสร้าง Content_เครื่องมือ SEO_เครื่องมือ SEO Google_วิธีทำ SEO

ค้นหาไฟล์ robots.txt และกดเปิดขึ้นมาเพื่อแก้ไข ลบข้อความทั้งหมดข้างในออกไป แต่เก็บไฟล์ไว้

หากคุณใช้ WordPress คุณจะเห็นไฟล์ robots.txt ของคุณเมื่อคุณไปที่ “URL ของเว็บไซต์/robots.txt” แต่จะไม่มีเป็นตัวไฟล์เก็บไว้

นั่นเป็นเพราะ WordPress นั้นจะสร้างไฟล์ robots.txt เสมือนขึ้นมา หากไม่มีไฟล์ robots.txt จริงๆ ใน Root Directory

การสร้างไฟล์ robots.txt

คุณสามารถสร้างไฟล์ robots.txt ขึ้นมาใหม่ได้โดยการใช้โปรแกรมแก้ไขข้อความธรรมดาของคุณเท่านั้น

หากคุณมีไฟล์ robots.txt อยู่แล้ว ตรวจสอบให้แน่ใจว่าคุณได้ลบข้อความภายในไปแล้วทั้งหมด แต่ต้องยังเก็บตัวไฟล์เอาไว้เพื่อนำมาใช้งาน

ก่อนอื่นคุณต้องทำความรู้จักกับโครงสร้างทางภาษาในการสร้างโปรแกรมที่จะต้องใช้ในการสร้างไฟล์ Robots.txt ของคุณ

Google มีคำอธิบายที่ดีเกี่ยวกับโครงสร้างทางภาษาพื้นฐานของไฟล์ robots.txt ดังนี้

การสร้างไฟล์ Robots.txt_Robots.txt_เทคนิค SEO_การทำ SEO_รับทำ SEO_บริษัทรับทำ SEO_เทคนิคการทำ SEO_เทคนิคเพิ่ม traffic_เพิ่ม traffic ให้กับเว็บไซต์_การสร้าง Content_เครื่องมือ SEO_เครื่องมือ SEO Google_วิธีทำ SEO

เริ่มต้นด้วยการตั้งค่าคำแทนตัวผู้ใช้งาน ซึ่งเราจะตั้งค่าให้ใช้กับ web robots ทั้งหมด

สามารถทำได้โดยการใช้เครื่องหมาย * หลังชื่อผู้ใช้งาน ตามตัวอย่างนี้

การสร้างไฟล์ Robots.txt_Robots.txt_เทคนิค SEO_การทำ SEO_รับทำ SEO_บริษัทรับทำ SEO_เทคนิคการทำ SEO_เทคนิคเพิ่ม traffic_เพิ่ม traffic ให้กับเว็บไซต์_การสร้าง Content_เครื่องมือ SEO_เครื่องมือ SEO Google_วิธีทำ SEO

ถัดไป พิมพ์ “Disallow:” ลงไป และไม่ต้องพิมพ์อะไรอีกหลังจากนั้น

การสร้างไฟล์ Robots.txt_Robots.txt_เทคนิค SEO_การทำ SEO_รับทำ SEO_บริษัทรับทำ SEO_เทคนิคการทำ SEO_เทคนิคเพิ่ม traffic_เพิ่ม traffic ให้กับเว็บไซต์_การสร้าง Content_เครื่องมือ SEO_เครื่องมือ SEO Google_วิธีทำ SEO

เนื่องจากไม่มีอะไรอยู่หลังจากคำว่า “Disallow:” จึงทำให้ web robots สามารถรวบรวมข้อมูลทั้งหมดบนเว็บไซต์ของคุณได้

ในตอนนี้ไฟล์ robots.txt ของคุณควรมีลักษณะเช่นนี้

การสร้างไฟล์ Robots.txt_Robots.txt_เทคนิค SEO_การทำ SEO_รับทำ SEO_บริษัทรับทำ SEO_เทคนิคการทำ SEO_เทคนิคเพิ่ม traffic_เพิ่ม traffic ให้กับเว็บไซต์_การสร้าง Content_เครื่องมือ SEO_เครื่องมือ SEO Google_วิธีทำ SEO

แม้ว่าจะดูไม่มีอะไรมากมาย แต่ข้อความสองบรรทัดนี้มีความหมายอย่างมาก

และคุณสามารถลิงก์ไปยังแผนผังเว็บไซต์ XML ของคุณได้ แต่ไม่ได้มีความจำเป็น หากคุณต้องการที่จะทำ นี่คือสิ่งที่คุณต้องพิมพ์ลงไป

การสร้างไฟล์ Robots.txt_Robots.txt_เทคนิค SEO_การทำ SEO_รับทำ SEO_บริษัทรับทำ SEO_เทคนิคการทำ SEO_เทคนิคเพิ่ม traffic_เพิ่ม traffic ให้กับเว็บไซต์_การสร้าง Content_เครื่องมือ SEO_เครื่องมือ SEO Google_วิธีทำ SEO

และนั่นคือพื้นฐานการสร้างไฟล์ Robots.txt ทีนี้เราลองไปกันอีกระดับ แล้วทำให้ไฟล์เล็กๆ นี้สนับสนุนการทำ SEO ได้

การเพิ่มประสิทธิภาพไฟล์ robots.txt สำหรับการทำ SEO

วิธีการเพิ่มประสิทธิภาพไฟล์ robots.txt นันขึ้นอยู่กับ Content ที่คุณมีอยู่บนเว็บไซต์  และนี่คือวิธีเบื้องต้นในการใช้งานไฟล์ robots.txt

หนึ่งในประโยชน์ที่ดีที่สุดของการใช้ไฟล์ robots.txt คือการเพิ่มงบประมาณในการรวบรวมข้อมูลของเครื่องมือค้นหา โดยการบอกให้พวกเขาไม่ต้องรวบรวมข้อมูลในบางส่วนของเว็บไซต์

ตัวอย่างเช่น หากคุณเรียกดูไฟล์ robots.txt ของเว็บไซต์ neilpatel.com คุณจะเห็นว่ามีการไม่อนุญาตให้มีการรวบรวมข้อมูลในหน้า Log in (wp-admin)

การสร้างไฟล์ Robots.txt_Robots.txt_เทคนิค SEO_การทำ SEO_รับทำ SEO_บริษัทรับทำ SEO_เทคนิคการทำ SEO_เทคนิคเพิ่ม traffic_เพิ่ม traffic ให้กับเว็บไซต์_การสร้าง Content_เครื่องมือ SEO_เครื่องมือ SEO Google_วิธีทำ SEO

เนื่องจากในหน้านั้นใช้สำหรับการเข้าสู่ระบบเบื้องหลังของเว็บไซต์ จึงไม่ควรให้ Bots ของเครื่องมือค้นหาเสียเวลาในการรวบรวมข้อมูล

คุณสามารถใช้คำสั่งนี้ในการบอกกับ Bots ของเครื่องมือค้นหาไม่ให้ทำการรวบรวมข้อมูลของเว็บเพจใดก็ได้ โดยการใส่ส่วนที่อยู่ด้านหลังคำว่า .com ใน URL ของเว็บเพจนั้น ไว้ด้านหลังคำว่า Disallow ในไฟล์ robots.txt 

ตัวอย่างเช่น หากคุณต้องการบอกกับ Bots ไม่ให้รวบรวมข้อมูลของเว็บเพจ http://yoursite.com/page/ คุณก็ต้องพิมพ์ดังนี้

การสร้างไฟล์ Robots.txt_Robots.txt_เทคนิค SEO_การทำ SEO_รับทำ SEO_บริษัทรับทำ SEO_เทคนิคการทำ SEO_เทคนิคเพิ่ม traffic_เพิ่ม traffic ให้กับเว็บไซต์_การสร้าง Content_เครื่องมือ SEO_เครื่องมือ SEO Google_วิธีทำ SEO

คุณอาจสงสัยว่าเว็บเพจแบบไหนที่ไม่อยากให้มีการรวบรวมข้อมูลเกิดขึ้น นี่คือตัวอย่างสถานการณ์ทั่วไปที่อาจเกิดขึ้นได้

– การมี Content ที่ซ้ำซ้อน 
แม้ว่าส่วนใหญ่แล้วการมี Content ที่ซ้ำซ้อนกันจะเป็นเรื่องที่ไม่ดี แต่ก็จะมีในบางกรณีที่หลีกเลี่ยงไม่ได้

ตัวอย่างเช่น หากคุณมีเว็บเพจในรุ่นที่เหมาะสำหรับการพิมพ์ คุณจะมี Content ที่ซ้ำซ้อนกันจากปัญหาทางเทคนิค ซึ่งอาจเกิดขึ้นได้จากการสำรองข้อมูล ในกรณีนี้คุณสามารถบอกกับ Bots ไม่ให้รวบรวมข้อมูล Content ที่ซ้ำซ้อนกันในรุ่นอื่นๆได้

สิ่งนี้จะมีประโยชน์หากคุณกำลังแยกทดสอบเว็บเพจที่มี Content เหมือนกัน แต่มีการออกแบบที่แตกต่างกัน

– Thank You Pages
เว็บเพจสำหรับขอบคุณในการซื้อสินค้าหรือบริการ หรือ Thank You Pages มักจะเป็นหนึ่งในหน้าที่ชื่นชอบของนักการตลาด เพราะนั่นอาจหมายถึงโอกาสในการขายครั้งต่อไป

คุณอาจจะพบ Thank You Pages บางหน้าได้ผ่าน Google นั่นหมายความว่าผู้คนสามารถเข้าถึงหน้านี้ได้โดยไม่ต้องผ่านกระบวนการการซื้อสินค้า ซึ่งนั่นไม่ใช่เรื่องที่ดี เพราะบางเว็บไซต์มีการให้รางวัลกับผู้ซื้อสินค้าที่หน้านี้

ด้วยการปิดกั้นการรวบรวมข้อมูล คุณจะสามารถแก้ไขปัญหานี้ได้ และโอกาสในการซื้อสินค้าในครั้งต่อไปก็จะตกเป็นของผู้ที่มีสิทธิที่จะได้รับมัน

สมมติว่า: Thank You Pages ของคุณอยู่ที่ https://yoursite.com/thank-you/ คุณสามารถทำการปิดกั้นการรวบรวมข้อมูลในไฟล์ robots.txt ของคุณได้ดังนี้

การสร้างไฟล์ Robots.txt_Robots.txt_เทคนิค SEO_การทำ SEO_รับทำ SEO_บริษัทรับทำ SEO_เทคนิคการทำ SEO_เทคนิคเพิ่ม traffic_เพิ่ม traffic ให้กับเว็บไซต์_การสร้าง Content_เครื่องมือ SEO_เครื่องมือ SEO Google_วิธีทำ SEO

เนื่องจากไม่มีกฎสากลในการปิดกั้นการรวบรวมข้อมูล ดังนั้น robots.txt ของคุณจะสามารถปรับแต่งได้ตามความเหมาะสมสำหรับเว็บไซต์ของคุณ ขึ้นอยู่กับวิจารณญาณของคุณแล้วว่าจะทำอย่างไรกับมัน

มีอีกสองแนวทางที่คุณควรทราบ นั่นคือ noindex และ nofollow 

คุณทราบหรือไม่ว่าคำสั่ง “disallow” นั้นไม่ใช่การสั่งให้ไม่มีการรวบรวมข้อมูลโดยตรง ในทางทฤษฎีคือการไม่อนุญาตให้ใช้เว็บเพจนี้ แต่มันยังอาจจะถูกจัดเก็บเข้าไปในฐานข้อมูลของเครื่องมือค้นหา

นั่นคือเหตุผลที่คุณต้องใช้คำสั่ง “noindex” ให้ทำงานร่วมกับคำสั่ง “disallow” เพื่อให้แน่ใจว่า Bots จะไม่เข้ามาทำการรวบรวมข้อมูลและจัดเก็บฐานข้อมูลกับเว็บเพจนั้น

หากคุณมีเว็บเพจใดที่ไม่ต้องการให้ทำการจัดเก็บเข้าไปในฐานข้อมูลของเครื่องมือค้นหา เช่น Thank You Pages คุณสามารถใช้ทั้งคำสั่ง “noindex” และ “disallow” ควบคู่กันไปได้

การสร้างไฟล์ Robots.txt_Robots.txt_เทคนิค SEO_การทำ SEO_รับทำ SEO_บริษัทรับทำ SEO_เทคนิคการทำ SEO_เทคนิคเพิ่ม traffic_เพิ่ม traffic ให้กับเว็บไซต์_การสร้าง Content_เครื่องมือ SEO_เครื่องมือ SEO Google_วิธีทำ SEO

ตอนนี้เว็บเพจนั้นก็จะไม่ปรากฎอยู่บนหน้าผลรวมการค้นหาแล้ว

สุดท้ายคือคำสั่ง “nofollow” ซึ่งอันที่จริงแล้วมันทำงานแบบเดียวกับ nofollow link ซึ่งเป็นคำสั่งไม่ให้ web robots รวบรวมข้อมูลของลิงก์นั้น

แต่คำสั่ง “nofollow” สำหรับการสร้างไฟล์ Robots.txt นั้นจะใช้งานแตกต่างกันเล็กน้อย เพราะในความเป็นจริงแล้วมันไม่ใช่ส่วนหนึ่งของไฟล์ robots.txt

อย่างไรก็ตาม คำสั่ง “nofollow” ยังคงใช้ในการสั่งงาน web robots ได้ จึงสามารถใช้แนวคิดเดียวกันได้ แตกต่างกันเพียงสถานที่ในการใช้งาน

ค้นหาโค้ดในเว็บเพจที่ต้องการเปลี่ยนแปลง และตรวจสอบให้แน่ใจว่ามันอยู่ระหว่างแท็ก <head>

การสร้างไฟล์ Robots.txt_Robots.txt_เทคนิค SEO_การทำ SEO_รับทำ SEO_บริษัทรับทำ SEO_เทคนิคการทำ SEO_เทคนิคเพิ่ม traffic_เพิ่ม traffic ให้กับเว็บไซต์_การสร้าง Content_เครื่องมือ SEO_เครื่องมือ SEO Google_วิธีทำ SEO

จากนั้นวางบรรทัดนี้ลงไป 

<meta name=”robots” content=”nofollow”>

ดังลักษณะในตัวอย่างนี้

การสร้างไฟล์ Robots.txt_Robots.txt_เทคนิค SEO_การทำ SEO_รับทำ SEO_บริษัทรับทำ SEO_เทคนิคการทำ SEO_เทคนิคเพิ่ม traffic_เพิ่ม traffic ให้กับเว็บไซต์_การสร้าง Content_เครื่องมือ SEO_เครื่องมือ SEO Google_วิธีทำ SEO

นี่เป็นอีกหนึ่งตัวเลือกที่ดีสำหรับ Thank You Pages เนื่องจาก web robots จะไม่กระทำการใดๆ กับเว็บเพจนั้น หากคุณต้องการใช้ทั้งคำสั่ง “noindex” และ “nofollow” พร้อมกัน ให้ใส่โค้ดดังต่อไปนี้

<meta name =” robots” content =” noindex, nofollow”>

สิ่งนี้จะทำให้ web robots รับคำสั่งทั้ง 2 คำสั่งพร้อมกัน

การทดสอบความถูกต้อง
ขั้นตอนสุดท้ายคือการทดสอบการสร้างไฟล์ Robots.txt เพื่อให้แน่ใจว่าทุกอย่างถูกต้อง

Google มีเครื่องมือทดสอบไฟล์ robots.txt ให้ใช้งานได้ฟรี ซึ่งเป็นส่วนหนึ่งของ Webmaster tools โดยมีขั้นตอนการใช้งานดังนี้

1. ลงชื่อเข้าใช้บัญชี Webmaster ของคุณ โดยคลิก “Sign In” ที่มุมบนด้านขวา

การสร้างไฟล์ Robots.txt_Robots.txt_เทคนิค SEO_การทำ SEO_รับทำ SEO_บริษัทรับทำ SEO_เทคนิคการทำ SEO_เทคนิคเพิ่ม traffic_เพิ่ม traffic ให้กับเว็บไซต์_การสร้าง Content_เครื่องมือ SEO_เครื่องมือ SEO Google_วิธีทำ SEO

2. เลือก Property ของคุณ เช่น เว็บไซต์ หรืออื่นๆ แล้วคลิกที่ “Crawl” ในแถบด้านซ้ายมือ

การสร้างไฟล์ Robots.txt_Robots.txt_เทคนิค SEO_การทำ SEO_รับทำ SEO_บริษัทรับทำ SEO_เทคนิคการทำ SEO_เทคนิคเพิ่ม traffic_เพิ่ม traffic ให้กับเว็บไซต์_การสร้าง Content_เครื่องมือ SEO_เครื่องมือ SEO Google_วิธีทำ SEO

3. คลิกที่ “robots.txt Tester”

การสร้างไฟล์ Robots.txt_Robots.txt_เทคนิค SEO_การทำ SEO_รับทำ SEO_บริษัทรับทำ SEO_เทคนิคการทำ SEO_เทคนิคเพิ่ม traffic_เพิ่ม traffic ให้กับเว็บไซต์_การสร้าง Content_เครื่องมือ SEO_เครื่องมือ SEO Google_วิธีทำ SEO

4. หากมีโค้ดใดๆ อยู่ในช่องนี้ ให้ลบออก และแทนที่ด้วยไฟล์ robots.txt ใหม่ของคุณ

5. คลิกที่ “Test” ที่มุมด้านล่างขวาของหน้าจอ

การสร้างไฟล์ Robots.txt_Robots.txt_เทคนิค SEO_การทำ SEO_รับทำ SEO_บริษัทรับทำ SEO_เทคนิคการทำ SEO_เทคนิคเพิ่ม traffic_เพิ่ม traffic ให้กับเว็บไซต์_การสร้าง Content_เครื่องมือ SEO_เครื่องมือ SEO Google_วิธีทำ SEO

หากปุ่ม “Test” นั้นเปลี่ยนเป็น “Allowed” นั่นหมายความว่า robots.txt ของคุณถูกต้อง

6. อัปโหลด robots.txt ของคุณ ไปยัง Root Directory ตอนนี้คุณก็จะได้ไฟล์ robots.txt ที่มีประสิทธิภาพแล้ว

สรุป
การตั้งค่าไฟล์ robots.txt ของคุณอย่างถูกต้อง ไม่เพียงเป็นการเพิ่มประสิทธิภาพให้กับ SEO ของคุณเอง แต่ยังเป็นการช่วยเหลือผู้เข้าชมของคุณด้วยการมีโครงสร้างเว็บไซต์ที่ดีอีกด้วย 

หาก Bots ของเครื่องมือค้นหาสามารถใช้งบประมาณในการรวบรวมข้อมูลได้อย่างมีประสิทธิภาพ พวกเขาจะสามารถจัดระเบียบเว็บเพจ และแสดง Content ของคุณบนหน้าผลรวมการค้นหาได้เป็นอย่างดี 

นอกจากนี้การตั้งค่าไฟล์ robots.txt ก็ไม่ได้ใช้ความพยายามมากนัก ส่วนใหญ่เป็นการตั้งค่าเพียงครั้งเดียว และคุณยังสามารถเปลี่ยนแปลงเล็กน้อยได้ทุกเวลาที่คุณต้องการ

ไม่ว่านี่จะเป็นการสร้างไฟล์ Robots.txt สำหรับเว็บไซต์แรกของคุณ หรือจะเป็นเว็บไซต์ที่ 5 แล้วก็ตาม การใช้ robots.txt ก็สามารถสร้างความแตกต่างอย่างมีนัยสำคัญได้เสมอ คุณจึงควรลองปรับปรุงไฟล์ robots.txt ของคุณเพื่อผลลัพธ์ที่ดีขึ้น

อ้างอิงจาก https://neilpatel.com/blog/robots-txt/