Robots.txt ดาบสองคม จริงหรือ ?

สืบเนื่องจากมาบทความ Robots.txt คืออะไร ? ที่ผมได้เขียนไม่นานนี้อ่ะครับ มันทำให้ผมคิดได้ว่า การที่เราเขียนไฟล์ robots.txt ให้ Google หรือ Search Engine ตัวอื่นมาเก็บข้อมูลไปนั้น ในส่วนของข้อมูลบางข้อมูลเราก็ไม่อยากเปิดเผย เช่น เอกสารข้อมูลลูกค้า รายชื่อติดต่อต่างๆ เป็นต้น ซึ่งเราก็สามารถสั่งให้ robot ไม่ต้องเก็บข้อมูลตามที่เราสั่งได้ แต่ทว่าการสั่งไม่ให้มันเก็บข้อมูลนี้ ก็อาจเกิดกรณีศึกษาอย่างนี้ได้

————————————————————

คำเตือน : ถ้าคุณจะนำวิธีการในบทความนี้ไปใช้สำหรับการแฮกหรือทำลายระบบคอมพิวเตอร์ อย่างมีเจตนาร้ายและผิดกฏหมาย คุณต้องเป็นผู้รับผิดชอบสิ่งที่จะเกิดขึ้น ในฐานะผู้เขียนและบุคคลที่เกี่ยวข้องกับบทความนี้จะไม่มีส่วนร่วมรับผิดชอบ ในการกระืทำหรืออาชญากรรมทีุ่คุณได้ก่อขึ้นโดยใช้วิธีและเครื่องมือที่ได้ เขียนไว้ในบทความ เพราะบทความนี้มีเจตนาเพียงประการเดียวสำหรับผู้ที่สนใจในด้านความปลอดภัย ของระบบ ที่ประสงค์จะป้องกันระบบเพื่อไม่ให้ตกเป็นเหยื่อของผู้ไม่หวังดี ซึ่งทุกวันนี้มีจำนวนเพิ่มมากขึ้น เท่านั้น

“หากจะจับขโมยให้ได้ ต้องคิดให้เหมือนขโมย แต่อย่าทำในสิ่งที่ขโมยจะทำ เพราะนั้น คือความผิด”

————————————————————

ตัวอย่างเหตุการณ์สมมติ

www.sell-server.co.th ได้จัดทำเว็บไซต์ขึ้นมาหนึ่งเว็บ ซึ่งเป็นเว็บบริการอัพเดตข้อมูลการติดต่อของลุกค้าที่ใช้บริการ

โดยทางผู้พัฒนาเว็บได้เล็งเห็นถึงความปลอดภัยของข้อมูลดังกล่าว จึงทำการเขียนไฟล์ robots.txt ขึ้นมาเพื่อกั้นไม่ให้ robot ของ Search Engine ต่างๆ เข้ามาเก็บข้อมูลในไดเรกทอรี่ data ซึ่งเป็นไดเรกทอรี่ที่เก็บข้อมูลดังกล่าว

และในการนี้ผู้พัฒนาเว็บดังกล่าว ได้ทำการเขียนไดเรกทอรี่ที่ไม่ต้องการเปิดเผยข้อมูลอีกหนึ่งที่ ซึ่งคือ ไดเรกทอรี่ old-data ซึ่งเป็นไดเรกทอรี่ที่เก็บรวบรวมเอกสาร PDF ที่เป็นข้อมูลเก่าของบริษัท เพื่อความสะดวกในการค้นหาข้อมูลของทางบริษัืท

ซึ่งผู้พัฒนาเว็บดังกล่าวได้เขียนคำสั่งไปว่า
# sell-server.co.th robots.txt

User-agent: *
Disallow: /data
Disallow: /old-data
Disallow: /admin

————————————-

หลังจากที่ผู้พัฒนาเว็บได้อัพโหลดไฟล์ขึ้นไปแล้ว ซึ่ง URL คือ www.sell-server.co.th/robots.txt เขาก็ได้ไปนอนหลับพักผ่อน

ในระหว่างเดียวกันนั้น ได้มี แฮกเกอร์คนหนึ่ง มาเจอ URL ดังกล่าว

แฮกเกอร์คนนั้นก็สามารถรู้ได้ว่า ไดเรกทอรี่ดังกล่าวต้องมีความสำคัญกับเว็บไซต์และบริษัทนี้ด้วย

เขาเลยจัดการรวบรวมข้อมูล และก็ไต่ไปมาในเว็บไซค์ดังกล่าว

—————————————–

เอาล่ะ ผมขอสรุปเลยแล้วกัน ถึงแม้ว่าไฟล์ robots.txt

สามารถกั้นไม่ให้ google และ Search Engine มาเก็บข้อมูลบางอย่างได้

แต่ก็ใช่ว่าจะสามารถกั้นผู้ไม่หวังดีได้ ดังนั้น robots.txt ก็เหมือนดาบสองคมแหละครับ ที่มีทั้งดีและไม่ดีในตัว

แต่ทั้งนี้ทั้งนั้น ผมก็หวังว่า ผู้พัฒนาเว็บไซต์ทุกคน ควรจัดการข้อมูลให้ดี ข้อมูลไหนที่เก่าๆ

หรือเป็นข้อมูลที่ไม่ต้องการเปิดเผยให้บุคคลทั่วไปเปิดดู ก็ไม่ต้องอัพขึ้นมาบนเว็บเซิร์ฟเวอร์หรอกครับ มันเสี่ยงเปล่าๆ ถ้าจะแลกกับความสะดวก

อีกอย่างการตั้งค่าคอนฟิกให้กับเว็บเซิร์ฟเวอร์ก็ช่วยได้นะครับ โดยเฉพาะการยอมให้บุคคลทั่วไปเข้าถึงไฟล์ที่จำเป็นสำหรับใช้งานเท่านั้น

และที่สำคัญครับเว็บเซิร์ฟเวอร์ควรอัพเดตเวอร์ชั่นให้ล่าสุดด้วยครับ เพราะเท่าที่สืบมา รู้สึกว่า patch ล่าสุด แต่ละตัวจะรักษาไดเรกทอรี่ได้ดีที่เดียวครับ

ถูกใจกดปุ่ม Share + Tweet + ถูกใจ จักเป็นพระคุณอย่างสูง ^_^