robots.txt เป็นไฟล์ที่บอกให้ Search Engine เช่น google ,yahoo มาเก็บข้อมูลในหน้าเว็บของเรา ซึ่งในทางปฏิบัติแล้ว มันจะเก็บทุกส่วนของเว็บไซต์เรา ซึ่งถ้าเราไม่ต้องการให้มันเรียกเก็บข้อมูลในส่วนไหน เราก็สามารถป้องกันได้ ด้วยไฟล์ robots.txt นี้เอง โรบอต (Robot) เป็นโปรแกรมเก็บข้อมูลในอินเตอร์เน็ต ซึ่งบางครั้ง เรียกว่าสไปเดอร์ (Spider) หรือ ครอว์เลอร์(Crawler) จะทําหน้าที่รวบรวมไฟล์ HTML เพื่อมาเป็นข้อมูล สําหรับสร้างดัชนีค้นหา ให้กับ เสิร์จเอ็นจิน (Search Engine) โดยทั่วไปแล้ว โรบอตจะกลับมาที่เว็บไซต์ที่อ่านไปแล้ว เพื่อตรวจสอบ การเปลี่ยนแปลง ตามระยะเวลาที่กําหนด
Spam บุกบล็อก ป้องกันด้วย Akismet
กรี๊ดดดด ผมอยากจะบ้าตาย วันนี้มาเปิดบล็อกว่าจะเขียนเรื่องอะไรสนุกๆหน่อย แต่พอเข้าไปในหน้าควบคุมกลาง ดันเจอรายงานการเตือนเกี่ยวกับการคอมเม้นต์ขยะหรือจะเรียกมันว่า spam ก็ได้ ซึ่งผมดูรายงานถึงกับนิ่งครับ ไม่ได้อัพเดต 3 วัน แมร่งมาโจมตีผมเกือบ 100 กว่าคอมเม้นต์ T^T งานนี้โชคดีครับที่ผมมี Akismet ซึ่งเป็น Plugin ของ WordPress ครับ