Lessons learned from GitLab database incident
White

Hiếu Huỳnh viết ngày 04/03/2017

For your information:

alt text

Lessons learned:

  • Engineers should get more sleeps
  • Restore strategy is more important than backup strategy
  • Testing backup plans would not be a bad idea. If we don't test backups, we don't have them. We must rechecking backup/restore plans monthly, quarterly or yearly
  • Always careful, anything with sudo command, we need to double/triple check
  • Change terminal PS1 format/colors to make it clear whether you’re using production or staging
    • RED for production
    • Blue/green for staging
  • Show the full hostname in the bash prompt for all users by default (e.g., “db1.staging.gitlab.com” instead of just “db1”)
Bình luận


White
{{ comment.user.name }}
Bỏ hay Hay
{{comment.like_count}}
Male avatar
{{ comment_error }}
Hủy
   

Hiển thị thử

Chỉnh sửa

White

Hiếu Huỳnh

6 bài viết.
2 người follow
Kipalog
{{userFollowed ? 'Following' : 'Follow'}}
Cùng một tác giả
White
6 0
Khi tiếp cận một hệ thống mới, nên follow theo những hướng như sau: 1. Tìm hiểu tổng quan của system, architecture 2. Đào sâu từng module của sys...
Hiếu Huỳnh viết hơn 1 năm trước
6 0
White
4 0
What is slow query log? Slow queries can affect database and server performance. The slow query log consists of SQL statements that took more t...
Hiếu Huỳnh viết hơn 1 năm trước
4 0
White
2 0
Problem SSH session is stuck and cannot be exited by entering exit or CTRL+D And we need to break out this session without closing terminal emula...
Hiếu Huỳnh viết hơn 1 năm trước
2 0
{{like_count}}

kipalog

{{ comment_count }}

bình luận

{{liked ? "Đã kipalog" : "Kipalog"}}


White
{{userFollowed ? 'Following' : 'Follow'}}
6 bài viết.
2 người follow

 Đầu mục bài viết

Vẫn còn nữa! x

Kipalog vẫn còn rất nhiều bài viết hay và chủ đề thú vị chờ bạn khám phá!