Lessons learned from GitLab database incident
White

Hiếu Huỳnh viết ngày 04/03/2017

For your information:

alt text

Lessons learned:

  • Engineers should get more sleeps
  • Restore strategy is more important than backup strategy
  • Testing backup plans would not be a bad idea. If we don't test backups, we don't have them. We must rechecking backup/restore plans monthly, quarterly or yearly
  • Always careful, anything with sudo command, we need to double/triple check
  • Change terminal PS1 format/colors to make it clear whether you’re using production or staging
    • RED for production
    • Blue/green for staging
  • Show the full hostname in the bash prompt for all users by default (e.g., “db1.staging.gitlab.com” instead of just “db1”)
Bình luận


White
{{ comment.user.name }}
Bỏ hay Hay
{{comment.like_count}}
Male avatar
{{ comment_error }}
Hủy
   

Hiển thị thử

Chỉnh sửa

White

Hiếu Huỳnh

6 bài viết.
2 người follow
Kipalog
{{userFollowed ? 'Following' : 'Follow'}}
Cùng một tác giả
White
6 0
Khi tiếp cận một hệ thống mới, nên follow theo những hướng như sau: 1. Tìm hiểu tổng quan của system, architecture 2. Đào sâu từng module của sys...
Hiếu Huỳnh viết 12 tháng trước
6 0
White
4 0
What is slow query log? Slow queries can affect database and server performance. The slow query log consists of SQL statements that took more t...
Hiếu Huỳnh viết 11 tháng trước
4 0
White
2 0
Problem SSH session is stuck and cannot be exited by entering exit or CTRL+D And we need to break out this session without closing terminal emula...
Hiếu Huỳnh viết 11 tháng trước
2 0
{{like_count}}

kipalog

{{ comment_count }}

bình luận

{{liked ? "Đã kipalog" : "Kipalog"}}


White
{{userFollowed ? 'Following' : 'Follow'}}
6 bài viết.
2 người follow

 Đầu mục bài viết

Vẫn còn nữa! x

Kipalog vẫn còn rất nhiều bài viết hay và chủ đề thú vị chờ bạn khám phá!