4 công cụ phân tích data raw bằng command line

alt text
Trong quá trình làm việc với data raw và data logs mình thấy có rất nhiều công cụ hữu ích tăng tốc việc thử nghiệm và phân tích dữ liệu.

Mình xin giới thiệu đến mọi người 4 công cụ phân tích data raw bằng command line:
1) jq
Đây là tool khá lâu đời nhưng dùng rất tuyệt. Mình chủ yếu dùng tool này để phân tích data dạng jsonl (json line)
Syntax mất 10 phút để làm quen: https://stedolan.github.io/jq/tutorial/
Link down: https://github.com/stedolan/jq

2) jid
Tool này có thể nói là bản nâng cấp của jq vì có support auto completion và interactive
Xem demo: https://github.com/simeji/jid

3) q
Công cụ này giúp phân tích CSV theo ngôn ngữ SQL
(Support WHERE, GROUP BY, JOIN) nên rất dễ để tiếp cận
Xem ví dụ: http://harelba.github.io/q/examples.html
Link cài: https://github.com/harelba/q

4) csvq
Công cụ csvq ưu điểm là hỗ trợ SQL Syntax với đa dạng format json, csv, tsv.
Tool CSVQ mình chưa dùng nhưng vì support nhiều format nên cũng list ra để mọi người tham khảo.
Link github: https://github.com/mithrandie/csvq
Công cụ phân tích log bên mình dùng cho sản phẩm trợ lý mua sắm BeeCost - https://www.beecost.com/?utm_content=kipalog&pub=tuanJQBash.

Cá nhân mình rất thích** JQ ** vì có thể test ở dạng command line, sau đó dùng thư viện pyjq (https://pypi.org/project/pyjq/) để re-use và implement lại bằng code python nhanh chóng.
Data logs, data raw của BeeCost được format dạng jsonl gzip compression để lưu trữ và phân tích.
VD:
$ zcat log_beecost_201909*.gz | head | jq '.'

Cảm ơn mọi người đã quan tâm!

Bình luận


White
{{ comment.user.name }}
Bỏ hay Hay
{{comment.like_count}}
Male avatar
{{ comment_error }}
Hủy
   

Hiển thị thử

Chỉnh sửa

White

Trần Minh Tuấn

2 bài viết.
0 người follow
Kipalog
{{userFollowed ? 'Following' : 'Follow'}}
Cùng một tác giả
White
3 0
(Ảnh) Giới thiệu Bước đầu tiên, chúng ta hướng tới sự hiểu biết về lý do tại sao nghiên cứu và kiến thức về thuật toán lại rất quan trọng và xác...
Trần Minh Tuấn viết 21 ngày trước
3 0
Bài viết liên quan
White
7 3
Description Mình là một thằng thích đọc sách. Nhưng lúc nào cũng bận (lười) nên cũng mấy tháng rồi chưa hoàn thành được quyển sách nào. Mình đa số...
Rice viết 9 tháng trước
7 3
White
4 2
Requirement Hôm bữa đọc được bài https://kipalog.com/posts/Hocvacaithienkienthuctucacduancanhanpetproject thấy hay quá. Tính cũng định viết con ap...
Rice viết 9 tháng trước
4 2
{{like_count}}

kipalog

{{ comment_count }}

bình luận

{{liked ? "Đã kipalog" : "Kipalog"}}


White
{{userFollowed ? 'Following' : 'Follow'}}
2 bài viết.
0 người follow

 Đầu mục bài viết

Vẫn còn nữa! x

Kipalog vẫn còn rất nhiều bài viết hay và chủ đề thú vị chờ bạn khám phá!