Khắc phục lỗi Mkdirs failed khi chạy hadoop trên local mac os
hadoop
11
White

Hoàng Minh Trung viết ngày 23/05/2015

Gần đây mình có thử chạy hadoop trên aerospike database theo tutorial
https://github.com/aerospike/aerospike-hadoop

Khi build xong jar file của sample, thử chạy thì xuất hiện lỗi:

hadoop \
    jar \
    ./examples/aggregate_int_input/build/libs/aggregate_int_input.jar \
    -D aerospike.input.namespace=test \
    -D aerospike.input.setname=integers \
    -D aerospike.input.binnames=bin1,bin2 \
    -D aerospike.input.operation=numrange \
    -D aerospike.input.numrange.bin=bin1 \
    -D aerospike.input.numrange.begin=100 \
    -D aerospike.input.numrange.end=200 \
    /tmp/output
Exception in thread "main" java.io.IOException: Mkdirs failed to create /var/folders/4_/4hb8bb8d5kv5dxt8cz8tyrgmj8k1d1/T/hadoop-unjar6207484306051085671/META-INF/license

Mọi quyền của thư mục /var/folders đều ổn, ACL của hdfs cũng ok với user hiện tại là superuser.
Sau khi google một lúc thì lý do là do mình sử dụng MacOSX, và hệ thống file system của Mac OSX là case sensitive

Để giải quyết mình đã làm theo hướng tìm được ở đây:
http://stackoverflow.com/questions/10522835/hadoop-java-io-ioexception-mkdirs-failed-to-create-some-path

Cách làm:

  • Delete folder MANIFEST/LICENSE hiện tại:
zip -d aggregate_int_input.jar META-INF/LICENSE
  • Validate lại package để tạo lại thư mục license
jar tvf aggregate_int_input.jar | grep -i license

Output

 11358 Mon Mar 16 00:31:16 JST 2009 META-INF/LICENSE.txt
 11560 Wed Oct 05 10:34:46 JST 2011 META-INF/maven/org.xerial.snappy/snappy-java/LICENSE
 11358 Tue Oct 25 06:32:32 JST 2011 LICENSE.txt
     0 Wed Jan 16 12:42:58 JST 2013 META-INF/license/
  1592 Wed Jan 16 12:42:10 JST 2013 META-INF/license/LICENSE.base64.txt
 10174 Wed Jan 16 12:42:10 JST 2013 META-INF/license/LICENSE.commons-logging.txt
 10174 Wed Jan 16 12:42:10 JST 2013 META-INF/license/LICENSE.felix.txt
 26441 Wed Jan 16 12:42:10 JST 2013 META-INF/license/LICENSE.jboss-logging.txt
  1592 Wed Jan 16 12:42:10 JST 2013 META-INF/license/LICENSE.jsr166y.txt
  1465 Wed Jan 16 12:42:10 JST 2013 META-INF/license/LICENSE.jzlib.txt
 10174 Wed Jan 16 12:42:10 JST 2013 META-INF/license/LICENSE.log4j.txt
  1732 Wed Jan 16 12:42:10 JST 2013 META-INF/license/LICENSE.protobuf.txt
  1203 Wed Jan 16 12:42:10 JST 2013 META-INF/license/LICENSE.slf4j.txt
  1598 Wed Jan 16 12:42:10 JST 2013 META-INF/license/LICENSE.webbit.txt
  4197 Mon Aug 22 09:58:26 JST 2011 Grizzly_THIRDPARTYLICENSEREADME.txt

Sau đấy chạy lại thì job đã submit thành công lên YARN.

Bình luận


White
{{ comment.user.name }}
Bỏ hay Hay
{{comment.like_count}}
Male avatar
{{ comment_error }}
Hủy
   

Hiển thị thử

Chỉnh sửa

White

Hoàng Minh Trung

23 bài viết.
61 người follow
Kipalog
{{userFollowed ? 'Following' : 'Follow'}}
Cùng một tác giả
White
19 1
Bài viết dịch từ http://arslan.io/tenusefultechniquesingo Sử dụng một GOPATH duy nhất Sử dụng đồng thời nhiều GOPATH sẽ không giúp cho hệ thống ...
Hoàng Minh Trung viết 2 năm trước
19 1
White
18 15
(Ảnh) Mục đích của bài viết là hướng dẫn cơ bản nhất cho những ai chưa biết về docker, môi trường thực hiện là mac OS. Chuẩn bị Cài đặt virtua...
Hoàng Minh Trung viết gần 3 năm trước
18 15
White
14 0
Bài viết dịch từ https://github.com/luciotato/golangnotes/blob/master/OOP.md Mục đích bài viết Học golang dễ dàng hơn với những kiến thức bạn đ...
Hoàng Minh Trung viết 2 năm trước
14 0
Bài viết liên quan
White
10 0
Hadoop là cái gì vậy? “Hadoop là một framework nguồn mở viết bằng Java cho phép phát triển các ứng dụng phân tán có cường độ dữ liệu lớn một cách ...
nguyenduyhao1111 viết gần 2 năm trước
10 0
White
12 0
Trước khi so sánh khác nhau về HDFS và HDFS2. Chúng ta đi tìm hiểu về HDFS là cái gì, kiến trúc thế nào? Vì sao điều này lại quan trọng. Bởi vì đâ...
nguyenduyhao1111 viết gần 2 năm trước
12 0
White
35 1
Giới thiệu Google là một công ty dẫn đầu về phần mềm xử lý Big Data. Hầu hết các phần mềm xử lý dữ liệu như Hadoop đều có nguồn gốc ý tưởng từ Goo...
Bùi Hồng Hà viết hơn 2 năm trước
35 1
{{like_count}}

kipalog

{{ comment_count }}

bình luận

{{liked ? "Đã kipalog" : "Kipalog"}}


White
{{userFollowed ? 'Following' : 'Follow'}}
23 bài viết.
61 người follow

 Đầu mục bài viết

Vẫn còn nữa! x

Kipalog vẫn còn rất nhiều bài viết hay và chủ đề thú vị chờ bạn khám phá!