蓝月亮四肖中特

about云開發

 找回密碼
 立即注冊

QQ登錄

只需一步,快速開始

打印 上一主題 下一主題

[其它] KYLIN3.0在HDP3.1.4集群無法使用的問題

[復制鏈接]
跳轉到指定樓層
樓主
yunabout 發表于 2020-1-16 15:06:57 | 只看該作者 回帖獎勵 |倒序瀏覽 |閱讀模式
本帖最后由 yunabout 于 2020-1-16 15:08 編輯

最近搭建的HDP3.1.4集群,準備搭建一個kylin學習學習,用的是最新發布的kylin3.0版本,但是發件在構建cube的時候,就會報錯,網上搜了下,有的說hdp3.1.4.0,這個版本的guava與kylin不兼容,替換成低版本的guava也不行,建議用hdp3.1.0.0,那位大佬遇到過這個問題?還請教一下?具體的報錯信息如下:
org.apache.kylin.engine.mr.exception.MapReduceException: Counters: 13
        Job Counters
                Failed map tasks=4
                Killed reduce tasks=4
                Launched map tasks=4
                Other local map tasks=3
                Data-local map tasks=1
                Total time spent by all maps in occupied slots (ms)=293176
                Total time spent by all reduces in occupied slots (ms)=0
                Total time spent by all map tasks (ms)=36647
                Total vcore-milliseconds taken by all map tasks=36647
                Total megabyte-milliseconds taken by all map tasks=300212224
        Map-Reduce Framework
                CPU time spent (ms)=0
                Physical memory (bytes) snapshot=0
                Virtual memory (bytes) snapshot=0
Job Diagnostics:Task failed task_1576224813921_1669_m_000000
Job failed as tasks failed. failedMaps:1 failedReduces:0 killedMaps:0 killedReduces: 0
Failure task Diagnostics:
[2020-01-16 14:54:46.286]Exception from container-launch.
Container id: container_e23_1576224813921_1669_01_000005
Exit code: 255

[2020-01-16 14:54:46.288]Container exited with a non-zero exit code 255. Error file: prelaunch.err.
Last 4096 bytes of prelaunch.err :
Last 4096 bytes of stderr :

[2020-01-16 14:54:46.290]Container exited with a non-zero exit code 255. Error file: prelaunch.err.
Last 4096 bytes of prelaunch.err :
Last 4096 bytes of stderr :

        at org.apache.kylin.engine.mr.common.MapReduceExecutable.doWork(MapReduceExecutable.java:223)
        at org.apache.kylin.job.execution.AbstractExecutable.execute(AbstractExecutable.java:179)
        at org.apache.kylin.job.execution.DefaultChainedExecutable.doWork(DefaultChainedExecutable.java:71)
        at org.apache.kylin.job.execution.AbstractExecutable.execute(AbstractExecutable.java:179)
        at org.apache.kylin.job.impl.threadpool.DefaultScheduler$JobRunner.run(DefaultScheduler.java:114)
        at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149)
        at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624)
        at java.lang.Thread.run(Thread.java:748)
沙發
bioger_hit 發表于 2020-1-16 19:36:15 | 只看該作者
肯定還有其他錯誤的,根據上面錯誤猜測可能的原因是類無法加載,嘗試下面辦法:

在mapred-site.xml文件中添加mapreduce所需要用到的classpath。
<property>
   <name>mapreduce.application.classpath</name>
   <value>$HADOOP_MAPRED_HOME/share/hadoop/mapreduce/*, $HADOOP_MAPRED_HOME/share/hadoop/mapreduce/lib/*</value>
</property>




上面$HADOOP_MAPRED_HOME替換為安裝hadoop的絕對路徑


歡迎加入about云群425860289432264021 ,云計算愛好者群,關注about云騰訊認證空間
板凳
 樓主| yunabout 發表于 2020-1-17 16:18:10 | 只看該作者
bioger_hit 發表于 2020-1-16 19:36
肯定還有其他錯誤的,根據上面錯誤猜測可能的原因是類無法加載,嘗試下面辦法:

在mapred-site.xml文件 ...

問題找到了,但是沒法解決,就是guava 版本不一致,一個是28一個是14版本,里面的有些方法是不兼容的,所以目前暫時還沒法解決,只能等官方發新版了
您需要登錄后才可以回帖 登錄 | 立即注冊

本版積分規則

關閉

推薦上一條 /4 下一條

QQ|小黑屋|about云開發-學問論壇|社區 ( 京ICP備12023829號 )

GMT+8, 2020-2-26 01:24 , Processed in 1.140625 second(s), 28 queries , Gzip On.

Powered by Discuz! X3.4 Licensed

© 2018 Comsenz Inc.Designed by u179

快速回復 返回頂部 返回列表
蓝月亮四肖中特 互联网理财平台排名 乾鑫配资 退市股票涨跌幅限制 天狼50股票分析软件 吉林股票配资公司招聘 股票分析群 大族激光股票 股票学习网 全职炒股两年了的感受 中国股票