分類:分布式計算/Hadoop

分布式計算/Hadoop

無法將文件復制到HDFS

我有HDSF問題。 我無法復制任何文件,但是DataNodes中有足夠的空間? 也許我有一些不好的配置? 解決方案 您應該提供具體的細節,例如您得到的例外,您遵循的步驟等等,因為您根本沒有指定任何信息,我會說檢查配置文件,以確保你有相應的文件中的所有條目: 在core-site.xml中,你應該有 <配置> <屬性> <名稱> fs.default.name< /名

IT屋 2018/6/1 12:49:19 喜歡

分布式計算/Hadoop

如何用Hadoop實現字符串匹配算法?

我想用Hadoop實現一個字符串匹配(Boyer-Moore)算法。我剛開始使用Hadoop,所以我不知道如何用Java編寫Hadoop程序。 到目前為止,我看到的所有示例程序都是字數統計的例子,而我找不到任何字符串匹配的示例程序。 我嘗試尋找一些教程,教導如何使用Java編寫Hadoop應用程序,但找不到任何。你可以向我推薦一些教程,在這里我可以學習如何使用Java編寫Hadoop應

IT屋 2018/6/1 12:49:13 喜歡

分布式計算/Hadoop

使用Mapreduce處理受密碼保護的zip文件

我想用Hadoop mapreduce處理密碼保護的壓縮文件。我能夠使用ZipFileInputformat處理未受保護的zip文件。但它不支持密碼保護的拉鏈。 是否有任何Java庫提供對受密碼保護的zip文件的流訪問或提取zip文件(如果我可以使其字節內容可用)? 解決方案 假設您可以找到一個可以讀取受密碼保護的zip文件的java庫(查看這篇博客的文章),你應該可以修改當前的ZipF

IT屋 2018/6/1 12:49:11 喜歡

分布式計算/Hadoop

在MapReduce中聚合

我們如何在.csv中找到列的最大和最小元素。 我們應該將哪些內容傳遞給映射器的context.write(key,value) 。 是否是該csv文件的每一列? 解決方案 解決方案 這對于SO問題有點寬泛,但我會咬人。 映射器用于將值映射到鍵。假設您的CSV包含4列數字值: 42,71,45,22 blockquote> 您將鍵映射到每個值;有效的是什

IT屋 2018/6/1 12:49:06 喜歡

分布式計算/Hadoop

使用python從配置單元查詢輸出中刪除空行

我正在執行配置單元查詢并將輸出存儲在本地FS中的tsv文件中。我為配置單元查詢運行for循環并傳遞不同的參數。如果配置單元查詢在for循環中不返回任何輸出,它將在tsv文件中輸出一個空行。這導致NULL值被推送到我的數據庫在后端。因此,在for循環運行并創建文件后 - 我有下面的代碼來刪除所有打印的空行,但它不起作用。 我從這個文件中刪除空行? `395.9 429.61 PT `

IT屋 2018/6/1 12:49:01 喜歡

分布式計算/Hadoop

編譯hadoop java文件

我需要編譯Java Hadoop程序。 我編譯并獲取了mapper和reducer的.class文件。 但是當我編譯mainjava文件時,我一直收到這個錯誤。 ,它不能指向mapper和reducer類文件。 我該如何解決這個問題? 解決方案 您必須將所有源文件都提供給javac javac -classpath /usr/local/hadoop/had

IT屋 2018/6/1 12:48:59 喜歡

分布式計算/Hadoop

Hadoop Kerberos安全性

我建立了單節點集群,并且kdc服務器以及客戶端在同一臺機器上。我嘗試了所有可能的選項,但仍然存在相同的錯誤。 根據答案的建議,我進行了以下更改。 1)在$ JAVA_HOME / jre / lib / security文件夾中安裝了JCE jar。 2)我編輯了krb5.conf文件以僅使用aes256-cts加密。 /etc/krb5.conf如下所示, $ b $ [log

IT屋 2018/6/1 12:48:57 喜歡

分布式計算/Hadoop

Hadoop 2.6.0 TestDFSIO基準

所以我建立了一個hadoop 2.6.0群集,我想運行一個基準來測試讀寫吞吐量。我一直在閱讀可以使用TestDFSIO執行此操作的地方,但我無法找到在Hadoop 2.6.0版上運行此程序的方法。有人知道如何運行這個測試,或者是另一種方法嗎? 解決方案 HiBench有一個DFSIO的實現。您可以點擊此處找到HiBench。

IT屋 2018/6/1 12:48:54 喜歡

分布式計算/Hadoop

Hadoop-Hive |在Hive中將單行列轉換為多行

創建日期ID1姓名1年齡1性別1姓名2 ID2年齡2性別2 ID3姓名3年齡3性別3 ... 2014-02-01 1 ABC 21 M MNP 2 22 F 3 XYZ 25 M 2015-06-06 11 LMP 31 F PLL 12 42 M 13 UIP 37 F 此表可能有任何編號。重復設置4列對。這4列的順序也不是固定的,可能有1或2個列不重復,像creat

IT屋 2018/6/1 12:48:51 喜歡

江西快三开奖结果快