0上传文件限制的问题,解决iis7只能上传30M文件的限制

原标题:通过不难瘦身,消除Dataworks 10M文本限制难题

0上传文件限制的问题,解决iis7只能上传30M文件的限制。我们的业务是要选拔mongodb的Hadoop
driver处理输出。大家重写的mongodbInputFormat的时候传递数据的时候是把数量写入conf,然后再从mongoSplitter里面里面从conf里面读出来。比如下边那样:

先是结束IIS7
服务

作者们用IIS宣布的Bs项目,若是展开文件上传,在上传文件的时候,无法上传文件大小超越4M的文件

摘要:
用户在DataWorks上进行MapReduce作业的时候,文件大于10M的JAWrangler和财富文件无法上传到Dataworks,导致力不从心利用调度去定期执行MapReduce作业。
消除方案: jar -resources test_mr.

把数量放入数据conf:

做客
上面包车型地铁目录

设置文件上传大小的措施,便是修改项指标web.config配置

用户在DataWorks上推行MapReduce作业的时候,文件大于10M的JA奥迪Q3和财富文件不能够上传到Dataworks,导致力不从心选用调度去定期执行MapReduce作业。

List<Long> tagsUrns =null;
 //tagUrns 赋值…..
 conf.set(“tagUrns”,
            ObjectSerializer.serialize((Serializable) tagsUrns));

X:\Windows\System32\inetsrv\config\schema

在品种中的web.config文件中,添加如下节点

杀鸡取蛋方案:

在mapper,reduce,恐怕mongoSpiltter里拿出conf里的数量:

用记事本打开
IIS_schema.xml

 <system.web>
    <!-- maxRequestLength:解决上传文件4M限制 -->
    <httpRuntime maxRequestLength="999999" executionTimeout="50000"   />   
 </system.web>

先是步:大于10M的resources通过马克斯Compute CLI客户端上传,

List<Long> tagUrns = (List<Long>) ObjectSerializer
            .deserialize(context.getConfiguration().get(“tagUrns”));

右键管理员取得权限,以去除只读属性。

那正是说在IIS7.0那样设置后,无论maxRequestLength多大, 最大只好30M,
还要配置一下

客户端下载地址:

由于conf只好放入boolean、int、string的值,而自身必要给hadoop
Configuration放入的是list只怕其余对象,所以须求动用一个系列化学工业具类。

查找
<attribute name=”maxAllowedContentLength” type=”uint”
defaultValue=”30000000″ />

在web.config添加如下配置

客户端配置AK、EndPoint:

队列化学工业具类代码:

来看
3000000 了吗。加二个0 正是 300MB 咯。。自个儿加吧。设置好保存。运行 IIS7
就足以拉。

 <system.web>
    <!-- maxRequestLength:解决上传文件4M限制 -->
    <httpRuntime maxRequestLength="999999" executionTimeout="50000"   />   
 </system.web>

add jar C:\test_mr\test_mr.jar -f;//添加财富

import org.apache.commons.logging.Log;
import org.apache.commons.logging.LogFactory;

在加上

第壹步:近来由此马克斯Compute
CLI上传的财富,在Dataworks左侧能源列表是找不到的,只好通过list
resources查看确认财富;

import java.io.*;

<system.webServer>
     <security>
          <requestFiltering>
          <requestLimits maxAllowedContentLength="1048576000" />
          </requestFiltering>
     </security>
 </system.webServer>