MPI及并行化积分运算

参考:1. MPI编程 – http://blog.csdn.net/gexplore/article/details/7078832 2. MPI 实现梯形积分法 – http://blog.csdn.net/u012417189/article/details/25717263 1. MPI简介 多线程是一种便捷的模型,其中每个线程都可以访问其它线程的存储空间。因此,这种模型只能在共享存储系统之间移植。一般来讲,并行机不一定在各处理 器之间共享存储,当面向非共享存储系统开发并行程序时,程序的各部分之间通过来回传递消息的方式通信。要使得消息传递方式可移植,就需要采用标准的消息传 递库。这就促成的消息传递接口(Message Passing Interface, MPI)的面世,MPI是一种被广泛采用的消息传递标准。 与OpenMP并行程序不同,MPI是一种基于消息传递的并行编程技术。消息传递接口是一种编程接口标准,而不是一种具体的编程语言。简而言之,MPI标准定义了一组具有可移植性的编程接口。各个厂商或组织遵循这些标准实现自己的MPI软件包,典型的实现包括开放源代码的MPICH、LAM MPI以及不开放源代码的Intel MPI。由于MPI提供了统一的编程接口,程序员只需要设计好并行算法,使用相应的MPI库就可以实现基于消息传递的并行计算。MPI支持多种操作系统,包括大多数的类UNIX和Windows系统。 2. 基本接口函数 int _t main(int argc, _TCHAR* argv[]){           int rank, size;        MPI_Init(&argc, &argv);        MPI_Comm_rank(MPI_COMM_WORLD, &rank);        MPI_Comm_size(MPI_COMM_WORLD, &size);        printf(“Hello World from thread %d of %d\n”, rank, size);        MPI_Finalize();        return 0;    }   这个程序比较简单,在函数MPI_Init()和MPI_Finalize()之间是程序并行执行的地方 … 继续阅读

Linux下安装Eclipse调试C/C++

参考:http://wuyebamboo.blog.51cto.com/3344855/1224574 一. 下载JDK,Eclipse,Cdt 其中JDK是java开发和运行环境,Eclipse需要先装JDK,才可能运行,Cdt是在eclipse中运行c\c++程序的插件。 1.1. 下载JDK 网址是:http://www.oracle.com/technetwork/java/javase/downloads/index.html,点击JDK下载 具体配置方法,前面的博文都有提及,这里就先略过了。 1.2. Eclipse下载 网址是:http://www.eclipse.org/downloads/,选择Eclipse Juno(4.4) Release for windows 那个选择框,选择“Linux“ 下载 Eclipse IDE for Java EE Developers — Linux 64 bits. 得到 eclipse-jee-juno-SR2-linux-gtk-x86_64.tar.gz 压缩包。 1.3. Cdt下载 网址是:http://www.eclipse.org/cdt/ ,点击最上面的“Download” 选择 CDT 8.1.2 for Eclipse Juno … 继续阅读

Ubuntu 14.04下NFS安装配置

参考:http://www.linuxidc.com/Linux/2013-08/89154.htm 1、执行命令:sudo apt-get install nfs-kernel-server ; 2、执行命令:mkdir /home/jacobxu/nfs-jacoxu 建立一个nfs服务的专有的文件夹; 3、建立好文件夹后,接着执行命令:sudo vi /etc/exports 配置nfs; 4、在文章的最后一行添加:/home/jacobxu/nfs-jacoxu *(rw,sync,no_root_squash,no_subtree_check) /home/jacobxu/nfs-jacoxu *(rw,sync,no_root_squash,no_subtree_check)这一行的含义是: /home/jacobxu/nfs-jacoxu:与nfs服务客户端共享的目录,这个路径必须和你前面设置的文件的路径一致! *:允许所有的网段访问,也可以使用具体的IP rw:挂接此目录的客户端对该共享目录具有读写权限 sync:资料同步写入内存和硬盘 no_root_squash:root用户具有对根目录的完全管理访问权限。 no_subtree_check:不检查父目录的权限。 5、修改完上述配置文件保存退出。 6、执行命令:sudo /etc/init.d/rpcbind restart 重启rpcbind 服务。nfs是一个RPC程序,使用它前,需要映射好端口,通过rpcbind 设定。 7、执行命令:sudo /etc/init.d/nfs-kernel-server restart 重启nfs服务。 8、挂载指令: sudo mount -t nfs 192.168.111.128:/home/jacobxu/nfs-jacoxu … 继续阅读

Hadoop 2.4.1在Ubuntu14.04上的集群配置

本文主要参考:1. http://blog.csdn.net/ab198604/article/details/8250461 (比较喜欢此作者通俗的写风,哈哈,所以整张篇幅大量粘贴他的内容) 2. http://os.51cto.com/art/201309/411793_all.htm 3. http://gxl-ct001.iteye.com/blog/1982910 4. http://www.cnblogs.com/tippoint/archive/2012/10/23/2735532.html 5. http://www.cnblogs.com/lanxuezaipiao/p/3525554.html 6. http://blog.csdn.net/skywalker_only/article/details/37905463 7. http://chj738871937.iteye.com/blog/2088735 8. http://blog.chinaunix.net/uid-20682147-id-4229024.html#_Toc807 9. http://ca.xcl0ud.net/wp-content/uploads/2014/05/Hadoop-2.pdf 目录: 一、引言 二、准备工作 三、配置hosts文件 四、建立hadoop运行帐号 五、配置ssh免密码连入 六、下载并解压hadoop安装包 七、配置namenode,修改site文件 八、配置hadoop-env.sh文件 九、配置slaves文件 十、向各节点复制hadoop 十一、格式化namenode 十二、启动HDFS 十三、启动YARN 十四、通过网站查看集群情况 一、引言 Hadoop是一种分布式系统基础架构,由Apache基金会开发。用户可以在不了解分布式底层细节的情况下,开发分布式程序,充分利用集群的威力高速运算和存储。Hadoop 发布的版本下载地址:http://apache.communilink.net/hadoop/common/ Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。以Hadoop分布式文件系统HDFS(Hadoop Distributed Filesystem)和MapReduce(Google … 继续阅读

分布式并行库MPICH2安装

安装环境: VMware10, Ubuntu14.04. 目录:(大部分内容转自http://duanple.blog.163.com/blog/static/709717672010329581914/,整个流程本人亲测!) ——————— 一. 什么是MPICH2 二. 安装前的系统准备 三. 安装步骤 四. 设置环境变量 五. 添加mpd配置文件 六. 开始单机测试 七. 安装后配置(多机测试) (7.1) 修改/etc/hosts (7.2) 创建mpd.hosts (7.3) 配置SSH (7.4) 配置samba共享, NFS共享? (7.5) 配置测试机器的环境变量 (7.6) 开始测试 八. 并行程序运行测试 九. 成功运行的关键点 十. Troubleshooting ——————— [一]. … 继续阅读

VMware+Ubuntu安装,创建多个集群虚拟机

目的:测试Hadoop+Mapreduce及MPI,安装Vmvare,并安装两个Ubuntu; Micorsoft近期也开始做虚拟机,Hyber-v,但是只支持Windows2008 Sever以上版本及Windows 8,暂不支持WIN7 系统。因而还是需要安装VMware。 安装版本VMware Workstation(虚拟机)v10.2 简体中文破解版,Ubuntu版本为14.04桌面版。通过打开CPU的Virtualization Technology支持,在VMWare WorkStation上安装64位操作系统。这个一般在BIOS的Performance选项中,记住,即使宿主机器使用的是64位操作系统,也需要打开这一选项才能在虚拟机中安装64位操作系统。 安装步骤: [1]. 安装Vmware; [2]. 创建新的虚拟机; [3]. 新建虚拟机向导中选择 自定义(高级); [4]. 选择虚拟机硬件兼容性(默认); [5]. 选“稍后安装操作系统; [6]. 选择Linux下的Ubuntu 64位; [7]. 命名虚拟机,分布式集群时需要安装多个虚拟机,因而这里我们命名为Ubuntu-64bit_Node001; [8]. 建议分配1个处理器,2个核,2G内存; [9]. 网络类型使用网络地址转换(默认); [10]. I/O控制器 默认即可 LSI Logic(L)(默认); [11]. 磁盘类型 SCSI (默认); … 继续阅读