云计算

  • Mahout--Canopy Clustering
    Mahout--Canopy Clustering

    Mahout学习--Canopy Cluster 聚类是机器学习里很重要的一类方法,基本原则是将"性质相似"(这里就有相似的标准问题,比如是基于概率分布模型的相似性又或是基于距离的相似性)的对象尽可能的放在一个Cluster中而不同Cluster中 对象尽可能不相似.对聚类算法而言,有三座大山需要爬过去:(1).a large number of clusters,(2).a high feature dimensionality,(3).a large number of data

    mahout, canopy, 大数据, 云计算, 推荐算法May 4

  • Hadoop学习小结

    还在学校的时候,就知道Hadoop的存在了. 2012年在公司实习的时候,买了<Hadoop权威指南第2版>,大致看了下. 今年,抽空也大致喵了几眼. 最大的感悟就是:光看不做,还是不行. Hadoop最坑最脑残的地方就是,默认不支持在Windows下运行.我的笔记本用的是Windows7系统. 这样,只好安装了VMware,然后安装Ubuntu系统,想通过这种方式来搭建环境. Hadoop这个大数据处理框架包含了好多内容,MapReduce,HDFS等等.我现在只有个模糊的理解,想通过写代码

    hadoop, mapreduce, 大数据, 云计算, 学习感悟May 3

  • HDFS的升级管理

    升级HDFS的概要过程和命令 Hadoop的官方文档中,对于HDFS的升级建议分三个步骤,1,先停掉HDFS服务,再启动,HDFS合并FsEditLog到FsImage之中,再停掉HDFS服务,2,备份namenode的meta文件,在新版本HDFS安装目录的配置文件中,配置namenode的meta文件目录指向旧有的meta文件目录,以-upgrade选项启动HDFS,让HDFS服务执行升级过程,3,升级进度达到100%后,执行hadoop dfsadmin -finlizeUpgrade告诉

    hadoop, 大数据, 云计算, HDFS升级April 27

  • 七牛的镜像存储功能使用手册
    七牛的镜像存储功能使用手册

    简介 七牛提供的是分布式存储和加速分发服务.其中尤以分布式存储为核心部分. 客户在准备接入七牛的时候一般有两种场景. 第一种是客户的业务从设计开发的时候就采用七牛的云存储服务,那么这种情况下,直接将文件上传到七牛,然后再使用七牛的加速分发服务即可. 第二种是客户的业务已经建立起来后才准备接入七牛.这种情况下会遇到两个问题,第一个是需要修改上传的业务逻辑,第二个就是如何迁移已有的数据.修改上传的业务逻辑的话,可能涉及到很多项目代码的修改,持续时间可能比较长.已有的数据可以使用七牛提供的同步工具上传

    大数据, 云计算, 云存储, 数据迁移, 七牛云存储, 镜像存储April 27

  • 云平台hadoop搭建以及wordcount实例运行
    云平台hadoop搭建以及wordcount实例运行

    我的第一篇博客,希望大家能够看懂! hadoop是大数据处理的平台,是基于linux系统下的,在windows安装hadoop,很是费劲,连平台搭建都那么难在上面运行代码就更难了,这不是windows的强项,你们都懂得!!hadoop的搭建俺花了很长时间,写下来希望对大家有所帮助! 前提准备:由于hadoop是基于linux,那就先要在windows下模拟出linux环境来,现推荐几款软件:cygwin.hadoop4win.HDP和vmware. cygwin:Cygwin是一个在window

    hadoop, wordcount, 大数据, 云计算, hadoop4winApril 14

  • 互联网日志的种类.存储和计算

    最近几年,经常听到数据挖掘这个词. 不过,我仔细看了下,发现这个词还是挺模糊的. 挖掘 这个词,应该指从数据中发现有价值的信息. 比如从搜索词中,发现网民的关注点,进而指导广告投放.产品推荐,生产用户需要的产品. 数据 根据我有限的阅历来看,数据最常见的形式就是日志,各种各样的日志. 限于从业经验有限,本文只是简要介绍下日志的种类.存储和计算,仅供参考. 日志的种类 1.浏览日志 a.广告曝光日志 一个广告的一次曝光,会产生一条曝光日志. 日志格式:广告位ID.媒体.频道.曝光时间.IP.来源.

    互联网, 云计算, 数据挖掘, 云存储, 分布式计算April 13

  • 为什么目前的PaaS都没有成功?兼谈云计算的发展方向
    为什么目前的PaaS都没有成功?兼谈云计算的发展方向

    从操作系统发展的历史可以看出,操作系统的最大作用是提供合适的抽象 操作系统是帮我们操控硬件的软件,它就像是应用程序与硬件的中间者,在两者之间扮演一个协调.管理的角色.它们的关系如下图. 操作系统提供了几个我们熟悉的概念去表示硬件设备,比如进程.虚拟存储器.文件.它们表示的硬件设备如下图所示. 可以看出文件是对I/O设备的抽象描述,而虚拟存储器是对主存和I/O设备的统称,最后,一个进程在此基础上又加入了处理器. 但在目前的大规模多机集群的情况下,这个抽象已经失效了 由于摩尔定律的失效,单核CPU的

    paas, 云计算, DockerFebruary 2

  • 虚拟机镜像内容集合

    1.ubuntu镜像 https://help.ubuntu.com/community/UEC/Images

    云计算, 镜像, Image, openstackJanuary 14

  • Linux大页之THP拆分

    本文只分析THP的拆分过程,先不说为什么在哪儿需要拆分. 拆分函数一览 split_huge_page_to_list split_huge_page __split_huge_page_pmd split_huge_page_pmd split_huge_page_pmd_mm split_huge_page_to_list mm/huge_memory.c /* * Split a hugepage into normal pages. This doesn't change the pos

    linux, 云计算, THPJanuary 7

  • 中小企业困扰云计算安全性问题
    中小企业困扰云计算安全性问题

    使用云计算的局限是企业必须认真对待的敏感问题,企业必须对云计算发挥作用的时间和地点所产生的风险加以衡量.企业通过减少对某些数据的控制,来节约经济成本,意味着可能要把企业信息.客户信息等敏感的商业数据存放到云计算服务提供商的手中,对于信息管理者而言,他们必须对这种交易是否值得做出选择. 最近一系列影响较大的网络故障,让人们对云计算的可靠性产生了实质性的担忧.今年2月和7月,亚马逊的"简单存储服务"两次中断,导致依赖于网络单一存储服务的网站被迫瘫痪.亚马逊解释服务中断是鉴定请求的数量增多造

    云计算January 6

  • 如何建设云数据中心

    一.什么是云数据中心?云数据中心与传统数据中心有什么区别? 近年来,数据中心建设成为全球各行业的IT建设重点,国内数据中心建设的投资年增长率更是超过20%,金融.制造业.政府.能源.交通.教育.互联网和运营商等各个行业正在规划.建设和改造各自的数据中心.随着企业信息化的深入和新技术的广泛使用,传统数据中心已经无法满足后数据中心时代的高效.敏捷.易维护的需求. 传统数据中心与云计算数据中心的区别在于应对的业务模式不同.传统数据中心多数是基础性数据业务,并有明确的跨网和区域性限制,而云计算是通过网络

    云计算, 系统架构, 设计理念September 10

  • 云计算受限海量数据 雾计算成驱动未来科技真正力量
    云计算受限海量数据 雾计算成驱动未来科技真正力量

    导语:<华尔街日报>今天发表评论文章称,当越来越多物体变得"智能",能感受周围环境或能联网及接收远程指令,不够快的网络速度使得云计算也无法满足海量的数据存储.传输和处理需求.此时一些科技公司提出了全新"雾计算"概念.和"云"由服务器驱动不同,"雾计算"由大家身边分散的家用电器.汽车.路灯等计算机驱动.也许很多企业计算的未来仍在"云"中,但雾计算才是引导未来计算变革的真正力量. 全文如下: 物联网

    云计算, 雾计算, 微服务器September 4

  • 阿里云SLS--云上的辛勤山寨者
    阿里云SLS--云上的辛勤山寨者

    阿里云 SLS 和 Amazon Kinesis 今天来到我的三篇日志系统分析文章的最后一篇,云上的日志分析系统.了解对象是云计算的世界第一厂商Amazon和国内第一厂商阿里云. 从技术上来讲,其实前面2篇已经把流式数据系统能分析的基本分析完了.所以还是说说产品及云计算这个概念. 阿里云,简单日志服务,SLS,今年刚推出.从技术来看,基本是仿造Splunk,甚至界面都很像: 其他的Logtail工具.正则表达式分析.简单查询(他没有SPL这么强大的查询语言),从功能来看基本能覆盖程序员日常差错和

    sls, 云计算, 日志, KinesisAugust 29

  • Splunk初体验--像Google那样搜索你的数据
    Splunk初体验--像Google那样搜索你的数据

    Splunk是啥? Splunk是日志/流式数据领域中做的最好的商业软件实现,它的核心能力只有一个: 像Google那样搜索企业内部所有产生的日志 这个的威力非常大,现在的企业不缺数据,缺的是有效挖掘数据的能力.而显然大部分企业没有Google的能力去做搜索,于是Splunk提供这样的能力.与之相竞争的开源实现有Logstash. Splunk ≈ Logstash Logstash = Redis(传输) + ElasticSearch(搜索) + Kibana(展现) ElasticSear

    splunk, 云计算, kafka, ElasticSearch, LogstashAugust 27

  • Kafka是个奇葩!--Linkin论文学习笔记
    Kafka是个奇葩!--Linkin论文学习笔记

    Kafka是啥? 是个消息中间件吗?那和市面上其他一堆堆的中间件例如ActiveMQ, RabbitMQ有什么区别? 答案只有一个: Kafka是个集群的消息中间件+存储,一个节点可以存储几T的数据! 为啥一个中间件需要存储数据呢? 慢慢道来-- 原来,对于Linkin这样的互联网企业来说,用户和网站上产生的数据有三种: 需要实时响应的交易数据,用户提交一个表单,输入一段内容,这种数据最后是存放在关系数据库(Oracle, MySQL)中的,有些需要事务支持. 活动流数据,准实时的,例如页面访问

    云计算, 日志, kafka, Logstash, 流式August 26

  • 针对的想法

    有某AWS专家-原文是"阮志敏, AWS认证架构师(专业级别)"在CSDN上发了一篇文章<谈对国内公有云两个计费现象的思考>http://www.csdn.net/article/2014-08-13/2821180 他说了几点 * IasS没有API -- 本人在XX云时,开发过API服务和几种常用语言的SDK+CLI包,并提供给了少量试用用户.但是纯API是无法立足市场的,必须依托一个良好的.带有UI的集成系统,目前还看不到一个成型的类似产品.RightScale的平台

    aws, 云计算, 专家, 哈哈, 砖家August 13

  • Openstack平台搭建之第三天
    Openstack平台搭建之第三天

    Openstack平台搭建之第三天 Author :xxbAndy If you have any question ,please contact me by [email protected] or 371990778(qq) 注意:主控节点为server10.example.com: 新增nova节点为desktop10.example.com 在实验环境中已经对各个主机做了DNS解析 1.管理neutron节点服务,为nova-compute节点进行配置网络服务 [[email protected]

    云计算, 虚拟化, openstackAugust 3

  • Openstack平台搭建之第二天
    Openstack平台搭建之第二天

    Openstack平台搭建之第二天 Author by xxbAndy. If you have any question ,please contact me by [email protected] or 371990778(qq). 环境准备: RHEL6.5 内存4G 硬盘70G yum源的制定(分别制定三个yum源,其中前面三个是自己本地定制的yum源) baseurl=ftp://instructor.example.com/pub/rhel6.5/Server baseurl

    云计算, 虚拟化, openstackAugust 2

  • Openstack平台搭建之第一天 基于RDO方式搭建
    Openstack平台搭建之第一天 基于RDO方式搭建

    openstck基于web方式的rdo部署 Author :xxbAndy If you have any question ,please contact me by [email protected] or 371990778(qq) 注意:由于是实验室环境的项目,在这里将所有节点都安装在一台主机上进行模拟实验. 硬件环境: 硬盘:500G 内存:8G 系统环境: RHEL6.5 环境准备: 1.配置yum源 #vim /etc/yum.repos.d/yum.repo [base]

    云计算, openstackJuly 29

  • 提高云计算中的软件质量
    提高云计算中的软件质量

    ‍ Gavlin Pather在俄罗斯的KZN长大,在那里他学习信息技术并开始了作为一名开发者的职业生涯,后来他又成了测试领域的一名黑盒测试员,接着又转向白盒测试,最终是自动化测试.在测试专业领域近6年并在测试实验室中进行测试,自然而然地,他逐渐开始对云产生兴趣. ? 计算机和软件在我们的日常生活中越来越常见.现代社会中随着我们对技术越来越依赖,不可避免地就需求它们变得更快,更好.更快,更好的需求提高了,就需要更高质量的软件.要做到这一点,就不能只依靠手工测试,我们需要进入一个自动化的测试时代.

    云计算, 云测试July 23

  • cloudstack 高级网络模式 (单机安装)
    cloudstack 高级网络模式 (单机安装)

    前提: 已经安装好cloudstack 并登录至管理界面 本文使用的版本为4.3版本 安装可以看官方文档 http://docs.cloudstack.apache.org/projects/cloudstack-installation/en/latest/ 声明: 本文只是方便大家理解高级网络 并可以单机做实验 本文中只使用1台物理机 (centos6.x kvm) (如需多台 需要有支持vlan的交换机) 本实验pc机网卡配置如下 vim /etc/sysconfig/network-sc

    云计算, CloudStack, 高级网络, cloudstack实验July 15

  • "某某云词典" – 纠结的初体验
    "某某云词典" – 纠结的初体验

    刚刚听说"某某云词典"发布了.由于前段时间3q大战让我对双方的好感降至零点,加上最近"云"炒得沸沸扬扬,还有碍于某某和金山的暧昧关系,不得不让我对这个东西产生了比较抵触的情绪.不过还是忍不住想去看看,所以大家一起吧-- 初见 打开"某某Lab"中"某某云词典"的页面,总的感觉还算友好.见下图: 于是开始找下载链接,未遂!!不过在页面上找到了"某某云词典"的体验区,如下图: 看起来还不错,算是简洁,而且具有半

    云计算, 职场, 休闲, 云词典June 11

  • TechED2010与我(三) -- 初识云计算

    初识云计算 最近"云计算"被炒的很热,但是由于工作重点主要是做WinForm的控件开发,对云计算的接触比较少,甚至一直没搞清楚到底什么是"云计算",感觉上"云"是个神乎其神的东西.这次借参加Tech-ed的机会重点了解了下"云计算".写篇博文分享一下自己的理解.初次接触,理解的比较肤浅,如果有误欢迎大家指正. 1. 为什么需要云计算 微软给了个很有意思的比喻. 很多年以前,一个很牛的人发明的电灯泡,导致人们需要电,这个牛人就成

    云计算, 职场, tech, 休闲June 11

  • 我看TechEd 2012之App时代降临

    这是一个IT大变革的时代,今天,我们使用互联网而不是使用电脑,个人消费者而不是企业需求推动着IT行业的前行.在这个时间点上,作为桌面操作系统和开发平台的霸主,微软通过TechEd2012大会向我们展示了微软公司对这个时代的理解和对未来的展望. 移动互联的崛起 对于个人消费市场而言,如果说前一个时代是桌面软件的天下,今天则是互联网的王国.专注于各个领域的桌面软件曾经占据了我们的电脑,比如下载文件的"网际快车",播放影音的"金山解霸"等等.但是随着互联网基础设施的发展和

    云计算, app, 移动互联June 11

  • "云"领天下(一): 最近的云计算 - IaaS
    "云"领天下(一): 最近的云计算 - IaaS

    前言 作为云计算的推崇者,我一直关注关于云计算的问题,从Iaas的技术实现到PaaS的迁移实践甚至SaaS的运营模式.不过因为个人的技术和见识都很有限,我更关注于作为应用程序提供者,该怎样设计一个对云计算友好的应用程序,这种应用程序不单可以在云计算平台上运行,更重要的是可以更好的享受云计算带来的优势.趁着微软主推Azure云计算的TechEd2010落幕不久,我将写四篇文章和大家分享一下关于云计算中一些问题的看法.这四篇文章分别为 <"云"领天下(一): 最近的云计算-IaaS&

    iaas, 云计算, Azure, 职场, 休闲June 11

  • "云"随我动近在咫尺 - 中小企业如何看待云计算?

    上周我们接受了IT专家网的专访,就"云计算"的相关问题作了一些探讨.现在将讨论中提出的一些有趣的问题以及我们的看法摘录在这里.希望更多的朋友一起参与讨论. 云计算的发展,仍旧是大企业发挥的舞台,例如红帽(RedHat)是一家云平台提供商,亚马逊云服务提供商以及IBM这样的云基础设置供应商等等.中小企业在他们这些巨头疯狂轰炸下终于耐不住寂寞也顺势跟风,导致失败案例也不胜枚举.Eg. 阿里巴巴旗下的阿里软件(www.alisoft.com) 关闭并终止提供相关服务,并入阿里巴巴集团B2B子

    云计算, 职场, 中小企业, 休闲June 11

  • Kubernetes 设计概要(非完整版)

    Kubernetes 设计概要 (原文:https://github.com/GoogleCloudPlatform/kubernetes/blob/master/DESIGN.md) 概述 --------------------------------- * Kubernetes 构建于 Docker之上,是基于container集群的调度服务.用户在需要 container 时,会向 Kubernetes 发起请求,Kubernetes 会从worker节点中选取合适的container回

    google, saas, 云计算, Docker, Container, KubernetesJune 11

  • [简单部署cloudstack]Centos6.5安装Cloudstack 4.3之在线迁移虚拟机
    [简单部署cloudstack]Centos6.5安装Cloudstack 4.3之在线迁移虚拟机

    [简单部署cloudstack]Centos6.5安装Cloudstack 4.3之概念介绍 [简单部署cloudstack]Centos6.5安装Cloudstack 4.3之管理节点和计算节点安装 [简单部署cloudstack]Centos6.5安装Cloudstack 4.3之配置详解 [简单部署cloudstack]Centos6.5安装Cloudstack 4.3之在线迁移虚拟机 [简单部署cloudstack]Centos6.5安装Cloudstack 4.3之升级虚拟机配置 [简

    虚拟机, 云计算, 云主机, CloudStack, 私有云, cloudstack4.3, cloudstack虚拟机迁移May 19

  • 分布式存储Ceph的几种安装方法,源码,apt-get,deploy工具,Ubuntu CentOS

    最近搞了下分布式PB级别的存储CEPH 尝试了几种不同的安装,使用 期间遇到很多问题,和大家一起分享. 一.源码安装 说明:源码安装可以了解到系统各个组件, 但是安装过程也是很费劲的,主要是依赖包太多. 当时尝试了centos 和 ubuntu 上安装,都是可以安装好的. 1下载ceph http://ceph.com/download/ wget http://ceph.com/download/ceph-0.72.tar.gz 2 安装编译工具apt-get install automake

    云计算, 存储, 分布式, 云存储, cephApril 4

  • 关于Docker的15个提示

    得到最后执行的容器的ID $ ID=$(docker run ubuntu echo hello world) hello world $ docker commit $ID helloword 如果这样觉得麻烦,你可以这样: $ alias dl='docker ps -l -q' $ docker run ubuntu echo hello word hello world $ dl 1904cf045887 $ docker commit `dl` helloworld fd08a884d

    云计算, Docker, 虚拟化March 27

  • 云计算中真正重要的是什么

    这几年里,云计算的概念太纷繁,hadoop/vps成了云,网盘变成了云盘,在线听歌成了云音乐 其实,云计算中关键因素有3种 1.动态能力 云计算的基础能力 2.安全性 规模化应用迁移到云上的基础 3.标准化程度 各执一词的厂商继续各自扩张下去,只会形成越来越深的云中孤岛. 运气好,某一家会形成"大陆",其他被吞并或消失:运气不好,那就是千岛湖,云之间的迁移要靠慢慢划船

    云计算, cloudMarch 20

  • Hadoop上路_14-Hadoop2.3.0的分布式集群搭建
    Hadoop上路_14-Hadoop2.3.0的分布式集群搭建

    一.配置虚拟机软件 下载地址:https://www.virtualbox.org/wiki/downloads 1.虚拟机软件设定 1)进入全集设定 2)常规设定 2.Linux安装配置 1)名称类型 名称最后具有说明意义.版本根据个人情况. 2)内存 在下物理机系统Win7x64,处理器i53210,内存8G. 3)磁盘选择 4)磁盘文件 virtualbox格式vdi,VMWare格式vmdk,微软格式vhd(virtualbox不支持),Parallels格式hdd(virtualbox

    hadoop, 云计算, 数据库, 分布式, 2.3.0March 15

  • 使用devstack在ubuntu server(64)上安装openstack囫囵吞枣式
    使用devstack在ubuntu server(64)上安装openstack囫囵吞枣式

    说要部署一套cloudfoundry v2的代码 欲装cf2先装出一个可用的openstack 哎,惭愧,对linux还是不熟悉,对openstack仅停留在是一个iaas平台的,具体组件架构不知 使用bosh-cli操作bosh server部署cf2 的各个组件到各个iaas平台上,vm的vsphere啥的都不现实,只能尝试openstack,不懂原理希望有一个单机版的openstack,于是搜到devstack,还不知道能不能将cf2装上去.等这步openstack装成功了再试. 我的环境

    ubuntu, 云计算, openstack, cloudfoundry, devstackFebruary 18

  • IaaS, PaaS, SaaS 解释

    一.定义: SaaS:Software as a Service,软件即服务:这层作用是将应用作为服务提供给客户. PaaS:Platform as a Service,平台即服务:这层作用是将一个开发平台作为服务提供给用户. IaaS:Infrastructure as a Service,基础设施即服务:这层作用是提供虚拟机或者其他资源作为服务提供给用户. 二.三层模式: SaaS模式 作用 通过SaaS这种模式,用户只要接上网络,并通过浏览器,就能直接使用在云端上运行的应用,而不需要顾虑类

    paas, saas, iaas, 云计算February 8

  • aws提供的服务

    服务 1.Compute Cloud 2.MapReduce 3.支付服务 4.Mechanical Turk(土耳其机器人,人工智能服务) 5.关系DB 6.simple DB 7.simple队列服务 8.simple存储服务 9. Beanstalk服务( 缓存服务) 语言 1.java 2.mobile 3.php 4.python 5.ruby 6.windows&.net 开发资源 1.AMIs(Amazon机器镜像) 2.用户API 3.开发者工具 4.文档 5.公共数据集合 6.

    amazon, aws, 云计算, 服务January 3

  • Hadoop云计算的初步认识
    Hadoop云计算的初步认识

    在说Hadoop之前,作为一个铁杆粉丝先粉一下Google.Google的伟大之处不仅在于它建立了一个强悍的搜索引擎,它还创造了几项革命性的技术:GFS,MapReduce,BigTable,即所谓的Google三驾马车.Google虽然没有公布这几项技术的实现代码,但它发表了详细的设计论文,这给业界带来了新鲜气息,很快就出现了类似于Google三驾马车的开源实现,Hadoop就是其中的一个. 1.什么是Hadoop Hadoop主要是由HDFS和MapReduce组成,HDFS是一个分布式文件

    hadoop, 云计算, nosql, Hadoop云计算的初步认识December 10

  • docker- 很神秘吧,试试

    try this, so fun :) http://www.docker.io/gettingstarted/

    云计算, Docker, 虚拟化December 6

  • xen-insight

    xen:类虚拟化技术 1.指令集 - 实际CPU的子集(不包括特权指令,敏感指令) 2.IO子系统 3.中断 - 外部中断 - 来自物理设备的中断 - 表示为pIRQ - 来自VMM的中断 - 表示为vIRQ - 虚拟机间中断 - 用于:DomU和Dom0交互,完成IO请求 4.时间和时钟 - 通过时间虚拟化保证vm中的各任务能公平调度 - vm中各任务得到的执行时间比率,不受xen对vm调度影响 - 三种时间 - 实际时间 Real time - 单位:ns - 从母机启动开始计时 - 虚拟时

    xen, 云计算, 虚拟化December 3

  • 视频专辑:大数据,云计算,hadoop,linux,oracle,sqlserver,mysql,ava,c,c++,object-c,android,flex,html
    视频专辑:大数据,云计算,hadoop,linux,oracle,sqlserver,mysql,ava,c,c++,object-c,android,flex,html

    9.6 CSS教程 HTML/CSS 播放:6 时长:2:30:30 视频数量: 12 不错的css教程. 9.6 HTML5入门学习教程 HTML/CSS 播放:26 时长:6:30:45 视频数量: 11 本套教程是入门级的教程,适合初学者. 9.6 善知堂android 4.0.3 就业视频教程 Android 播放:43 时长:20:19:40 视频数量: 28 善知堂android 4.0.3 就业视频教程 9.6 张孝祥Java高新技术 Java 播放:7022 时长:12:57:4

    oracle, sqlserver, linux, jquery, db2, hadoop, JavaScript, 大数据, 云计算, MySQLNovember 17

  • 关于民间云计算云存储研究中心

    最近云计算云存储等计算机概念可谓炙手可热,从事分布式存储的研发工作以来,大体对国内的研究状况有了大致的了解,各单位或者企业研究成果少之又少,但炒作其云概念的能力确发挥的淋漓尽致.~[艾一搜] 当然,这也是由国内的大环境导致的,在在计算机领域,确实与国外尚有差距,在软件技术创新方面少有建树,无非是学习学习再学习,模仿模仿再模仿啊~走出这种困境,与国家的科研投入和相关政策必然密不可分,但单靠国家单方面投入,能否将国内软件行业推向国际前沿呢?就如同体育,不发展全民体育,只靠大力投入培养运动员,如何能在

    云计算, 艾一搜, 民间研究中心, 云存储研究中心November 9

  • [北京]中国联通研究院大量招聘hadoop技术人才

    联通研究院的猎头职位:大数据方向,联通首次社会招聘,薪资可以参考市场行情 大数据平台架构师 岗位要求: 1. 计算机及相关专业本科以上学历 2. 3年以上数据库以及Java/C/C++/PHP编程经验,其中1年以上Hadoop平台产品设计.架构经验,有项目管理经验优先. 3. 有丰富的分布式系统分析与设计经验,熟练掌握分布式系统.分布式计算系统的工作机制,并熟悉Hadoop框架及HDFS.Hbase.Hive等工具的使用 4. 具备较强的计划.组织.协调.沟通及分析能力,优秀的职业素养和团队协作

    hadoop, Java, 大数据, 云计算, nosqlOctober 17

  • Hadoop上路_13-MapReduce常用算法
    Hadoop上路_13-MapReduce常用算法

    算法是程序的精髓所在,算法也是一个人是否适合做软件开发的衡量标准.当然算法不是衡量一个人是否聪明的标准,熟练掌握以下几种,做到触类旁通即可. 以下几个例子测试环境:伪分布式, IP 为 localhost ,集群和 eclipse 在同一个系统内. 1.排序: 1)数据: hadoop fs -mkdir /import 创建一个或者多个文本,上传 hadoop fs -put test.txt /import/ 2)代码: package com.cuiweiyou.sort; import

    hadoop, 云计算, 算法, 分布式, 1.1.2August 8

  • Hadoop上路_12-MapReduce流程演示
    Hadoop上路_12-MapReduce流程演示

    MapReduce是单个jobstracker和多个tasktracker的组合.一般jobstracker和HDFS中的namenode在同一个节点,也可配置为单独节点:tasktracker和datanode必须是同一个节点.jobstracker是整个MapReduce系统的主控节点. 1. jobstracker节点-Master节点: (1)负责调度构成一个作业的全部任务,将之分配到不同的从属节点上. (2)通过心跳机制监控从属节点运行状况.一旦有意外,会立刻将任务转移. 2. tas

    hadoop, 云计算, 数据库, 分布式, 1.1.2August 8

  • 华章5-6月份新书简介
    华章5-6月份新书简介

    设计原本--计算机科学巨匠Frederick P.Brooks的反思(精装版) 免费试读 http://www.amazon.cn/dp/B00CD1EWMG 图灵奖得主.软件工程之父.<人月神话>作者不朽经典,揭秘软件设计与架构本质,程序员.架构师和项目经理必读 嵌入式系统设计与实践 http://www.amazon.cn/dp/B00D8TTFMO 嵌入式系统设计领域的经典之作,资深嵌入式系统设计专家撰写 系统总结嵌入式系统设计的通用原型和原则 HTML5 Canvas核心技术:图形.动

    android, hadoop, 云计算, 代码, htmlJune 25

  • 基于云计算的农村社区教育信息化架构设计研究--陈金华,李忠
    基于云计算的农村社区教育信息化架构设计研究--陈金华,李忠

    <基于云计算的农村社区教育信息化架构设计研究>作者:陈金华,李忠 关键词:云计算: 农村社区教育信息化:逻辑架构:平台架构:服务架构 1.云计算架构及其特征 云计算:通过网络,对资源进行统一管理和调度,构造一个虚拟化的资源池,向用户提供服务,提高信息资源利用率. 特征:弹性服务,资源池化,按需服务,平台立交,泛在接入,高安全性 2.制约我国教育信息化的瓶颈 架构瓶颈:缺乏整体.由于欠缺统筹,整体一致的规划,使得各框架各异,难于资源的共享,造成硬件资源的浪费. 设备瓶颈:基础薄弱.虽然国家近年来

    云计算, 教育, 农村June 14

  • 互联网正加速淘汰传统产业,Gleasy将得到更好的发展

    "中国经济的后发优势是上天赐给中国互联网从业者的机会,也是那些在传统产业中有梦想.愿意拥抱互联网的从业者的机会."这是百度创始人李彦宏在2013百度联盟峰会上发表开幕演讲时指出来的,他说中国的互联网正在加速淘汰传统产业. 在互联网加速淘汰传统产业的同时,中国云计算产业正如雨后春笋般蓬勃兴起,而对于作为云计算产业中的佼佼者Gleasy一站式在线办公平台而言,这更是一种不可多得的机遇与发展. Gleasy是一个一站式的在线办公平台,它依靠自身基础服务以及系统的整合能力,将分散在网络的各类孤

    云计算, 在线办公, 云应用May 29

  • Hadoop上路_11-HDFS流程演示
    Hadoop上路_11-HDFS流程演示

    一个HDFS集群(简单理解我们搭建的Hadoop集群)即一个namenode与N个datanode的组合. 1. namenode节点-Master节点: (1)namenode是整个HDFS系统的入口,响应用户请求并实现对文件的管理操作. (2)管理文件划分为多少个block块:管理这些文件块备份多少份,以及保存在哪些设备(datanode)上. (3)监控datanode的健康状况,确保所掌控的从属节点都能正常运转:如有意外,会执行数据从健康节点复制转移到新节点,保证备份数量足够和有效. 2

    hadoop, 云计算, 数据库, 分布式, 1.1.2May 26

  • Hadoop上路_10-分布式Hadoop集群搭建
    Hadoop上路_10-分布式Hadoop集群搭建

    1.创建模板系统: 参照前文.本例使用ubuntu10.10.初始化用户hadoop,密码dg,主机名hadoop-dg . 1)解压jdk.hadoop,配置bin到环境变量: jdk1.7.0_17 hadoop-1.1.2 2)配置%hadoop%/conf/hadoop-env.sh: export JAVA_HOME=/jdk目录 3)安装openssh,尚不配置无密码登陆: openssh-client openssh-service openssh-all 4)配置网卡静态IP.h

    hadoop, Java, 云计算, 分布式, 集群May 22

  • Hadoop上路_09-在Win7中操作Ubuntu的HDFS
    Hadoop上路_09-在Win7中操作Ubuntu的HDFS

    和在Ubuntu中的操作雷同. 1.查询: 1)方式一-指定HDFS的URI: package com.cuiweiyou.hdfs; import java.net.URI; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileStatus; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; pu

    hadoop, 云计算, 远程访问, 分布式, 1.1.2May 21

  • Hadoop上路_08-在win7中配置eclipse连接Ubuntu内的hadoop
    Hadoop上路_08-在win7中配置eclipse连接Ubuntu内的hadoop

    1.设置Ubuntu静态IP: [email protected]:~$ ifconfig 1)配置网卡参数到interfaces文件: [email protected]:~$ sudo gedit /etc/network/interfaces 2)重启网卡: [email protected]:~$ sudo /etc/init.d/networking restart 再次查看网卡配置: 2.配置Ubuntu的hosts: [email protected]:~$ sudo gedit /etc/hosts 重启Ubuntu

    hadoop, Java, 云计算, 数据库, 分布式May 21