Cloudera Manager — hadoop集群软件分发和管理平台

apache hadoop及其生态组件安装管理的缺点 部署过程及其复杂,超过20个节点的时候,手动操作就非常累了。 各组件部署完成后,各自为政,没有统一化的管理界面。 各组件之间的依赖关系很复杂,一环扣一环,部署过程心累。 各组件之间没有统一的可视化界面,比如hdfs占用磁盘空间、IO、运行状况等。 优化等需要用户自己根据业务场景进行跳转,效率极低,不能自动分发到所有节点上。 为了解决上...

继续阅读 »

k8s集群管理平台:Kubesphere与Rancher

Kubernetes 是什么 Kubernetes,又称为 k8s,用于管理云平台中多个主机上的容器化的应用,Kubernetes的目标是让部署容器化的应用简单并且高效,应用部署,规划,更新,维护的一种机制。 目前主流的Kubernetes集群管理平台就是Kubesphere和Rancher Kubesphere 和 Rancher 的区别 核心区别 KubeSphere定位是以应用为中心...

继续阅读 »

基于Hive的离线数据仓库项目

项目的架构 架构图 架构图说明 Zookeeper:集群管理工具,主要服务于hadoop高可用,以及其他基于zookeeper管理的大数据软件 HDFS:大数据最终数据的储存 YARN:负责资源的分配 HIVE:用于编写SQL进行数据分析 Oozie:主要负责自动化定时调度 Sqoop:用户关系数据库的导入导出 Flume:日志文件的导入导出 HUE:提升hadoop的用户体验,可以比较...

继续阅读 »

Hive与数据仓库

数据仓库概念 数据仓库是一个用于储存、分析、报告的数据系统,目的是构建面向分析的集成化数据环境,分析结果为企业提供决策支持。 数据仓库本身不生产任何数据,其数据来源于外部系统,同时数据仓库也不消费任何数据,其分析的结果开放给各外部应用使用。 Hive是什么 Hive是⼀个基于Hadoop的数据仓库⼯具,可以将结构化的数据文件映射成⼀张数据表,并可以使用类似SQL的方式来对数据文件进行读写以及...

继续阅读 »

linux常用命令汇总

这里以Ubuntu18.04 server版本为例子讲解 # 关机重启 halt # 关机 shutdown -h now # 立即关闭系统和电源 reboot # 重启 shutdown -r now # 指的就是关机后重启系统 # 内核版本 uname -r cat /proc/version lsb_release -a # 查看发行版本信息 # 启动项服务 systemctl s...

继续阅读 »

Hadoop大数据入门教程

Hadoop可运行于一般的商用服务器上,具有高容错、高可靠性、高扩展性等特点 特别适合写一次,读多次的场景 适合 大规模数据 流式数据(写一次,读多次) 商用硬件(一般硬件) 不适合 低延时的数据访问 大量的小文件 频繁修改文件(基本就是写1次) Hadoop版本和架构变迁 Hadoop 1.0版本 HDFS(分布式文件存储) MapReduce(资源管理和分布式数据处理) Hadoop...

继续阅读 »

大数据学习线路图

大数据入门指南 : https://github.com/heibaiying/BigData-Notes 大数据成神之路 : https://github.com/wangzhiwubigdata/God-Of-BigData 大数据学习指南 : https://github.com/MoRan1607/BigDataGuide 大数据面试题 : https://github.com...

继续阅读 »

Git实现自动化部署

业务需求 随着项目业务越来越复杂,参与开发的人越来越多,代码管理,部署就会越来越复杂。传统手动部署变的不可靠,容易出错,而且浪费大量时间。有没有什么办法制动部署呢?这了介绍利用git hook完成制动部署。 当然,制动化部署是DevOps的重要部分。 关于钩子(hooks) 客户端钩子 客户端钩子分为很多种。 下面把它们分为:提交工作流钩子、电子邮件工作流钩子和其它钩子。脚本写在工作区的.g...

继续阅读 »

定向广告系统开发需考虑的要素

简单描述一下何为定向广告 什么是定向广告? 简单来说,就是将广告推给特定属性和行为的人群。 定向广告系统与传统广告系统区别 传统广告系统一般是广告位买断制,全量展示。而定向广告系统一般需大数据计算,投放比较精细。 定向广告系统,需大量数据和用户支撑,也需要有大量广告主形成良性竞价平衡。不然会出现价格低,数据难看等情况。 定向广告系统不是以广告位为投放单位,而是以创意为基本投放单位。一个创意...

继续阅读 »

Elasticsearch教程 — 集群/分片/副本/水平扩容/优化

集群安装与配置 单台节点往往性能有限、磁盘有限、并发有限。 修改集群文件目录中每个节点的 config/elasticsearch.yml 配置文件 #节点 1 的配置信息: #集群名称,节点之间要保持一致 cluster.name: my-elasticsearch #节点名称,集群内要唯一 node.name: node-1001 node.master: true node.data:...

继续阅读 »

优秀的ssh工具推荐

Xshell + Xftp 付费软件,不过有家庭免费版 https://www.xshellcn.com/xshell.html 此软件是在公司中使用的软件,公司电脑配置差。打开占用内存 30M左右。只能运行在windows环境中。需要说明一下的是,以前这两款软件爆出过收集用户信息的丑闻了的。 tabby 开源工具 https://github.com/Eugeny/tabby 经过...

继续阅读 »

API接口设计规范

概述 这篇文章分享 API 接口设计规范,目的是提供给研发人员做参考。 规范是死的,人是活的 路由命名规范 参考RESTful设计规范:RESTful 是目前最流行的 API 设计规范,用于 Web 数据接口的设计。 版本号 版本号通常使用v1,v2表示。在代码中表现通常以模块形式存在。 例如模块目录:api/modules/v1 URL设计 RESTful的核心思想就是,客户端发出的数据...

继续阅读 »

驾校考试科目4易错点整理

科目一 假1吊2撤3醉5逃终身 驾驶拼装报废车。罚款200-2000并吊销执照,收缴车辆强制报废 超速50%,罚款200-2000并吊销执照 两证两标一牌:机动车上路行驶携带,驾驶证、行驶证、检验合格标志、保险标志、车牌 特殊天气,同向行驶,近距离不能使用远光灯 夜间通过无指示灯的路口时,使用交替灯光提醒其他车辆,但有行人时,使用进光灯 无中心线城3公4,有中心线城5公7。记忆的时候记住3...

继续阅读 »

简单并行开发流程

开发流程的用途 公司经常有萌新来实习,为了尽快让其了解功能开发的整个流程,于是做了这个图,方便大家理解开发的整个流程,哪个阶段有哪些人参与,或者同一时间哪些事情可以并行完成 详细流程

继续阅读 »

APP端扫一扫技术文档

CPSAPP端扫码相关知识 CPSAPP二维码内容专属字符串 二维码内容字符串由两部分组成路由|随机token 例如:login|ET822N04S41EFWRH。当然这里如果结构很复杂,推荐使用json 路由 路由是一个字符串,二维码字符串|前部分的字符串login,路由字符串决定了处理类。例如login指定了扫码登录相关的处理类。 随机token 16位随机字符串,大写。例如:ET822...

继续阅读 »

内部MySql使用规范

数据库环境 prod:线上环境,只允许管理员操作且要做操作记录方便回滚。 dev:开发环境,开发可读写,可修改表结构。且使用版本控制系统记录sql操作记录,方便上线时统一修改数据库。 命名规范 基本命名规则 使用有意义的英文词汇,词汇中间以下划线分隔,避免使用保留字 只能使用英文字母,数字,下划线,并以英文字母开头 库、表、字段全部采用小写,不要使用驼峰式命名 数据库、表,一律使用前缀...

继续阅读 »

微服务架构与RPC框架讲解

服务端架构的演变 微服务定义 维基上对其定义为:一种软件开发技术 - 面向服务的体系结构(SOA)架构样式的一种变体,它提倡将单一应用程序划分成一组小的服务,服务之间互相协调、互相配合,为用户提供最终价值。每个服务运行在其独立的进程中,服务与服务间采用轻量级的通信机制互相沟通。每个服务都围绕着具体业务进行构建,并且能够独立地部署到生产环境、类生产环境等。 后端架构演变 单体架构 业务初期用户...

继续阅读 »

摇一摇事件 DeviceOrientation 和 DeviceMotion

起因 在做大屏幕项目时,与用户互动部分包括摇一摇功能,但发现页面中摇一摇在手机上无效,怎么调试都不管用。查了半天资料才清楚其原因,于是记录下来。 设备方向和运动监听 html 5 提供了一些方法在移动端获得设备方向及运动(因为他是依赖传感器硬件的,pc没有也不存在抱着台式机跑来跑去场景)。传感器包括陀螺仪、加速器和磁力仪(罗盘)。 DeviceMotionEvent 事件 在设备发生摆动、运...

继续阅读 »