数据仓库概念 数据仓库是一个用于储存、分析、报告的数据系统，目的是构建面向分析的集成化数据环境，分析结果为企业提供决策支持。 数据仓库本身不生产任何数据，其数据来源于外部系统，同时数据仓库也不消费任何数据，其分析的结果开放给各外部应用使用。 Hive是什么 Hive是⼀个基于Hadoop的数据仓库⼯具，可以将结构化的数据文件映射成⼀张数据表，并可以使用类似SQL的方式来对数据文件进行读写以及...
数据仓库概念 数据仓库是一个用于储存、分析、报告的数据系统，目的是构建面向分析的集成化数据环境，分析结果为企业提供决策支持。 数据仓库本身不生产任何数据，其数据来源于外部系统，同时数据仓库也不消费任何数据，其分析的结果开放给各外部应用使用。 Hive是什么 Hive是⼀个基于Hadoop的数据仓库⼯具，可以将结构化的数据文件映射成⼀张数据表，并可以使用类似SQL的方式来对数据文件进行读写以及...
这里以Ubuntu18.04 server版本为例子讲解 # 关机重启 halt # 关机 shutdown -h now # 立即关闭系统和电源 reboot # 重启 shutdown -r now # 指的就是关机后重启系统 # 内核版本 uname -r cat /proc/version lsb_release -a # 查看发行版本信息 # 启动项服务 systemctl s...
Hadoop可运行于一般的商用服务器上，具有高容错、高可靠性、高扩展性等特点 特别适合写一次，读多次的场景 适合 大规模数据 流式数据（写一次，读多次） 商用硬件（一般硬件） 不适合 低延时的数据访问 大量的小文件 频繁修改文件（基本就是写1次） Hadoop版本和架构变迁 Hadoop 1.0版本 HDFS(分布式文件存储) MapReduce(资源管理和分布式数据处理) Hadoop...
大数据入门指南 ： https://github.com/heibaiying/BigData-Notes 大数据成神之路 ： https://github.com/wangzhiwubigdata/God-Of-BigData 大数据学习指南 ： https://github.com/MoRan1607/BigDataGuide 大数据面试题 ： https://github.com...
业务需求 随着项目业务越来越复杂，参与开发的人越来越多，代码管理，部署就会越来越复杂。传统手动部署变的不可靠，容易出错，而且浪费大量时间。有没有什么办法制动部署呢？这了介绍利用git hook完成制动部署。 当然，制动化部署是DevOps的重要部分。 关于钩子（hooks） 客户端钩子 客户端钩子分为很多种。 下面把它们分为：提交工作流钩子、电子邮件工作流钩子和其它钩子。脚本写在工作区的.g...
简单描述一下何为定向广告 什么是定向广告？ 简单来说，就是将广告推给特定属性和行为的人群。 定向广告系统与传统广告系统区别 传统广告系统一般是广告位买断制，全量展示。而定向广告系统一般需大数据计算，投放比较精细。 定向广告系统，需大量数据和用户支撑，也需要有大量广告主形成良性竞价平衡。不然会出现价格低，数据难看等情况。 定向广告系统不是以广告位为投放单位，而是以创意为基本投放单位。一个创意...
集群安装与配置 单台节点往往性能有限、磁盘有限、并发有限。 修改集群文件目录中每个节点的 config/elasticsearch.yml 配置文件 #节点 1 的配置信息： #集群名称，节点之间要保持一致 cluster.name: my-elasticsearch #节点名称，集群内要唯一 node.name: node-1001 node.master: true node.data:...
Xshell + Xftp 付费软件，不过有家庭免费版 https://www.xshellcn.com/xshell.html 此软件是在公司中使用的软件，公司电脑配置差。打开占用内存 30M左右。只能运行在windows环境中。需要说明一下的是，以前这两款软件爆出过收集用户信息的丑闻了的。 tabby 开源工具 https://github.com/Eugeny/tabby 经过...
小程序自定义组件 官方文档： 组件的说明：https://developers.weixin.qq.com/miniprogram/dev/framework/custom-component/ 事件的说明：https://developers.weixin.qq.com/miniprogram/dev/framework/view/wxml/event.html Component详解：...
概述 这篇文章分享 API 接口设计规范，目的是提供给研发人员做参考。 规范是死的，人是活的 路由命名规范 参考RESTful设计规范：RESTful 是目前最流行的 API 设计规范，用于 Web 数据接口的设计。 版本号 版本号通常使用v1,v2表示。在代码中表现通常以模块形式存在。 例如模块目录：api/modules/v1 URL设计 RESTful的核心思想就是，客户端发出的数据...
科目一 假1吊2撤3醉5逃终身 驾驶拼装报废车。罚款200-2000并吊销执照，收缴车辆强制报废 超速50%，罚款200-2000并吊销执照 两证两标一牌：机动车上路行驶携带，驾驶证、行驶证、检验合格标志、保险标志、车牌 特殊天气，同向行驶，近距离不能使用远光灯 夜间通过无指示灯的路口时，使用交替灯光提醒其他车辆，但有行人时，使用进光灯 无中心线城3公4，有中心线城5公7。记忆的时候记住3...
开发流程的用途 公司经常有萌新来实习，为了尽快让其了解功能开发的整个流程，于是做了这个图，方便大家理解开发的整个流程，哪个阶段有哪些人参与，或者同一时间哪些事情可以并行完成 详细流程
CPSAPP端扫码相关知识 CPSAPP二维码内容专属字符串 二维码内容字符串由两部分组成路由|随机token 例如：login|ET822N04S41EFWRH。当然这里如果结构很复杂，推荐使用json 路由 路由是一个字符串，二维码字符串|前部分的字符串login，路由字符串决定了处理类。例如login指定了扫码登录相关的处理类。 随机token 16位随机字符串，大写。例如：ET822...
数据库环境 prod:线上环境，只允许管理员操作且要做操作记录方便回滚。 dev:开发环境，开发可读写，可修改表结构。且使用版本控制系统记录sql操作记录，方便上线时统一修改数据库。 命名规范 基本命名规则 使用有意义的英文词汇，词汇中间以下划线分隔，避免使用保留字 只能使用英文字母，数字，下划线，并以英文字母开头 库、表、字段全部采用小写，不要使用驼峰式命名 数据库、表，一律使用前缀...
服务端架构的演变 微服务定义 维基上对其定义为：一种软件开发技术 - 面向服务的体系结构（SOA）架构样式的一种变体，它提倡将单一应用程序划分成一组小的服务，服务之间互相协调、互相配合，为用户提供最终价值。每个服务运行在其独立的进程中，服务与服务间采用轻量级的通信机制互相沟通。每个服务都围绕着具体业务进行构建，并且能够独立地部署到生产环境、类生产环境等。 后端架构演变 单体架构 业务初期用户...
起因 在做大屏幕项目时，与用户互动部分包括摇一摇功能，但发现页面中摇一摇在手机上无效，怎么调试都不管用。查了半天资料才清楚其原因，于是记录下来。 设备方向和运动监听 html 5 提供了一些方法在移动端获得设备方向及运动（因为他是依赖传感器硬件的，pc没有也不存在抱着台式机跑来跑去场景）。传感器包括陀螺仪、加速器和磁力仪(罗盘)。 DeviceMotionEvent 事件 在设备发生摆动、运...
Elasticsearch文档的操作可以理解成MySQL中的增删改查操作。 单个文档操作 # 索引中添加数据，如果目标索引的文档已存在，则更新文档并增加版本。当不指定id时为创建文档。 PUT /<target>/_doc/<_id> POST /<target>/_doc/ PUT /<target>/_create/<_id>...
什么是feed流系统 feed是将用户主动订阅的若干消息源组合在一起形成内容聚合器，帮助用户持续地获取最新的订阅源内容。 有哪些明显的feed流的： 最早的 RSS(简易信息聚合)，可以将其他多个网站的内容聚合到一起统一阅读。 好友动态(微博、朋友圈) feed变种(私信、通知、群聊) 个性化推荐(抖音、头条) 个人首页的历史消息 APP上消息红点数量或显示最后一条消息 feed流系统特...
查询语句核心语法部分 查询注意事项 text类型的查询都是基于分词后的词条查询的，例如"abcd"分词后"ab,cd"如果term查询"bc"就查不到。 query（查询）和filter（过滤）的区别 查询语句可同时存在query和filter。 query的查询字段会进行相关性_score的计算，而filter仅仅用来筛选。 Elasticsearch会自动缓存常用的过滤器，以提高性...