数据安全背景与现状

随着各种数据源不断涌现，数据量呈指数级增长，数据被广泛应用于各行各业，从传统互联网应用到智能制造、医疗健康等领域，各国针对数据安全制定了一系列安全法律和法规，对企业数据安全提出了更高的要求。同时数据泄露、黑客攻击和网络犯罪等事件屡屡发生，给个人、企业和政府带来了极大的损失和风险。为应对这些挑战和现状，需要企业和组织需要不断完善数据安全体系，利用新技术和工具对数据进行有效保护，加强数据安全意识和技能培训。

数据安全实践

数据安全体系，数据安全分为三个层次，第一层也就是最上层是根据法律法规制定的公司制度，上层建筑决定数据安全基础，有了强硬的基础，数据安全方可顺利推行，无规矩不成方圆，有敬畏才知行止。数据安全首要是研读法律法规，根据要求制定制度，避免权责划分不清扯皮、协调工作拒不配合、数据裸奔无保护等情况。做到违规可追责，保护数据安全各司其职，保障数据合法合规，公司员工共同遵守，守护数据安全基线！

数据安全制度大致可分为：

数据安全管理策略	数据安全组织与职责管理	数据安全分类分级管理
数据安全生命周期管理	数据安全权限与访问控制管理	数据安全保密性管理
数据安全备份与恢复管理	数据安全基线管理	数据安全风险管理
数据安全个人信息保护	数据安全合规管理	数据安全应急响应管理
数据安全业务查询与提取管理	数据安全共享及外发管理	数据安全个人信息影响评估管理

第二层是数据安全人员体系，根据制度设定数据安全岗和数据安全责任人，很多聪明的公司已经开始抢占人才。有了制度和人才的支持，才可以开展数据安全建设工作。有了上层支持和完整的数据安全制度，才能顺畅地推动工作，否则处处都是阻力和难以翻越的大山。第三层就是基础：数据安全技术体系。数据安全建设的目标：不出事或者说少出事，出了事能及时发现并止血。这就需要识别数据生命周期各阶段的风险，思考应对措施，建立技术体系，同时制定考核指标，不断完善，定期总结产出，让高层看到价值。企业的实践经验勾勒的数据安全技术体系概览如下图：

数据生命周期管理

数据采集

企业是否遇到过App被下架，被监管部门责令限期整改，整改项可能涉及违规收集、过度收集、未明确告知等原因。这就需要规范数据采集，此项是数据安全规范的第一步，很多企业无管控，违规收集用户信息，业务蛮荒增长，危害用户权益的事件层出不穷，造成app被监管通报下架、用户流失、企业收益减少。较好的实现方案是业务设计前，数据安全参与评审业务部门需求，告知业务部门遵循最小必须原则采集数据，如有数据采集变更，需通知法务及数据安全审核并变更隐私协议。产品端在数据采集前，需要用户点击同意隐私协议，未同意前不得收集任何信息，如采集重要数据（身份证照片等敏感个人信息），需单独做授权弹窗，用户同意后方可收集。同时将评估项做成checklist给产品，作为入职必修课。同时，可定期邀请第三方公司进行隐私合规检测，保障用户合法权益的同时降低企业App下架风险通报风险。

数据传输

数据传输阶段建议https传输，重要业务数据建议通过加密通道加密传输、签名，防止中间人篡改劫持。

数据存储

数据存储阶段笔者公司针对数据进行了分别处置，结构化数据如手机号、身份证等经加密处理后存入数据库。提到加密很多甲方可能遇到选择问题，自研还是商用？商用的好处是成熟，可提供硬件和软件加密，对接简单，但有一定费用。中易通科技的数据安全解决方案采用国密算法，提供多种调用方式，提供数据硬件加密、解密及秘钥管理功能。高效助力企业数据安全管理。

数据访问（使用）

是否遇到过业务方需要电话促活、分析、发奖、合作共享等，需要提取敏感数据，但数据落入个人电脑面临难以管控的困局，不提供又影响业务的两难场景？数据访问（使用）阶段，笔者的做法是根据制度对数据分类分级打标，设置相应的提取、查看等流程。针对研发部门，可推广自研数据安全管控平台，提供数据在线申请、查询、下载，同时具有自动数据打标分级、敏感数据动态脱敏展示、数据资产地图等功能，支持主流数据库mysql，hive，presto，postgres，redis，mongodb，hbase，opentsdb，clickhouse等。研发部门可申请即可，方便兄弟部门的同时，做到数据管控。服务器访问统一使用堡垒机，做到知其所需最小权限申请并授权，规范并审计操作行为。针对业务部门数据提取，分为敏感数据和非敏感数据。非敏感数据提取，需发起数据工单，经各部门审批同意后提供。敏感数据提取，推广自研敏感数据平台，敏感数据传至该平台后提供申请人在线查看、邮件加密发送、数据切分共享查看、虚拟桌面操作等功能。其中在线查看提供单个、批量显示明文并提供水印防截屏等操作；数据切分用于同批数据多人共享，可全量也可按字段、数量分割；邮件加密发送，用于企业间共享或监管审查；虚拟桌面操作，提供仿真电脑环境，可做数据分析、网页上传等复杂操作，并有dlp防泄密限制，减少数据落入个人终端，达到业务和安全的平衡和共赢。公司电脑终端均安装数据防泄漏程序，仅留有限途径供员工申请使用如企业邮箱外发、企业网盘共享等。

数据展示

数据展示承载多数企业的重要需求，涉及业务数据查看、分析、客服处理等重要功能，对数据展示要求是列表（多条）数据需脱敏展示，点击单条明细可展示明文，并配备系统水印，同时要求记录相应操作日志，用于内部员工行为审计（ueba）。

数据共享

当前互联网浪潮推动了许多公司数据的共享及合作，如短视频软件会推荐其他购物平台浏览过的商品，背后都是企业间数据共享。数据共享涉及企业及用户权益，如企业间不合理的共享可能涉及违规及损害用户权益的风险。数量激增的今天也出现了很多数据共享算法如差分隐私计算、联邦学习等，因公司业务不同，共享方式也不同。

数据销毁

匿名化( anonymization) 是指通过对个人信息的技术处理，使得个人信息主体无法被识别或者关联，且处理后的信息不能被复原的过程。去标识化是在于不借助额外信息，无法识别特定自然人。也就是说去标识化后的信息在借助其他信息后能够产生识别特定自然人的效果。

	仅从信息无法指向特定个人	处理后的信息不能复原为个人信息
匿名化 (anonymization）	✔	✔
去标识化 (de-identification)	✔	×

用户数据销毁，在用户注销账户或超出个人信息存储期限（包括实现使用目的所必需的最短时间、法定时间，或授权期限）后，都应对个人信息删除或匿名化处理。

数据治理

首先需要识别企业内数据安全风险：IT风险大于IDC风险，IDC风险来源于漏洞、访问控制不严；IT风险来源于数据分发复杂、访问关系复杂、数据泄露途径多。前中期手段是加强漏洞治理，识别敏感API和数据资产，对重要数据加密，理清数据访问关系。IT风险是数据资产访问基线（含DLP建设及运营）、数据访问监控、数据泄漏监控、应急响应和安全意识宣导。中后期手段：数据血缘关系管理（数据流向追踪）、VDI（可选用）、日志自动化审计、EDR、隐私保护。如何理清治理先后顺序？关注最高的数据安全风险1-3个，设定关键运营指标，通过运营手段和技术手段去拦截和感知潜在的数据安全事件，提升数据安全事件主动识别率。

*文章转自FreeBuf.COM","gnid":"90f52bd36d6379370","img_data":[{"flag":2,"img":[{"desc":"","height":"430","title":"","url":"https://p0.ssl.img.360kuai.com/t015a21a69c60d172ac.jpg","width":"700"},{"desc":"","height":"270","title":"","url":"https://p0.ssl.img.360kuai.com/t014987fe1e843ea3a7.jpg","width":"558"},{"desc":"","height":"604","title":"","url":"https://p0.ssl.img.360kuai.com/t014ea1627e036c78b2.jpg","width":"558"},{"desc":"","height":"271","title":"","url":"https://p0.ssl.img.360kuai.com/t01ae4b35cec058b913.jpg","width":"554"},{"desc":"","height":"266","title":"","url":"https://p0.ssl.img.360kuai.com/t012178390c0c60526e.jpg","width":"558"}]}],"original":0,"pat":"art_src_0,fts0,sts0","powerby":"hbase","pub_time":1687594413000,"pure":"","rawurl":"http://zm.news.so.com/2c1842e7be090b095d1fded82106ae42","redirect":0,"rptid":"515c47df96550a98","rss_ext":[],"s":"t","src":"微铂","tag":[],"title":"企业数据安全建设

宇忽怡2204nutch2.3用什么hbase版本 -
怀蓓栏18829942803 ______ 在apache上下载的hbase,默认的编译版本是根据hadoop-1.0.3的. 需要用其他版本的hadoop的,要对hbase进行重新编译. 编译并不难,但是第一次,还是出了很多很多状况. PS:HBase版本:hbase-0.94.1 hadoop版本 2.0.1 1,下载maven...

宇忽怡2204hadoop 与hbase 分别装在不同的物理及上怎么配置 -
怀蓓栏18829942803 ______ 1. 由于 HBase 依赖 Hadoop,它配套发布了一个Hadoop jar 文件在它的 lib 下.该套装jar仅用于独立模式.2. 在分布式模式下,Hadoop版本必须和HBase下的版本一致.3. 用你运行的分布式Hadoop版本jar文件替换HBase lib目录下的Hadoop jar文件,以避免版本不匹配问题.4. 确认替换了集群中所有HBase下的jar文件.5. Hadoop版本不匹配问题有不同表现,但看起来都像挂掉了.6.

宇忽怡2204求助帖,hbase新手,windows中的java怎么连接linux中的hbase -
怀蓓栏18829942803 ______ 一、新建本地java工程 file->new->java project 二、添加jar包和配置文件1、添加JAR包 右击Propertie在弹出的快捷菜单中选择Java Build Path对话框,在该对话框中单击Libraries选项卡,在该选项卡下单击 Add External JARs按钮,定位到$...

宇忽怡2204如何将一个hbase的数据导入另一个hbase -
怀蓓栏18829942803 ______ 1.在hbase中创建一个表 例如:create 'test','info'2.配置环境 在hadoop的安装目录下找到hadoop.env.sh配置文件,将一文件加入到此配置文件中 (export HBASE_HOME=/usr/hbase export HADOOP_CLASSPATH=$HBASE_HOME/hbase-0.94....

宇忽怡2204hbase运行出错 -
怀蓓栏18829942803 ______ hbase启动失败,MasterNotRunningException master没有启动报错,查看hbase启动日志 以及确定hadoop是否正常启动

宇忽怡2204hbase能不用hadoop吗 -
怀蓓栏18829942803 ______ 不用,你相当于是客户端, 你连接的hbase在服务器上,已经是基于hadoop的安装了,不需要再在你本机安装hadoop. 不过,如果你是连接的你本地的hbase,那么是需要安装hadoop的

宇忽怡2204Hbase 需要和hadoop安装到一台主机?这样的话 hadoop运行时占用大量CPU和内存,会丢Habase查询效果有影响. -
怀蓓栏18829942803 ______ hbase查询主要靠内存和磁盘,而且是在子节点上进行的.不过多少会有影响,不是因为cpu,而是因为磁盘.hadoop写磁盘的量也很大

宇忽怡2204读取hbase需要配置master吗 -
怀蓓栏18829942803 ______ 要的 hbase配置 下载hbase-0.94.0-security 解压即可 在此路径下新建zookeeper_data和hbase_tmp 》hbase-env.sh export JAVA_HOME=/home/hadoop/tools/jdk1.6.0_27/ export HBASE_OPTS=＂-XX:+UseConcMarkSweepGC＂#...

宇忽怡2204关于hbase的配置. -
怀蓓栏18829942803 ______ 从你的问题看出,有些概念还不是很清楚:1. datanode是HDFS的一个组件,是java开发的,查看时应该查看java进程,并检测其命令行是否含有datanode字样,有就是datanode进程;2. 验证HDFS是否正常运行,可以使用命令 hadoop dfsadmin -report , 如果输出正常,并且节点数正常,就说明HDFS一切正常;3. 不能进入hbase的控制台, 那么你是否验证了Hbase的状态是否正常? 比如执行 $ ./bin/hbase shell 命令行是否能够支持进行shell状态?4. 等这些都验证成功了,你在尝试一下控制台是否可以访问.