0 引 言

随着信息技术的创新发展,为了适应社会信息经济的高速增长,大数据(Big Data)技术应运而生。大数据是指在一定时间范围内无法用常规软件工具进行捕捉、管理和处理的数据集合,通常是PB或EB级别的,只有借助新的数据处理技术才能挖掘出具有更强决策力、洞察发现力和流程优化能力、海量的、高增长率和多样化的信息资产^[1]。大数据包括结构化、半结构化和非结构化数据,非结构化数据逐渐成为数据的主要部分^[2]。大数据具有“5V”特点,即Volume(体量大)、Velocity(处理高速)、Variety(种类多样)、Value(价值密度低、商业价值高)、Veracity(真实性)^[2]。

大数据技术的意义不在于收集存储庞大的数据信息,而在于对具有价值的海量数据进行专业化处理使之增值。从技术上看,大数据与云计算的关系就像一枚硬币的正反面一样密不可分^[2,3]。大数据必须采用分布式数据库和云存储、虚拟化技术,因此大数据无法利用一台或几台计算机进行处理,必须通过集群架构下云计算分布式处理,对海量数据进行分布式数据价值挖掘。

纵观国内外油气田的发展,信息技术的应用无处不在,信息技术引领着油气田钻完井技术服务行业逐步走向数字化、科学化、大数据化。大数据是信息社会的必然产物,发展大数据技术是信息社会的必然方向,能够为人类社会带来巨大的价值,也将促进世界油气田钻完井技术服务行业的发展。

1 油气田钻完井大数据研究意义

大数据技术的发展给各个行业提供了一种从各种超大规模数据中相对容易、更加廉价和迅速提取价值的方式,并悄然改变着许多行业的商业模式^[4],如Google翻译、亚马逊电商等,都通过大数据技术获得了极大的成功。近年来,由于国际油气市场突变,能源企业利润大幅降低,许多国际化能源公司开始对如何利用大数据技术进行研究,以期提高科研、作业效率,降低油气勘探开发成本,大数据正在成为能源行业未来发展的趋势^[4]。荷兰皇家壳牌石油公司结合移动互联网和物联网技术,旨在逐步建立发展“智能油田”;页岩气、致密油等非常规油气田勘探也越来越青睐大数据技术,可以帮助工程师精确定位储集层,优化压裂施工设计,降低各板块开发成本。对于油气田钻完井技术服务板块,从其作业管理与作业流程中尽可能拓展采集巨量数据,并研究出相对应的大数据算法模型,必将为钻完井技术发展与作业经营管理带来回报。

1.1 国内外油气田钻完井行业大数据现状

目前,国内外各大钻完井技术服务企业的数据采集方式大都是仪器采集实时数据,人工采集静态数据,存储方式大都是采用关系型数据库,国外也存在钻完井作业分布式大数据及其应用。

国际上油气田钻完井行业的信息化技术研究与部署应用较国内提前20~30年。国际知名的油气公司,如哈里伯顿、斯伦贝谢、英国石油公司、雪佛龙股份有限公司、荷兰皇家壳牌集团、美国丹文能源公司等,在钻完井技术服务方面,无论是信息采集与数据处理,还是物联网技术,均得到了显著的发展与应用。这些公司不但在大体量地震数据的处理上独树一帜,而且在全球建立了工程地质分布式数据库,并建立了较为完备的钻完井数据分析应用系统,与钻完井远程实时作业中心(RTOC)相结合,大数据技术得到了初步应用^[5],在提升科学优质高效钻完井作业中发挥着重要的作用。

国内油气田钻完井技术服务企业目前依旧受这些公司的技术制约和影响。目前油服企业都在努力跟进学习,甚至正在调研开发类似的数据平台和应用平台,如“中国海油智慧钻井技术应用示范项目”,在采用大数据处理钻井相关数据而赢得经济价值方面初露锋芒^[5]。

1.2 国内油气田钻完井行业亟待解决问题

国内油气田钻完井行业的数据系统众多,数据应用多样,诸如财务系统、生产运营系统、实时监控系统、安全管理系统、远程实时作业中心、随钻分析解释系统等。

对于国内各钻完井公司来讲,以上系统的存在,为行业的信息技术发展带来了生机和活力,并发挥着重要的作用。但是,由于这些公司的内部以及各公司之间、各系统之间、各应用之间数据孤岛林立,相互独立运行,数据共享效果甚微。另外,这些系统的数据体量不足,应用匮乏,甚至有的系统就是为了对外展示,缺乏真实的技术内涵,没有实质的外延应用价值。

在信息技术高速发展的今天,国内钻完井行业要想赶超世界领先企业,在不断虚心学习钻研国外先进技术和理念的同时,更要自我创新,借助信息技术打造国际一流的钻完井技术服务。从数据技术上分析,要研究整合钻完井板块全流程数据,并研究其大数据采集、存储、云计算等技术,通过设计建立油气田钻完井大数据,为打造国内先进的钻完井技术服务奠定基础。

2 油气田钻完井大数据设计

建立油气田钻完井大数据与其他行业大数据一样,也需要从采集、处理、存储到形成结果的全过程,这涉及到感知技术、分布式处理技术、分布式云存储技术、云计算技术等。

2.1 钻完井大数据采集

建立钻完井大数据,要首先建立数据采集分析指标体系,这是形成钻完井数据集市的基础,也是覆盖钻完井用户所需数据广度和深度的前提,大数据必须多渠道、多源采集获取。对钻完井作业前端不同渠道进行数据埋点,然后根据钻完井作业不同渠道采集多维数据,建立钻完井大数据采集作业全流程(图1),这是做好钻完井大数据的第一步。由于作业现场数据的易失性,采集作业现场数据尤为重要,采集现场数据参考但不限于钻完井作业大数据E-R图(图2)。

显示原图| 下载原图ZIP| 生成PPT

图1   钻完井大数据采集作业运行流程

   

显示原图| 下载原图ZIP| 生成PPT

图2   钻完井作业大数据E-R图

   

与传统结构化数据不同,钻完井大数据类型包括结构化、半结构化和非结构化数据,主要有钻完井各业务结构化实时作业数据、各类静态结构化表格数据、各类管理数据、视频数据、音频数据、文件数据、讨论数据、留言数据、图片数据等。

数据采集方式是多样的,也必须是分布式多源采集。采集方式有:(1)专业的自动化传感系统采集,如录井仪、LWD/MWD、钻参仪、井场动环物联网等实时系统、CCTV视频系统、视频会议系统、智能安防系统等;(2)从既有数据库系统中抓取采集,如云化ETL多源采集,从ERP系统、财务经营系统、生产报表系统、生产运营系统等系统中采集数据;(3)专业录入系统,如工程地质静态资料整理系统、历史纸质资料数字化系统、工程地质专业网站或APP随时随地录入系统等。

2.2 钻完井大数据处理与存储

在数据种类繁多、数据处理复杂的情形下,大数据存储要采用Hadoop分布式存储,如HDFS(Hadoop Distributed File System)、分布式NoSQL、分布式Oracle、BigInsights等。这里采用Hadoop资源池、MPP数据库、流处理资源池混搭的大数据技术架构(图3)。

显示原图| 下载原图ZIP| 生成PPT

图3   钻完井大数据存储架构

   

针对多维的钻完井大数据,采用ETL/ELT技术对其各类数据进行标准化结构化处理及加载^[6,7],然后建立数据存储管理子系统,归集到钻完井底层数据仓库,并将其内部数据分解成基础的同类数据集市。采用ETL/ELT技术整理数据时,要完成以下任务:(1)对空数据或缺失数据进行数据补缺,对无法处理的数据做特殊标记;(2)替换无效的数据;(3)建立主外键约束,对非法数据进行数据替换或导出到错误文件重新处理;(4)用表关联实现数据合并,每个字段加索引,保证关联查询的效率;(5)按一定规则拆分数据;(6)行列互换、排序/修改序号、去除重复记录;(7)将从源数据抽取的数据格式转换成便于进入仓库处理的目标数据格式。

2.3 钻完井大数据交换与共享

数据交换共享是大数据应用的核心。钻完井大数据数据交换共享系统在采用常规的专业交换共享技术的同时,也要融入油气田钻完井行业的技术标准^[8]。常规数据交换与共享平台主要功能包含:(1)数据交换总控系统,为各个交换节点提供统一的配置、监控、跟踪、管理等,部署在数据中心;(2)数据交换网关系统,运行在各业务应用前端,完成点到点定向数据交换传输,必须由总控系统控制;(3)异构云桥系统,完成数据提取、转换以及推送,搭建各业务互联部门数据应用与交换网关之间的数据桥;(4)消息服务总线系统,对服务、事件、消息提供中介,对服务提供治理、质量监控以及人物调度功能,智能服务编排、服务组合,挂接SOAP Web Services和REST Cloud Services,实现高速高效数据共享;(5)资源服务目录系统,实现数据资源的标准管理,完成资源类别目录编辑、目录版本管理、服务认证、检索服务、订阅服务、用户评价、流程化资源申请与审批等;(6)云服务生成系统,采用SOA/WOA架构思想,发布生成并运行基础源Service服务,根据用户业务的不同,灵活、快速地生成和发布标准遵循JAX-WS和JAX-RS等规范的Service服务,稳定和高效地运行Service服务,提供高并发访问和请求;(7)云化ETL数据采集系统,实现云化数据采集,以Web化、分布式方式采集多源异构数据到钻完井大数据平台(Hadoop、Hbase、Spark等)^[9],数据源包含MPP、Oracle、MySQL、PostgreSQL、MongoDB 等,数据采集业务化、可视化,以时间戳、触发器、日志解析等方式实现增量、全量数据抽取。

油气田数据交换技术标准采用WITSML协议,主要实现钻完井实时数据、地层数据等批量转发,为多用户第三方应用系统提供标准的井场数据信息。

2.4 钻完井大数据分析与挖掘

大数据分析要求有适用的大数据计算模式,即根据大数据的不同数据特征和计算特征,从多样性的大数据计算问题和需求中提炼并建立的各种高层抽象(Abstraction)或模型(Model)^[10],目前知名的有Hadoop系统的并行计算抽象MapReduce,Spark系统的分布内存抽象RDD(Resilient Distributed Datasets),GraphLab系统的图并行抽象Graph Parallel Abstraction等。只有建立合适的计算模型才能从大数据中挖掘出更大的价值。

借助MapReduce、RDD或Graph Parallel Abstraction等大数据计算技术,研究并形成适用的数据计算模型,实现集群云计算,从海量的、不齐全的、有噪声的、不清晰的、随机的钻完井数据中提取隐含在其中的、事先未知的但又有潜在价值的信息和知识,是非常重要的。挖掘方法根据挖掘任务分为分类模型发现、序列模式发现、依赖关系发现、异常趋势发现等;根据挖掘对象可分为关系数据库、面向对象数据库、空间数据库、实时数据库、文本数据库、多媒体数据库、异质数据库等^[11];根据挖掘方法分为机器学习法、统计法、神经网络法和数据库法等。详细的钻完井大数据计算模型本文不做深入研究,只列举以下3种计算模型的需求形式。

2.4.1 数据报表及其可视化

经过ETL/ELT对Hadoop数据源进行数据指标体系规范成库后^[12,13],即可利用大数据技术配置数据报表设计,实现直观的可视化输出,钻完井报表可分为基础查询类报表、管理层分析报表和主题分析报表等。每类报表分别针对不同的业务、层级和目的。基础类报表用于诸如钻井、定向井、酸化压裂等业务人员查询,管理报表用于诸如总工、监督、技术员等管理层分析决策、汇报,主题分析报表用于诸如专家课题、单项研究等分析问题、开拓业务。

2.4.2 精细化业务分析

在钻完井业务中,许多都需要精细化管理,如随钻压力分析、摩阻分析、地质导向分析、地层分析、设备运行异常分析、钻头分析、油气水分析、作业效果分析、成本分析、市场分析等。分析工具包括常规的Excel、SPSS、R、Python以及专业的SAS、Tableau、大数据BI工具FineBI,还包括将来自行研究建立的钻完井大数据专业分析工具等。

2.4.3 战略分析与决策

战略分析与决策基于钻完井作业经营分析和重大决策变更分析层面,往往需要大量数据和指标的支持,而不是直观依靠报表或经验。这些分析主要涉及钻完井市场内外部环境分析、钻完井技术重大决策、经营模式的转变等。

3 油气田钻完井大数据应用展望

通过对油气田钻完井大数据进行价值挖掘,综合分析工程、地质、人财物等资源信息,提升钻完井作业时效,降低成本,对于实现科学钻探开发、智能化钻完井具有重要的意义。

3.1 钻完井工程地质一体化

工程地质一体化就是以提高单井产量为目的,以三维模型为核心,以地质储集层综合研究为基础,在工厂化开发方案实施过程中,对钻井、固井、压裂、试采和生产等环节进行系统性、针对性、前瞻性研究,不断优化钻井、压裂等工程技术方案,在区块、平台和单井3种场景,分层次、动态地提升工程效率与开发效益,实现经济开发和效益开发^[7]。由此可见,要实现地质工程一体化,数据的体量是非常巨大的,钻完井大数据的作用不可替代。

3.1.1 工程应用

调查研究发现,油气企业在数据分析、移动互联网和物联网方面的建树将大幅增加其价值。采用大数据处理钻完井实时作业数据,可以有效降低成本。

大数据技术可以保障钻完井机械设备的正常运转,尽可能降低事故发生概率,提高安全作业系数。通过物联网技术采集设备实时数据,监控并分析设备运行,预警已损零部件,节约工时,保证设备和作业人员安全。大数据也可以提供钻完井作业工程复杂分析与预警,保障施工顺利进行,提速提效。通过区域大数据井场信息、井筒信息分析与价值挖掘,提供诸如地层压力信息、摩阻信息、循环信息、地层信息、油气水信息等,分析井下环境、规避风险,对钻进方向和速度实时决策,从而优化整个钻完井作业,实现快速保质高效施工。

3.1.2 地质应用

通过对区域性录井、测井、钻井、测试、酸化压裂等钻完井大数据的分析,可以快速预测地层,及时发现油气显示,保护油气层,指导钻完井作业。通过对录井气测数据、地层数据、油气水数据、地层压力数据等数据的分析,可以准确预测储集层的展布,并把地质成果信息缩小到单井,为单井钻井优化、地质导向、试油试采、压裂酸化等钻完井施工提供支持。

井筒信息流的信息量是巨大的,目前采集到的井筒信息却是微量的,分析挖掘钻完井工程数据隐含的地质信息也是一项新课题。综合分析钻井工程参数、钻井液参数,提取井筒地层信息、地层压力信息,可为地层分层、油气分析提供依据,并进一步为试油试采提供方案建议。

3.1.3 工程地质一体化应用

工程地质一体化应用多在钻完井大包项目中,每个环节都蕴含巨大的数据信息。在这些项目中,一体化服务包括了地质调研分析、钻完井工程设计、钻完井工程施工、监督监理、后勤、采购、第三方服务商及钻井承包商管理等任务,为建设方提供集成化的一体化施工方案,涵盖了钻井、定向井、完井、试油试采、修井等各个施工作业,每个专业都会产生大量的数据。工程地质一体化大数据应用突出体现在以下3个方面。

(1)远程实时作业中心(RTOC)。RTOC是钻完井一体化作业信息化中一个高度集成的重要办公环境,它整合了IT技术和通信技术,构建钻完井大数据,各数据应用系统相互融合,综合钻井、地质、测井、录井、油藏工程等多个学科,实现统一规划、统一部署、各专业专家集中决策,不间断远程监控优化钻完井方案,连贯协调作业,减少非生产时间,降低作业风险和综合成本。通过RTOC展示可视化三维井筒、实时水力模拟、随钻测量、井眼轨迹控制、地质导向等大数据信息,充分发挥多学科专家团队的作用,实现远程实时井场支持。哈里伯顿公司在全球部署50多个RTOC,1 000多名员工在这些中心内工作,每年实时服务收入约为4 000万美元。

(2)井场钻、录、测、定、信息一体化联合实时作业。对于平台井组、高难度水平井、复杂井等,建设方一般都要求进行现场钻、录、定、测(随钻)、完井、信息技术等一体化联合实施作业,建立井场大数据中心,实现各专业协同施工,共享信息,降低风险。井场以录井数据、随钻测量数据为中心,以信息技术为重要辅助,实现地质研究、钻井施工、地质导向实时联合作业,提升作业时效、降低成本,提高油层钻遇率,保障井眼稳定,利于油层保护,这对于整个工程作业提速、提效、保质具有重要意义。

(3)丛式井平台钻完井大包。以煤层气丛式平台、页岩气丛式平台以及其他丛式井组平台为支撑,动用整合全部钻完井技术手段,实现从基础研究、钻井施工到完井施工等钻完井一体化全过程施工与监控。该种方式以区块钻完井大数据为研究基础,从地质研究、地质设计、钻井设计、完井设计、酸化压裂设计、试油试采设计到各环节连续施工作业、实时不断优化、实时监控与专家决策等,都建立在钻完井大数据基础之上。现场的大量数据与基础研究数据、区块历史数据相结合,通过计算分析,为钻完井作业及管理水平的提升提供巨大支持。

3.2 油气田综合应用

油田开发中后期,基于大数据方法,结合模式识别技术,对钻井、测井、录井、试油、压裂酸化、测试等大量实际作业数据和历史数据开展多尺度数据挖掘,可以达到有效识别复杂储集层的目的,为老井挖潜提供理论支撑。近年来,各大油田都在研究油气田大数据挖潜与应用^[14,15,16],“听信息指挥、靠数据决策”,取得了巨大的效益。 华北油田通过以大数据挖掘利用为主要内容的智慧油田建设,并建立示范区,使管理层级由5级压缩为3级,优化减员160人,总用工量压缩22%,管理提效增油1 780 t,投资回报率达到25.4%,取得了显著的经济效益和社会效益。

4 结束语

油气田钻完井大数据建设是大势所趋,也是今后油气田科学勘探开发的必需技术。油气田钻完井大数据价值挖掘必将为各大油气田带来新的活力,进而推动油气田钻完井技术的信息化、智能化发展。油气田钻完井行业借助高速发展的物联网技术、信息技术,研究开发适用的钻完井大数据,并逐步形成规模与应用,无疑将提升行业整体效益。

The authors have declared that no competing interests exist.

参考文献

文献选项

• 原文顺序
• 文献年度倒序
• 文中引用次数倒序
• 被引期刊影响因子