AI驱动的穿透式审计:信息科技项目成效专项审计的理论框架与实证

  • 1小时前

  • 来源:央广网

摘要:证券公司的信息技术投入持续增长,但对其成效的验证能力未能同步跟上,科技投入能否转化为实际效能,已成为信息科技治理的现实难题。传统项目后评价依靠抽样和经验判断,在覆盖范围、追溯深度与证据可复核性上均有局限。为此,本文提出人工智能辅助的穿透式审计方法:以信息不对称、不完全契约与交易成本理论解释成效难以验证的经济成因,并推导四条可检验命题;在此基础上建立“数据―链路―因果”三层穿透模型,将审计证据由抽样转为全量、由主观判断转为可独立复算。以金融机构近五年信息技术采购合同为全量样本的检验显示,该方法识别出预算高估、价格偏离、履约错配、重复建设、低效闲置五类问题,验证了其在覆盖范围、追溯深度与证据可复算性上的增益。

关键词:人工智能;穿透式审计;成效审计;信息不对称;检索增强生成

一、引言

信息技术已从证券公司的后台保障,转变为其业务发展的基础条件。云计算、人工智能等技术普及后,证券公司信息技术投入持续增长,但针对科技投入成效的评估与验证机制相对滞后。《证券基金经营机构信息技术管理办法》已将信息技术治理和科技投入评估纳入监管框架;在投入规模持续扩张的背景下,有必要建立可验证、可追溯、可评价的信息科技项目成效审计机制。

传统项目后评价的局限主要体现在三个方面:一是合同类型复杂、总体规模较大,抽样审计难以支撑对总体的判断;二是立项、采购、付款、交付与使用分处不同系统,缺乏统一的关联主键,跨系统追溯较为困难;三是成效证据多依赖问卷和主观经验描述,难以独立复算,也难以支撑问责。

上述问题的共同症结在于缺乏一条可由第三方独立复算的证据链。下文从科技投入成效难以验证的经济成因出发,推导可检验的研究命题,据此设计人工智能辅助的穿透式审计的技术组件和实施程序,并以金融机构信息科技项目成效审计作为案例原型,构建超过六百项信息技术采购合同、累计合同额数十亿元为全量样本数据进行检验。

二、理论基础与研究命题

(一)传统信息科技项目成效审计

信息科技项目成效审计内容通常包括:项目目标和范围、项目投资、项目的实施建设过程、项目运营、项目建设经济性、项目效果和效益、项目的可持续性等。通过系统化收集科技项目相关的运行、财务、管理、技术、绩效数据,综合运用流程评估和数据分析等方法,基于既定指标体系和评价模型,开展项目建设过程、经济性、稳定性、实际效能等分析。审计过程和方法如下:

1.信息科技战略和系统建设规划分析

通过分解和分析最新的信息科技战略规划,理解业务战略定位和发展需求,了解业务和科技架构,以及核心系统项目群建设的目标、方向和工作举措。确定系统建设的关键目标和愿景,了解实现这些目标所需的关键路线规划和工作举措;将战略重点与具体的举措和项目进行关联分析,分析实施特定项目和任务所需的资源和投入,评估所投资研发的信息系统与总体战略目标是否保持一致和紧密关联。

2.项目建设梳理盘点及数据采集

项目建设盘点是对组织在项目建设方面所进行的投资进行审查和总结的过程,其目的是评估和记录所投入的资金、资源,以便更好地了解投资的项目回报和效果,优化资金和资源的配置。根据项目建设成效评价指标体系,列出所需数据项,包括:立项信息、实施计划、预算执行、业务指标、用户反馈、运行日志、运维事件等。数据采集方式包括:系统导出、访谈问卷、文档调阅、日志与监控报表提取、财务凭证核查等。对收集的数据进行整合分析,根据量化指标进行评分,生成各维度得分并分析优劣势。

3.项目建设经济性和成效分析

通过项目建设经济性分析,评估公司所投资的项目的经济效益和回报,可以更好地帮助管理层了解IT投资回报和风险,辅助决策,确保信息科技投入与战略目标保持一致。项目建设经济性分析包括:支出盘点、成本分析、效益分析、可扩展性分析等。

项目建设成效评价的目的是通过检查项目顶层设计及建设实现的管理决策支持能力、经济业务协同能力、系统建设发展能力和系统贡献能力的提升,以及IT对业务活动效率、效果和效能的赋能情况,揭示顶层设计和建设方面的不足,促进项目建设的实际效能提升。对项目及信息系统建设效益审计主要包括:项目规划及落实执行成果、信息系统总体效能评价、管理决策支持能力评价、业务赋能及协同能力评价、系统建设发展能力评价。

(二)理论研究基础

信息科技项目成效难以验证,主要源于其经济属性,而非技术手段不足。以下从信息不对称、不完全契约与交易成本理论出发,并结合证伪主义的科学哲学视角,推导四条可检验命题。

1.信息不对称、代理成本与不完全契约

在信息科技项目中,供应商掌握成本结构、人力投入与技术方案等私有信息,公司作为委托方通常只能核验最终交付物。软件开发产出难以标准化度量,委托人无法由产出反推投入,信息优势方由此获得信息租金(额外收益),而中小券商通常采用的总包年费模式采购定价使子系统成本边界趋于模糊,进一步放大这一效应。“不完全契约”理论指出,契约本质上是不完备的,信息技术服务合同尤为如此――需求频繁变更、技术路径动态演进,尽管“按期交付且满足业务需要”一类条款被写入合同,却难以由第三方验证。传统审计以合同条款比对为主要手段,在履约质量环节缺乏可依据的证据。据此提出以下命题:

命题一(信息结构再平衡效应): 审计借助多源数据关联,将供应商的部分私有信息显性化后,委托方的可观察集合扩大,信息租金相应收窄,审计的控制功能由结果核验转向过程穿透。

命题二(契约不完备性的数据化补偿): 若能利用合同之外可获取的数据记录(如交付状态、上线记录、设备序列号、使用频次)重构履约事实,原本难以验证的履约质量即可转化为可验证的证据集合,从而在合同条款之外形成事实上的履约约束。

2.度量成本、证据粒度与证伪主义

交易成本理论将度量成本视为决定治理结构的关键变量:度量成本较高时,契约只能采取总包年费等粗略价格形式,审计监督也以抽样为主;度量成本下降后,精细化契约与全面监督才具备可行性。就审计而言,这意味着审计证据的基本单位受度量成本约束――度量成本高时,证据以抽样样本为主;度量成本低时,才可能扩展至全量记录。另一方面,一个理论是否具有科学性,关键在于它能否被证伪:传统审计受取证成本限制,通常只围绕一个主要假设展开,难以系统检验其他可能的解释;而人工智能降低了提出和检验假设的成本,使审计能够同时生成并检验多个竞争性假设,从而改变了传统审计的假设检验条件。由此提出以下命题:

命题三(度量成本下降与证据粒度细化):人工智能显著降低了全量数据采集、解析与比对成本,使审计证据的基本单位由抽样样本扩展为全量记录;证据性质也随之由依赖职业经验的说服性证据,转变为可由第三方独立复算的计算性证据。

命题四(竞争假设的系统检验):人工智能的认知价值不在于证实某单一解释,而在于以较低边际成本生成竞争假设并逐一完成证据检验,使审计由验证单一假设转向系统排除竞争解释。

上述四条命题为后文实证研究提供了检验线索:命题一对应总包成本结构的穿透,命题二对应履约事实的重构,命题三对应全量覆盖的证据形态,命题四对应合同核查中的建设检验。

三、穿透式审计的概念界定与三层模型

(一)概念界定

人工智能辅助的穿透式审计(以下简称穿透式审计)界定为:以人工智能技术为支撑,融合被审计对象的全量多源异构数据,沿“投入―合同―交付―能力―成效”的因果链逐层追溯,并以可复算、可溯源的量化证据支撑审计判断的一种审计方法。

与传统信息技术审计相比,穿透式审计有三点不同:其一,审计对象从单个合同的合规性审查,扩展为投入产出关系审查;其二,审计时间范围不再限于建设期,而是覆盖立项、建设、交付、运行、退出的全生命周期;其三,取证方法由抽样符合性测试,改为全量关联穿透与计算确证。

(二)三层穿透模型

方法论总体框架,以及三层穿透模型、四步实施路径、五类技术引擎与四道可靠性防线之间的对应关系,如图1所示。

图1 AI穿透式审计方法论总体框架

数据穿透层负责异构数据融合。原始数据包括结构化数据(合同台账、付款记录)、半结构化数据(立项报告、验收单)和非结构化数据(扫描合同、日志文本)三类形态;经光学字符识别(OCR)与语义解析后,统一为以合同编号、供应商、设备序列号(SN)和系统族为主键的可计算记录,并以“分项加总等于总额”的数值自校验规则控制解析质量。

链路穿透层负责业务链条关联。以主键将立项、签约、付款、交付、上线、使用六个环节串联起来,使分散在不同系统中的业务片段形成可追溯的记录序列。

因果穿透层负责投入产出归因。将链路结果映射至“投入―能力―成效”因果链,区分三类情形:一是投入未转化为能力(如预算高估、付款后需求积压);二是能力未转化为成效(如建成未上线、上线未使用);三是成效不可持续(如架构落后、双轨重复建设)。该层通过检索增强生成(RAG)将每项审计发现映射至具体制度条文,实现条款级溯源。

(三)成效评价指标体系

借鉴DeLone & McLean信息系统成功模型及 COBIT 2019 治理目标,结合证券行业实践,构建四维成效评价指标体系(见表1)。四个维度呈递进关系,并与前述三类失效形态相衔接:投资与财务维度检验投入是否经济,交付与供应商维度检验投入能否转化为能力,业务与功能维度检验能力能否产生价值,技术与架构维度检验价值是否可持续。

四、技术架构与关键机制

为支撑三层穿透模型实施,设计五类技术引擎:多模态解析引擎,负责异构数据解析与数值自校验;混合知识检索引擎,负责稠密检索与稀疏检索融合及条款级引用;异构图关联引擎,负责属性图多跳遍历与差分比对;功能点成本推演引擎,负责NESMA功能规模度量与基准价格回归;竞争假设证伪引擎,负责互斥假设集生成与逐项取证标注。前两类引擎承担异构数据接入与条款检索,后三类引擎承担关联、度量与假设检验。上述引擎的运转依赖两项基础性设计:一是作为关联分析载体的知识图谱,二是作为度量标准的六类审计分析模型。所有组件均部署于本地环境,敏感合同与财务数据不出域。

(一)审计知识图谱:链路穿透的实现载体

传统审计数据表通常以合同为行、以金额为列,属于二维结构,难以表达合同标的、交付时点、承接主体及后续服务关系等多元关系,因此链路穿透需要借助图结构。所构建的审计知识图谱包含七类实体和八类关系。其中,续接关系能够显式表达总包合同跨年度的资源接续;将交付状态设为需求交付项的属性而非独立实体,则使同一需求项的状态迁移可随时间追踪。本体设计与属性如图2左侧所示。

基于该本体,实证研究中的重复建设识别、跨年维保差分以及建设与维保绑定三类核心发现,均可通过图的多跳查询予以复现;三条遍历路径及其量化结果如图2右侧所示。

图2 审计知识图谱本体与三条遍历路径

(二)审计分析模型:从评价指标到可计算度量

知识图谱解决了关系可表达的问题,但判断关系是否异常仍需度量标准。为此,将表1中的四维评价指标转化为六类可计算模型(见表3)。模型设计遵循两条原则:一是输入变量均取自合同台账、付款记录与交付确认单的已有字段,不依赖被审计单位另行填报,以保证数据源的中立性与可复算性;二是输出均为可横向比较的标准化比值,而非依赖绝对金额作出判断。

六类模型构成首尾衔接的检验链:M1判断立项是否虚高,M2判断所支付单价是否合理,M3判断付款与交付是否同步,M4判断已交付能力是否被真正使用,M5识别偏差是否在供应商维度被放大,M6判断同一标的是否被重复投入。六类模型组合后,原本难以整体度量的成效被分解为六个可独立验证的分量,从而为定性结论提供分项依据。

(三)混合检索与条款级溯源:面向审计可靠性的知识注入

通用大模型应用于专业审计场景时,主要缺陷在于易产生事实性错误,且输出难以溯源。为此,采用稠密检索与稀疏检索相融合的混合策略,经交叉编码器重排后将检索结果注入生成过程,并要求输出携带条款编号级引用。工程实现上形成四项约定:一是语料按条切分,并保留文件字号与条款号前缀;二是外部法规、内部制度与行业基准按三层差异化加权;三是召回得分低于阈值时拒答并转人工处理;四是输出统一格式化为“文件名、条款号、原文片段”三元组。该机制在生成环节之前施加知识约束,使每项定性结论均可对应具体条款。

(四)竞争假设证伪:命题四的实现形态

命题四通过竞争假设证伪引擎加以实现:针对异常信号,由模型生成一组互斥的解释性假设,逐项检索证据并自动判定,输出结果标注为“成立”“排除”“待核实”三类。与传统审计围绕单一假设取证不同,该机制要求披露被排除的假设及其排除依据,使结论稳健性可被检验;被排除的假设同时构成审计人员未采纳证据路径的留痕,有助于抑制自动化偏见与确认偏误。该机制的运行流程如图3所示。

图3 竞争假设证伪机制的运行流程(以维保合同核查为例)

(五)四道可靠性防线与人机职责边界

针对人工智能应用风险,设置四道防线。第一道为溯源强制,无法标注出处的输出不予采纳。第二道为数值校验,涉及金额与比例的结论须独立复算,并以“各分项单价×数量之和等于合同总额”作为勾稽约束;该约束将会计勾稽关系转化为解析质量的控制指标,因而无须另行标注语料即可评价解析结果。第三道为人工复核,模型产出均视为草案,须经审计组讨论确认后方可进入取证单。第四道为本地化隔离,敏感数据在本地处理,模型在本地推理,或在对数据脱敏后调用。在职责边界上,模型负责全量数据的解析、归集、比对与异常提示,审计师负责标准选择、重要性判断、沟通取证与最终定性。

五、实证:全量数据的实践检验

(一)实施路径:四步操作法

前述技术组件需转化为可执行的审计程序,具体可归纳为四个步骤,并明确各步骤的技术支撑。

第一步,数据贯通。将合同台账、扫描版合同、立项报告、验收单、付款记录与制度条文解析后,统一锚定至合同编号、供应商、设备序列号、系统族、时间轴五类主键,并以数值自校验控制解析质量(多模态解析引擎)。

第二步,图谱关联。按图2所示本体,将实体与关系装载为属性图,使合同标的、交付时点、承接主体及后续服务关系可被多跳查询,并按三条遍历路径批量生成候选线索(异构图关联引擎)。

第三步,模型扫描。以表3所列六类模型对全量记录逐项计算,并按阈值输出异常清单,实现由抽样向全量审查的转换;其输出为待核查信号,而非审计结论(功能点成本推演引擎)。

第四步,假设证伪。针对异常信号生成互斥的竞争解释,逐项取证并标注为“成立”“排除”或“待核实”,再经混合检索映射至具体条款,形成可溯源的定性判断(竞争假设证伪引擎与混合知识检索引擎)。

实施过程中需始终把握三条边界:一是模型输出属于待验证假设,定性须由审计师作出;二是每条定性须可追溯至具体条款,无法溯源者不予采纳;三是合同与财务数据涉及商业秘密,全流程须在本地环境完成。方法可分阶段实施:数据基础尚不完整时,仅实施数据贯通与模型扫描即可形成全量异常清单;待主键体系成熟后,再叠加图谱关联与假设证伪。

(二)样本与数据

本文以三家金融机构信息科技项目成效审计作为案例原型构造样本数据,审计范围覆盖近五年的信息科技项目采购合同,项目类型涵盖应用系统定制开发、信创改造、运维服务、基础软硬件及数据资源采购等。为兼顾方法检验与信息保密,本文构造脱敏实验数据集。数据集以信息技术类采购的典型结构为原型,对项目名称、供应商标识、合同金额与时点作脱敏与扰动处理,形成覆盖近五年、六百多项合同,累计数十亿元规模的样本。该数据集保留了真实业务中合同、付款、交付与使用环节的关联结构及分布特征,但不对应任何特定机构的真实合同与金额,全文分析均可在该数据集上复现。

(三)穿透式取证的典型发现

沿六条穿透路径实施取证后的主要发现见表4。

(四)成效失效的治理归因

因果穿透层进一步将上述现象归因于治理机制。预算估算环节缺乏独立的估算与审核机制,年度预算沿用上年规划假设,次年合同金额又简单参照上年合同额,致使估算偏差在时间序列上被固化而难以及时修正;同时,预算由需求的货币化表达转变为谈判中的价格上限,命题一所述的信息租金由此得以维持。与之相伴的是信息不对称的固化:核心厂商总包合同占同期采购总额的三分之一,打包定价使成本结构不透明;在缺少功能点度量与市场基准比对的情况下,价格公允性主要依赖供应商自律。

契约层面,验收未将上线运行设为必要条件,合同普遍未约定服务水平协议,条款难以发挥约束作用,这与命题二的判断一致。反馈层面,缺少集中的项目监控体系与结项后评价机制,项目验收后不再追踪使用成效,使用端数据也未回流至建设决策,成效反馈机制因而未能形成。上述分析表明,问题主要源于机制安排,而非具体执行环节。

六、结论

针对信息科技项目成效难以验证的治理难题,提出人工智能辅助的穿透式审计方法,并以超过六百项信息技术采购合同为样本完成全量检验。基于信息不对称、不完全契约与交易成本理论推导的四条命题表明,人工智能应用的作用机理在于降低度量成本、压缩信息租金,并以数据化方式补偿契约不完备性,从而使审计证据由依赖经验判断的说服性材料转变为可独立复算的计算型记录。在此基础上构建多源解析、知识图谱与六类可计算模型,配合四步实施路径与四道可靠性防线,使条款级溯源、成本推演与竞争假设证伪成为可复用的审计程序;全量检验所识别的预算高估、价格偏离、履约错配、重复建设与低效闲置五类问题,则验证了该方法在覆盖范围、追溯深度与证据可复算性方面的实际增益。

本文认为:人工智能辅助审计的主要作用在于提高投入与成效关系的可验证性;当第三方能够基于同一数据集独立复现投入与成效的对应关系时,信息科技治理问责才具有可核查的依据。本次研究以信息科技项目成效为切入点,验证了人工智能辅助穿透式IT审计的可行性。后续可将其拓展至信息科技风险全面审计,覆盖治理、外包、开发、运维、网络安全、数据安全与业务连续性等关键风险域,并推动审计由阶段性项目后评价转向全生命周期持续审计与风险预警;同时探索跨机构行业基准积累、图上推理与语言模型耦合及人机协同下的资源配置,推动人工智能从单一项目成效验证,扩展至信息科技风险的识别、预警与问责。

参考文献

[1] Jensen M C, Meckling W H. Theory of the Firm: Managerial Behavior, Agency Costs and Ownership Structure[J]. Journal of Financial Economics, 1976, 3(4): 305-360.

[2] Hart O, Moore J. Property Rights and the Nature of the Firm[J]. Journal of Political Economy, 1990, 98(6): 1119-1158.

[3] Williamson O E. The Economic Institutions of Capitalism[M]. New York: The Free Press, 1985.

[4] DeLone W H, McLean E R. The DeLone and McLean Model of Information Systems Success: A Ten-Year Update[J]. Journal of Management Information Systems, 2003, 19(4): 9-30.

[5] Lewis P, Perez E, Piktus A, et al. Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks[C]. Advances in Neural Information Processing Systems (NeurIPS), 2020.

[6] ISACA. COBIT 2019 Framework: Governance and Management Objectives[M]. Rolling Meadows: ISACA, 2018.

[7] Popper K R. The Logic of Scientific Discovery[M]. London: Routledge, 1959.

[8] 中国证券监督管理委员会. 证券基金经营机构信息技术管理办法(证监会令第152号,根据2021年1月15日证监会令第179号进行修订)[Z].

[9] 国家市场监督管理总局. GB/T 36964-2018 软件工程 软件开发成本度量规范[S]. 2018.

[10] 国家市场监督管理总局. GB/T 42588-2023 系统与软件工程 功能规模测量 NESMA方法[S]. 2023.

(本文作者:冯俊、陈佳睿、成钰,华金证券股份有限公司稽核审计部)

(注:此文属于央广网登载的商业信息,文章内容不代表本网观点,仅供参考。)

声明:此文版权归原作者所有,若有来源错误或者侵犯您的合法权益,您可通过邮箱与我们取得联系,我们将及时进行处理。邮箱地址:zhaobozhi@jnexpert.com

  • 金融
  • 数字化
  • 信创
  • 人工智能
  • 大数据
  • 大模型

推荐

    我要评论