ISACA Journal | 如何利用大语言模型来重构IT审计?
近年来,随着技术的不断进步和行业环境的变化,审计工作也发生了深刻变化。越来越多的系统和应用迁移到了云端,同时处理个人身份信息(PII)的系统数量迅速增长,隐私法规日益严格,网络安全形势也越来越复杂。过去十年里,各行各业都在积极推进数字化转型。机器人流程自动化(RPA)、人工智能(AI)、云计算和物联网(IoT)等新技术被广泛采用,为业务带来了效率提升的同时,也给审计工作提出了新的挑战——如何有效评估这些新兴技术的风险,并帮助组织更好地加以控制。
从另一个角度来看,组织正在经历审计本身的数字化转型,其中包括使用新技术来改进审计流程并实现持续审计、预测性审计等。此外,人工智能、自然语言处理 (NLP)和机器学习(ML)将在推动这一转型方面发挥关键作用。
自从OpenAI的ChatGPT4发布和大语言模型(LLMs)的普及以来,人们对将这些技术集成到组织中以提高运营效率的兴趣越来越大。各个领域都有许多示例和应用,包括软件获取、代码评估和改进、测试生成、网络安全和持续账户审计。
这一背景为将审计与LLMs等新兴技术相结合奠定了基础,这些技术有可能以更高的准确性、自动化和主动的方法彻底改变审计流程。
随着LLMs的广泛应用,组织必须探索和评估如何将这些模型应用于IT审计领域。换句话说,重点必须放在使用LLMs进行审计,而不是审计LLMs本身。问题在于,这些技术可以在多大程度上集成到审计过程的各个阶段,从规划和执行到报告和跟进。评估它们在提高风险识别和合规性的效率、准确性和有效性方面的潜力至关重要。组织必须确定LLMs可以增加有形价值以及人工干预仍然必要的领域,确保与既定的审计标准保持一致,例如ISACA在 IT审计框架(ITAF)中概述的标准。通过战略性地整合LLMs,组织可以提高其审计流程的效率和有效性。
LLMs 帮助审计师将精力集中在最大风险或需要立即关注的领域
本文的分析基于典型的审计流程阶段:计划、现场工作与文档编制、报告。审计过程的每个阶段随后分为关键步骤(图 1)。
这些基础步骤展示了如何有效地集成 LLMs 以增强审计流程并使其现代化。
使用 LLMs 变革审计计划
计划阶段是审计的基础步骤,因为它定义了整个审计活动的参数和重点。
1.1确定审计主体
在确定审计主体子阶段中,LLMs可以通过识别关键审计领域来提高效率。为此,LLMs被训练分析大量历史数据,包括以往的审计记录、安全事件和风险日志以及其他相关文档。LLMs分析这些数据以识别反复出现的问题模式或未得到充分审计的领域。这为审计人员在制定审计领域的战略决策提供了更坚实的基础,因为他们可以依赖客观、真实的数据,而不仅仅是直觉或以前的经验。
此外,LLMs 可以分析历史数据,以确定风险环境和监管环境的新趋势。这包括识别可能影响组织的新网络威胁和合规性法规的变化。这些模型可以预测趋势,这使审计人员能够通过关注新出现的风险并确保组织为新威胁做好准备来领先一步。此外,LLMs 还有助于组织保持对最新法规要求的合规性。例如,如果 LLMs 检测到行业中的勒索软件攻击有所增加,它可能会建议在最容易受到勒索软件攻击的领域优先进行审计。同样,如果法规最近发生了变化,LLMs 可能会建议纳入合规性审计,以确保组织与这些新法规保持一致。
LLMs在分析IT架构以及系统或功能之间的相互依赖关系时也非常有用。这种能力在复杂的IT环境中尤为重要,因为一个系统的故障可能会引发其他系统的连锁反应。通过这种方式,LLMs确保审计不仅涵盖显而易见的领域,还包括那些由于与其他系统交互而可能至关重要的领域。
这一能力有助于防止仅通过彻底分析相互依赖关系才能发现的系统性故障。
在确定审计主体子阶段利用 LLMs 使组织能够简化审计领域的识别,从而做出更具战略性和数据驱动的选择。通过集成预测分析和监管情境化功能,LLMs 帮助审计人员将精力集中在风险最大或需要立即关注的领域,从而确保与组织的优先事项保持一致的更有效的审计。
1.2定义审计目标
在“定义审计目标”子阶段,LLMs可以帮助制定符合相关法规和标准的明确审计目标,例如《欧盟通用数据保护条例》(GDPR)、《美国萨班斯-奥克斯利法案》(SOX)或国际标准化组织(ISO)/国际电工委员会(IEC)标准ISO/IEC 27001:2022《信息安全、网络安全和隐私保护—信息安全管理体系—要求》。LLMs可以分析法规、行业标准和内部政策,提取必须满足的关键要求。这使审计人员能够设定符合监管期望和组织内部政策的目标。
LLMs 还擅长创建基于风险的目标。通过分析历史漏洞和风险,LLMs可以帮助确定解决最大风险领域的目标,确保审计侧重于组织最脆弱的环节。
此外,LLMs可以根据每个流程的具体需求,根据不同级别的详尽性、正式性和严谨性来确定和调整审计方法。如果审计涉及高度关键性或发生在受监管的环境中,例如根据SOX或GDPR审查财务系统,LLMs可能会推荐一种全面的方法。这种方法将包括对所有交易和记录的详细分析、严格的技术测试和彻底的监管合规性检查。另一方面,在初步的内部审计或例行的低风险审查中,LLMs可能会通过建议抽样方法来调整方法,将精力集中在失败可能性最高的领域。这种敏捷方法只关注最关键的领域,无需审计整个系统,从而节省了资源和时间。最终,LLMs会根据审计人员的偏好调整推荐的方法,但也会根据目标调整方法的严谨性和正式性,确保流程高效且与具体情况相关。
在定义审计目标子阶段中使用 LLMs可以简化建立清晰、符合法规的目标的过程,并确保将精力集中在最关键的方面,从而促进更精确和战略性的方法。
1.3设置审计范围
在设置审计范围子阶段中,LLMs可以帮助审计人员识别技术基础设施中的关键系统、功能、单元和应用程序。他们可以处理和分析许多文档,例如网络拓扑图、详细的资产清单、应用程序和系统配置日志、用户和权限列表、活动日志、事件日志以及所有相关策略和程序。借助这些信息,LLMs可以突出IT环境不同组件之间的关键相互依赖关系,识别潜在的弱点,或突出可能是高风险的领域。这有助于审计人员更全面地了解系统之间的关系,使他们能够就审计范围应包括哪些领域做出更明智的决策。这可确保资源集中在最关键或最脆弱的区域。
此外,LLMs还可以帮助优化资源。定义审计范围包括考虑可用资源,包括审计团队的时间和技术技能。LLMs可以建议最大限度地利用这些资源的方法,例如专注于团队拥有最丰富专业知识的领域,或建议使用自动化工具来协助更多技术领域。
LLMs可以通过分析与审计团队能力相关的各种信息来优化审计范围,例如可用员工的数量、他们的技术技能以及分配给完成审计的时间范围。它可以根据资源和时间限制建议优化。例如,他们可以帮助确定审计的哪些方面可能需要更多或更少的时间和精力。如果团队受到限制,它可以建议将资源重新分配到最关键的领域,确保资源的有效利用。
总之,LLMs可以通过确保审计范围界定流程准确、重点突出并与可用资源保持一致来改变审计范围界定流程。通过映射技术相互依赖关系、确定关键领域的优先级和优化资源的使用,LLMs使审计人员能够建立一个涵盖相关点的范围,并最大限度地提高审计效率,从而确保全面和有意义的评估。
1.4执行预审规划
在执行预审规划子阶段,LLMs可以自动执行风险评估,确定在审计期间需要进一步关注的关键领域。此功能对于规划如何降低最大风险领域和确保有效审计至关重要。
LLMs还可以通过确定关注的领域来帮助生成访谈问题。LLMs可以为审计人员生成特定的访谈问题,确保全面涵盖所有问题,并记录回答以供进一步分析。
最后,在资源和后勤规划中,LLMs可以推荐资源、预算和后勤的分配,根据定义的复杂性和范围优化规划流程。例如,在规划网络安全审计期间,LLMs可能会确定所需的技术技能,例如云安全知识,并建议在审计团队中加入该领域的专家。
1.5确定审计程序和数据收集的步骤
在确定数据收集的审计程序和步骤子阶段中,LLMs对于开发自定义审计工具至关重要。他们可以帮助开发针对组织的特定系统和技术量身定制的脚本和工具,确保这些工具有效并满足审计目标。
LLMs也有助于选择评估方法。根据识别出的风险,他们可以建议最合适的评估方法,例如渗透测试、权限审查或日志分析。
此外,LLMs可以与现有系统集成,以自动收集数据以进行审计,从而确保数据的准确性和完整性。例如,在审计数据库系统的安全性时,LLMs可以自动生成一个脚本来评估安全设置、识别具有提升权限的用户,并分析访问日志中的可疑活动。
LLMs在行动:加强实地工作和文档记录
实地工作和文档记录阶段是审计的操作核心,这个阶段收集数据、测试控制措施、识别问题并记录结果。
2.1获取数据
在实地工作和文档记录阶段的“数据采集”子阶段,LLMs的应用带来了显著的优势。LLMs可以与组织的数据库和系统集成,以自动收集与审计相关的数据。这包括提取日志、活动日志、系统配置和其他必要信息。但是,应该注意的是,授予LLMs访问敏感审计数据存在潜在风险,例如未经授权的访问、数据泄露、隐私问题和监管合规挑战,从而加强了采取强有力的监督和控制措施来维护数据完整性的必要性。
LLMs还可以验证所获取数据的完整性,确保没有可能损害审计有效性的缺失或已损坏数据。例如,在网络安全审计中,LLMs可以连接到网络监控系统以提取访问日志、防火墙配置更改日志和用户活动数据。通过无缝连接到这些系统和日志,LLMs可以验证所有必需的记录是否完整且未更改。
2.2测试控制
在测试控制子阶段中,LLMs可以生成并执行自定义脚本来测试组织的内部控制。这些脚本可以验证访问控制的有效性、应用程序安全设置以及合规性策略的正确实施。此外,LLMs可以实时分析这些测试的结果,识别任何需要立即关注的异常或失效控制。例如,在访问控制审计中,LLMs可以运行一个脚本来验证是否所有访问权限都仅限于授权人员,以及是否遵循会话时间和多因素身份验证 (MFA)策略。通过使用此脚本,LLMs可以立即识别并报告任何不合规情况。
2.3问题发现和验证
在问题发现和验证子阶段中,LLMs可以分析控制测试结果和获取的数据,以识别需要注意的问题或故障。这些发现可以根据其严重性和对组织的潜在影响自动分类。此外,LLMs可以根据法规、内部政策和行业最佳实践验证这些发现,以确定它们是否需要立即采取行动。例如,如果LLMs在关键系统上检测到访问权限配置错误,它可以生成发现报告,将其归类为高风险,并建议IT团队进行紧急审查。
2.4记录结果
在记录结果子阶段中,LLMs可以根据经过验证的结果自动编写审计报告。这些报告可以针对不同的受众进行定制,从面向IT团队的详细技术报告到面向高级管理层的执行摘要。
从发现到跟进:审计报告中的LLMs
报告阶段是审计的最后阶段,将审计结果汇编、记录并传达给相关利益相关者,确保审计结果清晰、可执行且可访问。
3.1收集报告要求
在报告阶段中的收集报告需求子阶段,LLMs帮助识别需要包含在审计报告中的关键要求。LLMs可以审查内部政策、外部法规和行业标准以提取这些要求,确保报告满足所有监管期望和利益相关者需求。此外,LLMs可以通过分析组织内不同受众的需求来自定义报告,为每个组建议适当的结构和内容。例如,在编制信息安全审计报告的要求时,LLMs可能会建议包括有关监管合规性的特定部分,例如ISO/IEC 27001、关键安全相关绩效指标以及为高级管理层提供战略建议的执行摘要。
3.2报告草稿
在草拟报告子阶段中,LLMs可以根据在前几个阶段获得的数据和结果生成审计报告草案。该草案可能包括对调查结果的详细说明、风险分析和根据适合目标受众的风格和语气量身定制的建议。LLMs还可以审查报告的初稿,以确保一致性、清晰度和准确性。这种审查可能包括确定需要进一步详细或简化的领域,并提出改进措辞的建议,以确保报告易于理解和有说服力。例如,在合规性审计中,LLMs 可能会起草一份初始报告,描述评估的控制措施、关键合规性发现和改进风险管理实践的建议。然后,LLMs可以微调语言,使其可供合规团队和董事会高管使用。
3.3发布报告
在“发布报告”子阶段,LLMs可以为不同的受众创建最终报告的不同版本,如高级管理层、IT团队和外部监管机构等,确保每个群体都能以易于理解和应用的格式接收所需信息。这可确保每个组都以易于理解和应用的格式接收所需的信息。此外,LLMs可以在正确的时间自动将正确的报告发送给正确的人,并记录谁收到了它。例如,在发布有关企业资源规划(ERP)系统安全性的审计报告时,LLMs可以为技术团队生成包含控制规范的详细版本,为高级管理层生成摘要版本,强调关键风险领域和关键建议,以及要发送给监管机构的合规性版本。LLMs甚至可以将报告翻译成不同的语言,并根据不同的地区或法规调整内容,确保结果易于理解并适用于所有相关环境。例如,在完成对ERP系统的审计后,LLMs可以生成一份详细的审计发现报告,包括用于高级管理层的执行摘要,以清晰简洁的方式解释关键关注领域并提供建议。如果企业在多个国家/地区运营,LLMs还可以将报告翻译成多种语言,以确保所有地区都能理解。
3.4后续行动
在后续行动子阶段中,LLMs可以自动执行审计报告中建议的纠正措施的流程。它们还可以安排和执行自动跟进,向责任方发送提醒,跟踪已实施行动的进度,并为审计人员和管理层生成状态报告。此外,LLMs可以分析后续结果,以评估已实施纠正措施的影响,确定控制措施的改进或需要进一步关注的领域。例如,在审计发现访问管理缺陷后,LLMs可以自动跟进建议的更正。这包括向IT团队发送提醒,生成有关已实施改进状态的定期报告,以及评估这些措施是否有效降低了最初确定的风险领域。
在审计中驾驭 LLMs 的风险
在将LLMs集成到IT审计中时,需要仔细管理一些潜在的风险因素。允许LLMs访问敏感数据可能会导致意想不到的风险,包括未经授权的访问和潜在的数据泄露。当LLMs无意中在法律边界之外处理数据时,合规性就会变得复杂。
数据完整性和偏差是额外的风险来源。由于LLMs从历史数据中学习,因此其中嵌入的任何偏差或不准确之处都会影响审计发现的结果和可靠性。此外,还存在过度依赖LLMs的风险,LLMs虽然高效,但会导致人工监督减少,并失去对全面审计至关重要的细微见解和专业判断。另一个重要的考虑因素是LLMs通常作为一个“黑盒”运作,使审计人员难以完全了解决策是如何做出的,这可能会影响审计结果的信心和问责制。
此外,将LLMs连接到多个数据源会增加系统的攻击面,并引入可能被利用的漏洞。
鉴于这些风险情景,必须采用一种平衡的方法,将强大的安全性、数据治理和持续的人工监督相结合。
结论
事实证明,LLMs是强大的工具,可以显着改变IT审计的执行方式。通过自动执行重复性任务、提高分析准确性和提供数据驱动的见解,这些模型使审计人员能够专注于审计的更多战略性和关键方面。
然而,重要的是要认识到,虽然LLMs可以提高审计过程的效率和有效性,但它们不能取代人类审计人员的专业知识和专业判断。当这些工具与人类洞察力相结合时,这些工具的真正潜力就会得到实现,以确保审计既彻底又在战略上与组织目标保持一致。实现这种平衡需要仔细的风险管理,这不仅可以最大限度地发挥LLMs集成的好处,还可以确保安全、合规和有效的审计环境。
随着技术环境的不断发展和风险变得更加复杂,LLMs提供了一种最大限度地提高系统审计生产力和质量的方法。在时间越来越宝贵的世界中,LLMs可以充当有价值的助手,帮助审计人员驾驭日益复杂的数字环境,并确保组织保持高水平的安全性和合规性。
编者注:本文出自ISACA Journal 2025年第1期。尾注略。文章内容仅代表作者本人观点。
作者:DIEGO SUÁREZ, CISA, ISO/IEC 27001 LEAD ASSESSOR, TISAX LEAD AUDITOR,BSI客户经理,专门从事ISO/IEC 27001和系统审计。
MARIO PIATTINI, PH.D., CISA, CISM, CRISC, CGEIT, PMP, 是 UCLM-Indra软件研究与开发联合中心的主任以及信息技术和系统研究所的主任。他是卡斯蒂利亚-拉曼恰大学的教授。
翻译:尹杭宇,CISM,PMP, ISACA微信公众号特邀通讯员。
校对:谭辰菲(William Tan),CISSP,CISA,CDPSE,CRISC,ISACA微信公众号特邀通讯员,华侨银行信息安全和数字化风险管理经理。