简介BlackboardDownloader是一款基于Java开发的自动化下载工具面向使用Blackboard在线学习平台的师生与教务人员用于批量获取课程中的所有文档。用户只需输入用户名和密码程序便会按照平台原有目录结构将教学大纲、作业、课程内容等分门别类下载到本地且只进入一级子文件夹避免过度抓取。资源压缩包约51.56MB内容主要包含Java源代码、可运行jar包、登录信息示例及自述文档既可直接运行也便于二次开发学习。目前已有233人学习下载适合需要定期备份Blackboard课程资料、提高资料整理效率的用户。该工具还提供用户名密码的安全存储与读取后自动清理功能兼顾便捷与隐私借助它可一键同步整个学期的课程文件减少逐一点击保存的重复劳动并保持课程原有目录逻辑方便后续查找与复习。 Blackboard这套学习管理系统用过的人都知道课程资料散落在各个课程站点、各个Content Area里学期末想一次性把所有课件的PDF、PPT、作业要求全备份下来手动点大概要花掉一个下午。我不是没有耐心的人但这种纯机械的“点击—等待—另存为—再点击”循环真的很消磨人。所以就有了BlackboardDownloader这个项目——它的核心就一句话用脚本替你把Blackboard上所有课程的所有文档批量拉下来按课程分类存好以后想找哪节课的课件一条路径直达。这个工具适合谁如果你也是学生、助教或者老师需要在学期末统一备份课程材料、需要把多门课的资源整理到本地做离线阅读又不想一个个点链接那这个脚本能帮你省下大把时间。这篇文章会完整复现这个项目的需求拆解、技术选型、核心代码和踩坑记录属于可以直接“抄作业”的范畴。1. 需求分析与整体设计思路1.1 这到底是在解决什么问题说白了Blackboard把所有课程材料放在一个个Content Area内容区里。你打开一门课看到的是“教学大纲”“课件”“作业要求”“参考资料”这些分类文件夹点进去才是一个个文件链接。手动操作的痛点有三层课程多一学期五六门课是常态每门课里还有七八个子文件夹操作重复每次都要“登录—进课程—进文件夹—点文件—等下载”一个文件一套流程保存混乱下载下来的文件默认叫“attachment?xxx”或者一串数字ID根本分不清是哪节课的哪个资料。更麻烦的是有些老师的文件命名并不规范存下来的PDF叫“文档1.pdf”想整理还得另外花时间。当时我给自己定了个目标写一个工具完整跑一遍之后所有课程按“课程名/文件夹名/文件名”的结构躺在本地命名尽量保持服务端页面上显示的原始标题不搞出一堆乱码数字。1.2 功能需求清单动手之前我把需求列成了一个清单避免写着写着就跑偏。硬性需求包括自动登录使用学校账号登录并维持会话状态遍历所有课程拿到当前账号能看到的所有课程列表递归进入内容区把每门课程下的文件夹、子文件夹里的文件链接全部提取出来批量下载支持并发下载但要有限速和重试机制本地目录化保存课程名一级目录、内容区名二级目录文件名做清洗和冲突处理断点续传与去重已经下载过的文件直接跳过避免重复拉取。非硬性但很实用的需求我也顺手做了进去支持只备份指定课程比如期末只想保留“操作系统原理”这一门输出完整日志跑完之后能清楚看到哪些文件成功、哪些失败、失败原因是什么。1.3 整体架构分层实现上我把它分成了四层每层只关心自己的事情认证层负责登录拿Session处理Cookie和可能存在的跳转解析层解析页面结构提取课程列表、内容区标题、文档链接和文件名下载层处理文件下载、重试、命名去重和增量跳过存储层负责本地文件系统的目录规划与元数据记录。这四层各干各的哪层出问题就单独修哪层。比如解析层因为黑板页面改版挂了完全不影响下载层的逻辑只改选择器就行。后来事实也证明这个分层思路是对的——学校黑板升级过一次界面我只改了解析模块其他代码一行没动。2. 核心技术选型与难点拆解2.1 为什么选 Python 而不是 Node 或 Go这个项目本质上是爬虫类工具而爬虫生态里Python的综合成本最低。requests处理HTTP会话、BeautifulSoup/lxml解析HTML、urllib处理链接拼接全是现成的轮子。Node.js也能干但我在解析和调试上更习惯Python的交互式环境拿一个页面URL直接丢进脚本里试选择器改完立刻能验证结果效率高很多。写这种工具最耗时的不是“下载文件”本身而是“正确拿到文件链接”。页面结构变化、登录跳转、编码问题、动态加载这些在Python生态里都有对应的成熟解法踩坑时搜一下也能找到大量案例参考。2.2 登录认证Blackboard 登录的几个坑Blackboard大多数情况下不是独立账号体系而是对接学校的统一身份认证SSO。也就是说你在登录页输入账号密码后会被重定向到学校的认证中心认证成功后再带着一个ticket跳回Blackboard。处理这种方式我的经验是先用requests.Session保持Cookie不要每个请求单独新建session否则登录状态根本维持不住用浏览器开发者工具抓一遍登录流程确认三个关键信息登录表单的字段名、认证成功后的重定向URL、落地页是否设置了额外Cookie如果学校强制多因素认证短信或App验证纯requests很难走通。我项目里最终采用了一个简单有效的策略用Playwright手动登录一次将Session Cookie导出存成一个json文件之后requests用这些Cookie去发请求。这样避开了一堆SSO兼容性问题也是我推荐给大多数人的方案。虽然“手动登录一次”听起来好像没那么自动化但Cookies的有效期一般比较长重新导一次也就一分钟的事比硬编码一套登录逻辑省心太多。2.3 页面解析直接用 BeautifulSoup 够不够黑板的内容页面大部分是服务端渲染的HTML用requests拿到响应后配合BeautifulSoup就能解析出课程列表和文档链接。但不是所有情况都这么顺利有两个点需要注意有些页面尤其是新版Blackboard Ultra界面用了前端框架文档列表是AJAX加载的直接请求返回的HTML里根本没有文件链接文件链接本身可能被包在iframe里或者挂在“下载”按钮的onclick事件上而不是一个直接的href链接。对于这种情况我的判断标准很简单先看页面源代码里有没有数据有就直接解析没有就上Playwright无头浏览器等渲染完成后再取DOM。所以代码里保留了两种解析引擎——静态解析器处理服务端渲染页面动态解析器处理前端动态加载页面用配置项切换。2.4 Blackboard 的 URL 结构与内容区解析新版Blackboard的内容区URL一般长这样以常见版本为例https://your-school.blackboard.com/webapps/blackboard/execute/content/course_manage_content?course_id_12345_1课程列表则在门户页里每门课会对应一个course_id或courseName。解析时先请求课程门户拿到课程列表再逐个进入内容页抓取页面里的列表项。比较麻烦的是文档块可能是“文件”“文件夹”“网页链接”“外部链接”等多种类型。我只关心“文件”和“文件夹”两类文件直接下载文件夹递归进入继续找文件。还有一点容易踩坑Blackboard的链接有时是相对路径需要手动用urljoin拼成完整URL有些链接虽然看起来指向的是文档页面但点击后其实是一个HTML预览页真正的文件在预览页内嵌的iframe里。这种链接如果直接按二进制去下载落到本地就是一个HTML壳子不是真正的文档。3. 实操过程与关键代码实现3.1 环境准备先列一下依赖我用的是Python 3.9及以上的版本pip install requests beautifulsoup4 lxml playwright tqdm python -m playwright install chromium如果你不需要动态渲染解析Playwright完全可以不装。tqdm用来显示下载进度条批量跑大量文件的时候能看到实时进度会安心很多。3.2 项目目录结构与配置我习惯把项目组织成下面这种结构方便后面扩展BlackboardDownloader/ ├── main.py ├── config.json ├── bb_cookies.json ├── crawler/ │ ├── __init__.py │ ├── auth.py │ ├── parser.py │ └── downloader.py └── downloads/ └── ...config.json里放基础配置关键项如下{ base_url: https://your-school.blackboard.com, save_root: ./downloads, only_courses: [], skip_if_exists: true, concurrency: 4 }only_courses为空数组表示跑全部课程填入具体的课程名就只备份指定课程。skip_if_exists控制是否跳过已存在的文件我默认开着配合断点续传逻辑能省下大量重复下载的时间。3.3 登录与 Cookie 复用用Playwright手动登录一次再导出Cookie核心代码逻辑大致是这样import json import asyncio from playwright.async_api import async_playwright async def export_cookies(): async with async_playwright() as p: browser await p.chromium.launch(headlessFalse) ctx await browser.new_context() page await ctx.new_page() await page.goto(https://your-school.blackboard.com) input(请在浏览器中完成登录成功看到课程门户后回到这里按回车...) cookies await ctx.cookies() with open(bb_cookies.json, w, encodingutf-8) as f: json.dump(cookies, f, ensure_asciiFalse, indent2) await browser.close() if __name__ __main__: asyncio.run(export_cookies())这样导出的Cookies是标准格式requests加载时逐条转成dict交给Session即可import requests import json def load_session(): s requests.Session() with open(bb_cookies.json, encodingutf-8) as f: cookies json.load(f) for c in cookies: s.cookies.set(c[name], c[value], domainc.get(domain)) return s提醒一点不同学校的登录页结构差很多这个脚本不要指望“万人通用”自己跑一遍浏览器流程就能适配好。3.4 课程列表解析拿到Cookie之后用requests访问课程门户页面解析课程名称和入口链接。核心思路是找到课程门户里所有指向课程内容的链接然后过滤出有course_id或courseName的项from bs4 import BeautifulSoup session load_session() resp session.get( https://your-school.blackboard.com/webapps/portal/execute/tabs/tabAction ) soup BeautifulSoup(resp.text, lxml) courses [] for card in soup.select(a[href*course_id]): href card.get(href) title card.get_text(stripTrue) or card.get(title) if href and title: courses.append({name: title, url: href})这里需要根据自己学校的页面结构调整选择器不同学校界面差异确实很大。我代码里干脆写了一个选择器配置列表把几种常见结构都覆盖了跑的时候逐个尝试哪个能匹配出数据就用哪个。3.5 文档链接提取与文件名处理进入课程内容页之后遍历所有文件项。初步思路是查找页面里带下载特征的链接def parse_documents(html): soup BeautifulSoup(html, lxml) items [] for link_tag in soup.select(a.attachment, a[href*download]): href link_tag.get(href) title link_tag.get(title) or link_tag.get_text(stripTrue) if href and title: items.append({title: title, url: href}) return items文件名处理是这个项目里最重要的细节之一。Blackboard下载链接里经常带着一大串文件ID直接用URL末尾当文件名很可能存成一堆无意义的数字。正确处理方式是优先取页面里显示的标题然后做一次特殊字符清洗把路径层面的非法字符全部替换掉import re def safe_filename(name, max_len180): name re.sub(r[\\/:*?|], _, name).strip() if len(name) max_len: ext os.path.splitext(name)[1] return name[: max_len - len(ext)] ext return nameWindows系统下文件名不能包含反斜杠、斜杠、冒号、星号、问号、引号、尖括号、竖线这些都要在保存前处理掉。另外如果标题里没有扩展名我会尝试从URL路径或Content-Type头里推断出文件类型补上后缀避免以后打开文件时系统不认识。3.6 批量下载与目录规划最后一环是把文件真正拉到本地。我用requests流式下载并控制并发数。并发太高容易被学校网关限流甚至触发安全策略4到5个线程对我来说足够了import os from concurrent.futures import ThreadPoolExecutor, as_completed def download_file(session, url, save_path): os.makedirs(os.path.dirname(save_path), exist_okTrue) tmp_path save_path .part if os.path.exists(save_path): return skip with session.get(url, streamTrue, timeout(10, 60)) as r: r.raise_for_status() with open(tmp_path, wb) as f: for chunk in r.iter_content(chunk_size8192): if chunk: f.write(chunk) os.rename(tmp_path, save_path) return ok这里我踩过一个坑直接写目标文件如果下载到一半断掉本地会留下一个损坏文件但文件已经存在了后续去重逻辑会误判为“已下载完成”跳过它。所以后来改成先写“.part”临时文件全部下载完成后重命名这样断掉也不会污染最终结果。目录规划上我严格按照“课程名 / 内容区名 / 文件名”来组织内容区名在解析页面时从面包屑导航里提取。这样本地目录结构基本复刻了Blackboard上的分类结构找起文件来非常直观。4. 常见问题与排查技巧实录4.1 登录态失效或 Cookie 过期Blackboard的Session过期策略因学校而异有的30分钟没操作就失效有的能保持一天以上。遇到“请求返回登录页”的情况我采用一个检测策略在代码里检查关键页面是否包含登录入口的特征值比如特定的表单ID或logo文本。一旦检测到就中止任务提示用户重新导出Cookie再跑。在pageload阶段就判断能在最开始暴露问题时立刻止损不用等下载了一堆失败文件之后才发现Session早就过期了。4.2 文档列表解析为空这个问题是最常见的先别怀疑自己代码写错按下面的顺序排查现象可能原因排查手段静态HTML里没有文件链接页面是前端动态渲染切换到Playwright动态解析列表能打开但文档项为0内容区里挂的是外部链接或预览页面检查页面结构排除iframe/内嵌预览只取到一部分文件Blackboard插件分页加载遍历所有分页参数手动翻页抓取4.3 文件名乱码或超长Blackboard上的中文标题在HTML源码里一般是正常的但某些学校CDN或代理转发可能导致编码错乱。我的对策是在解析时做一次编码修复先把文本encode为latin1再decode为utf-8很多时候能救回来。另一些老师的文件名特别长超过260字符会在Windows下写文件失败这时候必须做截断处理同时保留扩展名。编码修复的代码我封装成了一个独立函数在清洗文件名之前调用def fix_mojibake(text): try: return text.encode(latin1).decode(utf-8) except (UnicodeDecodeError, UnicodeEncodeError): return text4.4 下载到一半断开网络不稳定时requests下载大文件可能中途断掉。我在下载层加重试机制对5分钟内的失败任务重试3次。重试时如果发现“.part”文件已经存在就断点续传def download_with_resume(session, url, save_path, retries3): tmp_path save_path .part headers {} if os.path.exists(tmp_path): headers[Range] fbytes{os.path.getsize(tmp_path)}- for attempt in range(retries): try: with session.get(url, streamTrue, headersheaders, timeout(10, 60)) as r: if r.status_code 416: os.rename(tmp_path, save_path) return ok r.raise_for_status() with open(tmp_path, ab) as f: for chunk in r.iter_content(chunk_size8192): if chunk: f.write(chunk) os.rename(tmp_path, save_path) return ok except (requests.RequestException, OSError): if attempt retries - 1: time.sleep(2 * (attempt 1)) return failed服务器不一定支持Range请求如果不支持就退化成完整重下反正有“.part”机制兜底不会残留一个完整意义上的错误文件。4.5 合规与使用边界这一点放在最后但很重要。这类工具请在合理范围内使用只下载你有权限查看的课程资料用于个人学习备份、离线阅读等合法用途。不要把它当作获取未授权资源的通道也不要批量打包后对外分发或商用。我做这个工具时把“只遍历当前账号可见的课和文件”作为默认约束写死在代码里不做任何越权尝试。下载频率也刻意压低了并发控制在个位数不给学校服务器增加无谓的负载。5. 写在最后的实操心得项目做到现在我个人最大的体会是这类“在乱七八糟的网页里抓文件”的需求真正难的不是写代码而是把各种版本页面的差异和各种异常情况都考虑进去。Blackboard在不同学校部署的版本不完全一样有的界面古老有的已经切换到Ultra所以不要指望一个固定的选择器能通吃所有场景。我的代码里预留了选择器配置哪里不对改哪里心里完全不慌。最后再分享一个实用的小技巧把脚本每次跑完的日志存下来留一个月。期末复习时想找某份课件直接查日志定位到本地路径比再去网站里翻找快得多。这个工具我用了两个学期省下来的时间保守估计也有十几个小时了。如果你也在和Blackboard打交道不妨照这个思路做一个属于你自己的版本跑顺之后真的会有一种“终于结束了手工下载时代”的畅快感。本文还有配套的精品资源点击获取 Blackboard批量下载工具：Python自动化备份课程资料
简介BlackboardDownloader是一款基于Java开发的自动化下载工具面向使用Blackboard在线学习平台的师生与教务人员用于批量获取课程中的所有文档。用户只需输入用户名和密码程序便会按照平台原有目录结构将教学大纲、作业、课程内容等分门别类下载到本地且只进入一级子文件夹避免过度抓取。资源压缩包约51.56MB内容主要包含Java源代码、可运行jar包、登录信息示例及自述文档既可直接运行也便于二次开发学习。目前已有233人学习下载适合需要定期备份Blackboard课程资料、提高资料整理效率的用户。该工具还提供用户名密码的安全存储与读取后自动清理功能兼顾便捷与隐私借助它可一键同步整个学期的课程文件减少逐一点击保存的重复劳动并保持课程原有目录逻辑方便后续查找与复习。 Blackboard这套学习管理系统用过的人都知道课程资料散落在各个课程站点、各个Content Area里学期末想一次性把所有课件的PDF、PPT、作业要求全备份下来手动点大概要花掉一个下午。我不是没有耐心的人但这种纯机械的“点击—等待—另存为—再点击”循环真的很消磨人。所以就有了BlackboardDownloader这个项目——它的核心就一句话用脚本替你把Blackboard上所有课程的所有文档批量拉下来按课程分类存好以后想找哪节课的课件一条路径直达。这个工具适合谁如果你也是学生、助教或者老师需要在学期末统一备份课程材料、需要把多门课的资源整理到本地做离线阅读又不想一个个点链接那这个脚本能帮你省下大把时间。这篇文章会完整复现这个项目的需求拆解、技术选型、核心代码和踩坑记录属于可以直接“抄作业”的范畴。1. 需求分析与整体设计思路1.1 这到底是在解决什么问题说白了Blackboard把所有课程材料放在一个个Content Area内容区里。你打开一门课看到的是“教学大纲”“课件”“作业要求”“参考资料”这些分类文件夹点进去才是一个个文件链接。手动操作的痛点有三层课程多一学期五六门课是常态每门课里还有七八个子文件夹操作重复每次都要“登录—进课程—进文件夹—点文件—等下载”一个文件一套流程保存混乱下载下来的文件默认叫“attachment?xxx”或者一串数字ID根本分不清是哪节课的哪个资料。更麻烦的是有些老师的文件命名并不规范存下来的PDF叫“文档1.pdf”想整理还得另外花时间。当时我给自己定了个目标写一个工具完整跑一遍之后所有课程按“课程名/文件夹名/文件名”的结构躺在本地命名尽量保持服务端页面上显示的原始标题不搞出一堆乱码数字。1.2 功能需求清单动手之前我把需求列成了一个清单避免写着写着就跑偏。硬性需求包括自动登录使用学校账号登录并维持会话状态遍历所有课程拿到当前账号能看到的所有课程列表递归进入内容区把每门课程下的文件夹、子文件夹里的文件链接全部提取出来批量下载支持并发下载但要有限速和重试机制本地目录化保存课程名一级目录、内容区名二级目录文件名做清洗和冲突处理断点续传与去重已经下载过的文件直接跳过避免重复拉取。非硬性但很实用的需求我也顺手做了进去支持只备份指定课程比如期末只想保留“操作系统原理”这一门输出完整日志跑完之后能清楚看到哪些文件成功、哪些失败、失败原因是什么。1.3 整体架构分层实现上我把它分成了四层每层只关心自己的事情认证层负责登录拿Session处理Cookie和可能存在的跳转解析层解析页面结构提取课程列表、内容区标题、文档链接和文件名下载层处理文件下载、重试、命名去重和增量跳过存储层负责本地文件系统的目录规划与元数据记录。这四层各干各的哪层出问题就单独修哪层。比如解析层因为黑板页面改版挂了完全不影响下载层的逻辑只改选择器就行。后来事实也证明这个分层思路是对的——学校黑板升级过一次界面我只改了解析模块其他代码一行没动。2. 核心技术选型与难点拆解2.1 为什么选 Python 而不是 Node 或 Go这个项目本质上是爬虫类工具而爬虫生态里Python的综合成本最低。requests处理HTTP会话、BeautifulSoup/lxml解析HTML、urllib处理链接拼接全是现成的轮子。Node.js也能干但我在解析和调试上更习惯Python的交互式环境拿一个页面URL直接丢进脚本里试选择器改完立刻能验证结果效率高很多。写这种工具最耗时的不是“下载文件”本身而是“正确拿到文件链接”。页面结构变化、登录跳转、编码问题、动态加载这些在Python生态里都有对应的成熟解法踩坑时搜一下也能找到大量案例参考。2.2 登录认证Blackboard 登录的几个坑Blackboard大多数情况下不是独立账号体系而是对接学校的统一身份认证SSO。也就是说你在登录页输入账号密码后会被重定向到学校的认证中心认证成功后再带着一个ticket跳回Blackboard。处理这种方式我的经验是先用requests.Session保持Cookie不要每个请求单独新建session否则登录状态根本维持不住用浏览器开发者工具抓一遍登录流程确认三个关键信息登录表单的字段名、认证成功后的重定向URL、落地页是否设置了额外Cookie如果学校强制多因素认证短信或App验证纯requests很难走通。我项目里最终采用了一个简单有效的策略用Playwright手动登录一次将Session Cookie导出存成一个json文件之后requests用这些Cookie去发请求。这样避开了一堆SSO兼容性问题也是我推荐给大多数人的方案。虽然“手动登录一次”听起来好像没那么自动化但Cookies的有效期一般比较长重新导一次也就一分钟的事比硬编码一套登录逻辑省心太多。2.3 页面解析直接用 BeautifulSoup 够不够黑板的内容页面大部分是服务端渲染的HTML用requests拿到响应后配合BeautifulSoup就能解析出课程列表和文档链接。但不是所有情况都这么顺利有两个点需要注意有些页面尤其是新版Blackboard Ultra界面用了前端框架文档列表是AJAX加载的直接请求返回的HTML里根本没有文件链接文件链接本身可能被包在iframe里或者挂在“下载”按钮的onclick事件上而不是一个直接的href链接。对于这种情况我的判断标准很简单先看页面源代码里有没有数据有就直接解析没有就上Playwright无头浏览器等渲染完成后再取DOM。所以代码里保留了两种解析引擎——静态解析器处理服务端渲染页面动态解析器处理前端动态加载页面用配置项切换。2.4 Blackboard 的 URL 结构与内容区解析新版Blackboard的内容区URL一般长这样以常见版本为例https://your-school.blackboard.com/webapps/blackboard/execute/content/course_manage_content?course_id_12345_1课程列表则在门户页里每门课会对应一个course_id或courseName。解析时先请求课程门户拿到课程列表再逐个进入内容页抓取页面里的列表项。比较麻烦的是文档块可能是“文件”“文件夹”“网页链接”“外部链接”等多种类型。我只关心“文件”和“文件夹”两类文件直接下载文件夹递归进入继续找文件。还有一点容易踩坑Blackboard的链接有时是相对路径需要手动用urljoin拼成完整URL有些链接虽然看起来指向的是文档页面但点击后其实是一个HTML预览页真正的文件在预览页内嵌的iframe里。这种链接如果直接按二进制去下载落到本地就是一个HTML壳子不是真正的文档。3. 实操过程与关键代码实现3.1 环境准备先列一下依赖我用的是Python 3.9及以上的版本pip install requests beautifulsoup4 lxml playwright tqdm python -m playwright install chromium如果你不需要动态渲染解析Playwright完全可以不装。tqdm用来显示下载进度条批量跑大量文件的时候能看到实时进度会安心很多。3.2 项目目录结构与配置我习惯把项目组织成下面这种结构方便后面扩展BlackboardDownloader/ ├── main.py ├── config.json ├── bb_cookies.json ├── crawler/ │ ├── __init__.py │ ├── auth.py │ ├── parser.py │ └── downloader.py └── downloads/ └── ...config.json里放基础配置关键项如下{ base_url: https://your-school.blackboard.com, save_root: ./downloads, only_courses: [], skip_if_exists: true, concurrency: 4 }only_courses为空数组表示跑全部课程填入具体的课程名就只备份指定课程。skip_if_exists控制是否跳过已存在的文件我默认开着配合断点续传逻辑能省下大量重复下载的时间。3.3 登录与 Cookie 复用用Playwright手动登录一次再导出Cookie核心代码逻辑大致是这样import json import asyncio from playwright.async_api import async_playwright async def export_cookies(): async with async_playwright() as p: browser await p.chromium.launch(headlessFalse) ctx await browser.new_context() page await ctx.new_page() await page.goto(https://your-school.blackboard.com) input(请在浏览器中完成登录成功看到课程门户后回到这里按回车...) cookies await ctx.cookies() with open(bb_cookies.json, w, encodingutf-8) as f: json.dump(cookies, f, ensure_asciiFalse, indent2) await browser.close() if __name__ __main__: asyncio.run(export_cookies())这样导出的Cookies是标准格式requests加载时逐条转成dict交给Session即可import requests import json def load_session(): s requests.Session() with open(bb_cookies.json, encodingutf-8) as f: cookies json.load(f) for c in cookies: s.cookies.set(c[name], c[value], domainc.get(domain)) return s提醒一点不同学校的登录页结构差很多这个脚本不要指望“万人通用”自己跑一遍浏览器流程就能适配好。3.4 课程列表解析拿到Cookie之后用requests访问课程门户页面解析课程名称和入口链接。核心思路是找到课程门户里所有指向课程内容的链接然后过滤出有course_id或courseName的项from bs4 import BeautifulSoup session load_session() resp session.get( https://your-school.blackboard.com/webapps/portal/execute/tabs/tabAction ) soup BeautifulSoup(resp.text, lxml) courses [] for card in soup.select(a[href*course_id]): href card.get(href) title card.get_text(stripTrue) or card.get(title) if href and title: courses.append({name: title, url: href})这里需要根据自己学校的页面结构调整选择器不同学校界面差异确实很大。我代码里干脆写了一个选择器配置列表把几种常见结构都覆盖了跑的时候逐个尝试哪个能匹配出数据就用哪个。3.5 文档链接提取与文件名处理进入课程内容页之后遍历所有文件项。初步思路是查找页面里带下载特征的链接def parse_documents(html): soup BeautifulSoup(html, lxml) items [] for link_tag in soup.select(a.attachment, a[href*download]): href link_tag.get(href) title link_tag.get(title) or link_tag.get_text(stripTrue) if href and title: items.append({title: title, url: href}) return items文件名处理是这个项目里最重要的细节之一。Blackboard下载链接里经常带着一大串文件ID直接用URL末尾当文件名很可能存成一堆无意义的数字。正确处理方式是优先取页面里显示的标题然后做一次特殊字符清洗把路径层面的非法字符全部替换掉import re def safe_filename(name, max_len180): name re.sub(r[\\/:*?|], _, name).strip() if len(name) max_len: ext os.path.splitext(name)[1] return name[: max_len - len(ext)] ext return nameWindows系统下文件名不能包含反斜杠、斜杠、冒号、星号、问号、引号、尖括号、竖线这些都要在保存前处理掉。另外如果标题里没有扩展名我会尝试从URL路径或Content-Type头里推断出文件类型补上后缀避免以后打开文件时系统不认识。3.6 批量下载与目录规划最后一环是把文件真正拉到本地。我用requests流式下载并控制并发数。并发太高容易被学校网关限流甚至触发安全策略4到5个线程对我来说足够了import os from concurrent.futures import ThreadPoolExecutor, as_completed def download_file(session, url, save_path): os.makedirs(os.path.dirname(save_path), exist_okTrue) tmp_path save_path .part if os.path.exists(save_path): return skip with session.get(url, streamTrue, timeout(10, 60)) as r: r.raise_for_status() with open(tmp_path, wb) as f: for chunk in r.iter_content(chunk_size8192): if chunk: f.write(chunk) os.rename(tmp_path, save_path) return ok这里我踩过一个坑直接写目标文件如果下载到一半断掉本地会留下一个损坏文件但文件已经存在了后续去重逻辑会误判为“已下载完成”跳过它。所以后来改成先写“.part”临时文件全部下载完成后重命名这样断掉也不会污染最终结果。目录规划上我严格按照“课程名 / 内容区名 / 文件名”来组织内容区名在解析页面时从面包屑导航里提取。这样本地目录结构基本复刻了Blackboard上的分类结构找起文件来非常直观。4. 常见问题与排查技巧实录4.1 登录态失效或 Cookie 过期Blackboard的Session过期策略因学校而异有的30分钟没操作就失效有的能保持一天以上。遇到“请求返回登录页”的情况我采用一个检测策略在代码里检查关键页面是否包含登录入口的特征值比如特定的表单ID或logo文本。一旦检测到就中止任务提示用户重新导出Cookie再跑。在pageload阶段就判断能在最开始暴露问题时立刻止损不用等下载了一堆失败文件之后才发现Session早就过期了。4.2 文档列表解析为空这个问题是最常见的先别怀疑自己代码写错按下面的顺序排查现象可能原因排查手段静态HTML里没有文件链接页面是前端动态渲染切换到Playwright动态解析列表能打开但文档项为0内容区里挂的是外部链接或预览页面检查页面结构排除iframe/内嵌预览只取到一部分文件Blackboard插件分页加载遍历所有分页参数手动翻页抓取4.3 文件名乱码或超长Blackboard上的中文标题在HTML源码里一般是正常的但某些学校CDN或代理转发可能导致编码错乱。我的对策是在解析时做一次编码修复先把文本encode为latin1再decode为utf-8很多时候能救回来。另一些老师的文件名特别长超过260字符会在Windows下写文件失败这时候必须做截断处理同时保留扩展名。编码修复的代码我封装成了一个独立函数在清洗文件名之前调用def fix_mojibake(text): try: return text.encode(latin1).decode(utf-8) except (UnicodeDecodeError, UnicodeEncodeError): return text4.4 下载到一半断开网络不稳定时requests下载大文件可能中途断掉。我在下载层加重试机制对5分钟内的失败任务重试3次。重试时如果发现“.part”文件已经存在就断点续传def download_with_resume(session, url, save_path, retries3): tmp_path save_path .part headers {} if os.path.exists(tmp_path): headers[Range] fbytes{os.path.getsize(tmp_path)}- for attempt in range(retries): try: with session.get(url, streamTrue, headersheaders, timeout(10, 60)) as r: if r.status_code 416: os.rename(tmp_path, save_path) return ok r.raise_for_status() with open(tmp_path, ab) as f: for chunk in r.iter_content(chunk_size8192): if chunk: f.write(chunk) os.rename(tmp_path, save_path) return ok except (requests.RequestException, OSError): if attempt retries - 1: time.sleep(2 * (attempt 1)) return failed服务器不一定支持Range请求如果不支持就退化成完整重下反正有“.part”机制兜底不会残留一个完整意义上的错误文件。4.5 合规与使用边界这一点放在最后但很重要。这类工具请在合理范围内使用只下载你有权限查看的课程资料用于个人学习备份、离线阅读等合法用途。不要把它当作获取未授权资源的通道也不要批量打包后对外分发或商用。我做这个工具时把“只遍历当前账号可见的课和文件”作为默认约束写死在代码里不做任何越权尝试。下载频率也刻意压低了并发控制在个位数不给学校服务器增加无谓的负载。5. 写在最后的实操心得项目做到现在我个人最大的体会是这类“在乱七八糟的网页里抓文件”的需求真正难的不是写代码而是把各种版本页面的差异和各种异常情况都考虑进去。Blackboard在不同学校部署的版本不完全一样有的界面古老有的已经切换到Ultra所以不要指望一个固定的选择器能通吃所有场景。我的代码里预留了选择器配置哪里不对改哪里心里完全不慌。最后再分享一个实用的小技巧把脚本每次跑完的日志存下来留一个月。期末复习时想找某份课件直接查日志定位到本地路径比再去网站里翻找快得多。这个工具我用了两个学期省下来的时间保守估计也有十几个小时了。如果你也在和Blackboard打交道不妨照这个思路做一个属于你自己的版本跑顺之后真的会有一种“终于结束了手工下载时代”的畅快感。本文还有配套的精品资源点击获取