數據囤積:領域資源參考
2023-12:由于wiki:记一次联通宽带限速事件影响,所有bt(包括pt)保种已停止。
2024-03:近期有大量未知底细(疑似中和pcdn产生的大量上传)的吸血peer,您可以参考此文档,屏蔽此类客户端、ip段,以免浪费带宽资源。
2024-04:我有建立一个发资源的傀儡站的想法,负责一些非公共项目的资源托管并避免系列站点遭受DMCA或无关流量,计划文件托管于谷歌云盘/mega/大盘鸡VPS,但得等我有稳定工作后才能实施,若您有(免费且)稳定的团队盘等渠道欢迎同我联系提前布局。
前言
想了想,還真不好下筆。。。
一者,領域太多太雜太亂,我個人功底尚不足;二者,不管我怎麼理想化數據收藏癖,可實際上我自己就是各領域的過客,除了增加伺服器負擔外,很難留下痕跡,這可能對那些領域來說是不友好行為;三者,集中式的索引像是現成飯,吃多了可是會喪失成為數據收藏癖的三大要素之「收集力」的;四者,我之前也沒好習慣,很多本地的東西都沒留來源,或者來源非bt/存活網盤。故本頁只做兔子洞用途,會羅列一些數據供以參考,若感興趣請自行索引相關信息。
BT資源說明體積的是我在做種的,停止做種=nas/硬碟壞掉,雖然有公網+埠轉發,但我上行帶寬很小,而且不止BT流量,還有PT流量,和自託管的一些流媒體伺服器(雖然就我自己在內網場景用),權做保底用途,以抵消潛在的吸血用戶隱患。請尊重BT環境,不要用吸血雷等工具,下載完成後盡力做種。
宗門
Internet Archive
- https://archive.org/
- 集大成的寶庫,或許很多人因網頁快照而得知,但它真正的寶藏是存檔的各式資料與數據集,比如:eBooks and Texts、Moving Image Archive、Audio Archive、The Internet Archive Software Collection、Image,以及眾多由無數用戶上傳的各式文件。
- 但由於比較正規,所存檔內容多為版權公共領域,但又由於體量,那一小部分也是非常多;個人用戶自行上傳的內容雖不會進行嚴格審查,但被舉報(收dmca)還是有很大概率被刪除;都提供了bt渠道。
Archive Team
- https://wiki.archiveteam.org/
- 致力於存檔網際網路、保存數字遺產的眾包團隊,官網主要是記錄正在進行的任務與其相關的資訊,文件主要託管於IA
- 他們(的成員)還創建了一系列用於歸檔網頁的工具同時將歸檔的資源上傳到了IA,如:WikiTeam
the-eye.eu
- https://the-eye.eu/
- 與Archive Team相比,它們側重點與體量不同,AT在於鏡像站點,目標是網際網路站點及其產生的數據;它(與傳統的)在於資源本身,或會觸及版權(雷就是#Open_Directory)。
- 2021年10月因設備故障而關閉,由於經濟、工作人員的精力及時間問題,2022年開始重建,但始終未能恢復此前所擁有的資源,不過正逐步的推進更多的項目,如reddit/推特/tg的部分類型內容備份及其他站點、資源的鏡像,只能說未來可期。
- 因為它的體量和我個人的偏見問題,將其放於此處,對於類似(介於它和一般OD站點間:體量、涉及、穩定性)的項目可以移步:#DDL
comfy box
- https://comfybox.floofey.dog/
- 數據囤積相關的社區,雖然熱度不算高。
- 所有者的另一個站點,託管了一些文件:https://nnty.fun/downloads/
Save The Web Project(中文)
- https://blog.save-web.org/
- 「一群業餘 Web Archivist 的小型公益社團,為知識保存作點小貢獻。」
the Great 78 Project
- https://great78.archive.org/
- 數位化、保存 78rpm 唱片的社區項目,內容盡皆上傳至IA。
藏寶圖
- https://oicsp.scio.eu.org/#信息索引
- https://oicsp.scio.eu.org/public/osint.html#一级目录-00x特殊-索引
- reddit.html#數據收藏癖
BT
本篇文章的核心是資源項目,後續或許會拓展一些資源社區,但考慮到bt領域的體量、OSINT項目與本頁重複內容造成的冗餘,就不盡數移植過來了:
- 影視方面BT:
osint.md#二级目录-01Y-BT社区
- ACG方面:
osint.md#一级目录-12X子兴趣 -ACG专区
- 反正我主要是線上看,dmhy/nyaa等bt站一些冷門作斷種情況比較嚴重,不行就是找vcb資源(硬通貨,做種情況良好,但一般不配字幕)+字幕或pt站(u2),缺點是體積有些大,我的眼配不上。
- 一些大型bt站的另一些可取之處就是數據集、大包,如:
- 英文vn大包、hanime及其他合集項目的:https://sukebei.nyaa.si/user/Connor_CZ
- 上傳linux game的:https://www.1377x.to/user/johncena141/
- 但需要慢慢找,並且合輯的質量或參差不齊。
- 對於PT,見:PT
Anna's Archive(電子書)
- https://annas-blog.org/
- https://annas-archive.org/torrents
主要是zlib的鏡像,和最近一個漫畫的存檔。- 發展愈來愈壯大 ,目前正朝著鏡像電子書(書籍、論文、雜誌、漫畫)的方向不斷前進、拓展著數據集(libgen.rs/li、Sci-Hub、zlib、IA圖書館、讀秀(5.0+?));可在線搜索及緩慢下載(贊助可高速),數據集以bt方式分發。
- 很怕走zlib的老路,希望在這之前諸般資源都能以bt方式分發,出了種,火種就能延續下去。
Academic Torrents(數據集)
- https://academictorrents.com/
- 學術種子,主要是各類(具有學習研究及教育用途的而不一定要學術性的)數據集、課程。
- 由於部分(比如常用的amy/imm一流)機場屏蔽了域名中含「torrent」的網站,可用其他代理或tor訪問站點。
4chan /t/ (磁力分享)
- https://boards.4chan.org/t/catalog
- bt版塊,配合https://archived.moe/t/等備份站食用效果最佳;類似這種線程:rare / obscure torrents能當隨機文章閱讀碰運氣。
P2P
DC++
- https://dcplusplus.sourceforge.io/
- 本身是支持群組的普通p2p文件共享工具,之前以漫畫分享(一些公共的dc群)而出名,但這類傳統工具都在逐漸沒落/私有化,一些群組或許審核自己所共享的文件,以下是索引了一些公共(與私人hub對應)hubs:dchublist.biz、dchublist.org、hublist.eu、te-home.net
Soulseek
- https://www.slsknet.org/news/
- 雖然不限制類型,但公認是分享音樂資源,但很多分享flac的人都上了鎖,一般要交換資源,公開資源多為320kbps。
其他的諸如日本的Perfect Dark(需要開放埠,即得有公網)類soulseek但熱度太低,資源量不夠看;IPFS(之前還有個ipfs-search.com但關了)、Resilio Sync只是作為工具依附於各種項目,就不列舉了。
XDCC
推薦客戶端:HexChat,由於眾所周知的原因,因為網絡波動,連接質量或許會很差;有了下載指令,在對應的irc伺服器的頻道內(bot所在)複製粘貼發送即可。
※ 提供服務的:
IRCHighWay(電子書)
- https://irchighway.net/
- irc地址:
irc.irchighway.net/6697
- 加入書籍頻道:
/join #ebooks
- 搜索書籍:
@search 关键词
- 下載書籍:如果收到壓縮包,解開后里面是txt文件,是索引出的結果,選一個(是弄好的下載命令)複製粘貼從該頻道發出去,再接收電子書即可。
※ 提供索引的:
NIBL(動漫)
- https://nibl.co.uk/
- irc地址:
irc.rizon.net
- 加入nibl頻道:
/join #nibl
xdcc.eu(綜合)
sun dcxx(綜合)
asthenia(綜合)
- irc地址:
irc.rizon.net
- 加入nibl頻道:
/join #asthenia
動漫的還有個animk.info,但是我這邊看著站點有些損壞;其他還有些不是專門做xdcc的,比如動漫的subsplease、AniDex;之前有個索引+下載客戶端littleweeb,但現無人維護,不知道原因是否為索引目標的失效。
Warez論壇
※ 基本上都是註冊可見資源區;OSINT分發包「待驗證內容」中還有一些邀請制的站點;。
- mobilism | 電子書/有聲書/軟體 | https://forum.mobilism.me/
- dpgroup.org | 電子書/有聲書 | https://www.dpgroup.org/forum/ | 我這裡gmail無法註冊,protonmail正常接收驗證碼;論壇規定需家庭ip註冊和訪問,不能使用代理,以及一人一生一號政策,具體實施力度未知(畢竟開放註冊,而且我用的代理,還是垃圾節點訪問的)
- mvgroup | 紀錄片 | https://forums.mvgroup.org/
- Novanon | 綜合 | https://novanon.net/ | 文件託管方式取決於上傳者,有一個文件託管平台白名單,內為非限速網盤或主流的網賺網盤,整體質量很好
- Компьютерный форум Ru.Board | 綜合 | http://forum.ru-board.com/
- Nsane | 軟體 | https://nsaneforums.com/
Open Directory
資訊可以參閱:
一些FTP索引項目:
- ODCrawler | | https://odcrawler.xyz/
- FilePursuit | | https://filepursuit.com/
- eyedx | | https://www.eyedex.org/groups/
- NAPALM FTP Indexer | | https://www.searchftps.net/
- Mamont | | https://www.mmnt.ru/int/
一些工具:
利用谷歌搜尋引擎的替代前端:
- Google 上手動搜索 OpenDirectories
- LENDX | | http://lendx.org/
- lumpysoft.com | 視頻/音樂/電子書等 | https://lumpysoft.com/
- OD Finder | | https://odfinder.github.io/#
- OD Search Tool | | https://open-directories.reecemercer.dev/
- Open Directory Search Portal | | https://www.eyeofjustice.com/od/
- Open Directory Search | | http://www.palined.com/search/
- Musgle | 音樂 | http://musgle.com/
可編程搜尋引擎:
- 書籍
- 遊戲:https://cse.google.com/cse?cx=20c2a3e5f702049aa
- 動漫:https://cse.google.com/cse?cx=006516753008110874046:osnah6w0yw8
- telegram頻道:https://cse.google.com/cse?cx=957ae734f66a7a3e0
- rentry.co內容(Paste Skimmer):https://cse.google.com/cse?cx=000977868543400066238:8pmcka2t6qy
- SearchFiles | 影視綜合,類可編程搜尋引擎 | https://searchfiles.de/
開放站點(請勿濫用):
- xxx.bitdl.ir
- xxx.joshw.info
DDL
- Textfiles | 包含BBS和各種亞文化的文本文件 | http://textfiles.com/directory.html
- X-Files - lagout.org | 英/法語的計算機/電子/等參考資料 | https://doc.lagout.org/
- InfoCon.org | 黑客和安全相關 | https://infocon.org/ | 黑客和安全會議視頻、紀錄片、彩虹表、詞彙表和播客的檔案庫
雲服務
阿里雲盤
谷歌雲盤
Mega雲盤
- megadb | 2018年4月11日被關停的r/megalinks 存檔,時間有些遠,很多都失效了 | https://megadb.tweakly.net/search
- 有個邀請制的intotheinter.net
Telegram
- https://tgarchive.eu.org/
- 需登陸tg帳戶使用。
Open Amazon s3 Buckets
- https://buckets.grayhatwarfare.com/
- 可能是我姿勢不夠,沒搜到什麼有用的,相關文章。
藏寶洞
標註了體積但無聲明的為bt資源,非bt資源在標註體積時會說明類型;url有明顯標識(如谷歌/mega等的服務)的不額外聲明;無體積標識又無聲明的請自行到站內查看。
無標識的為暫無存檔計劃,【⚪】為計劃或正在存檔,【⚫】為已存檔,【☯】為非項目類型(通常是信息索引)的存檔或不完全存檔(有說明),【⚈】為有瑕疵的存檔(如部分數據損壞)。
書籍
Bibliotheca 鏡像
- https://old.reddit.com/r/DataHoarder/comments/zuniqw/bibliotheca_alexandrina_a_600_gb_hoard_of_history/
- 截止於2022年12月的備份,600GB
- 另一個舊的:https://old.reddit.com/r/DataHoarder/comments/kid7he/bibliotheca_alexandrina_a_300_gb_hoard_of_history/
Gutenberg 鏡像
- https://old.reddit.com/r/DataHoarder/comments/c965la/1194_tib_full_project_gutenberg_archive_torrent/
- 古藤堡項目備份,1.19T
中文古籍 書格【⚪】
- https://s.shuge.org/all
- 谷歌、微軟、阿里雲盤,Rslisio Sync
音樂
J-CORE 無損【⚫】
- https://audioforyou.top/
- 體積:
267.01 GiB
the /kpg/ torrent (kpop)
- https://kpg.neocities.org/
- 922.76 GB
TLMC v5(東方無損音樂合集)
東方無損音樂合集(V.19)【⚫】【過時】
- http://www.tlmc.eu/
- 體積:
1.547 TiB
- 東方有損音樂合集 v.19 (Ogg Vorbis q6) 【⚫】 :
- https://nyaa.si/view/1003067
- 體積:
336.2 GiB
古典音樂【⚫】
- Musica classica:
43b0846fdff9ceee76bac8879ff636fac91318f1
(992.57 GiB
) - Decca Ultimate:
086d35085c015a0bd115d7b4417df8ed4839f565
(48.13 GiB
) - 來源:4chan /t/
Redtopia
- https://git.fuwafuwa.moe/cairn/Redtopia
- 已關閉的pt站的內容存檔,總計約5.7TiB
Myspace
- https://archive.org/details/myspace_dragon_hoard_2010
- 在線:https://mydora.restorativland.org/
- MySpace在伺服器遷徙時丟失了2003-2015間的數據,這是2008-2010間的音樂存檔(mp3)。
/X/
pg【⚫】
The Temple of Solomon the King【⚫】
※ 以上兩個mega連結疑似失效,不跳文件被刪提醒,直接返回登陸頁。
Library v1.5【⚫】
- https://1337x.to/torrent/3800017/The-Occult-Library-v1-5-480GB/
- 忘記在哪裡下的了,這是反查找到的可用下載方案。
Fringe Library【☯】
https://8kun.top/fringe/library.html(IA鏡像)- 除了常規論壇外,神秘/超自然主題的應該也就 4chan的/x/和8chan的/fringe/了吧,雖然都有些那啥。
Gal
GalGame
galgame | | http://source1.galgamewiki.cn/ | 第二部分:http://source2.galgamewiki.cn/- 2023年底原主因一些顧慮關閉了,此前資源是託管於微軟企業雲盤中,qq群:279113015(進群有gal相關提問,會清理不活躍用戶)。
Galgame 漢化補檔計劃
動漫
AnimeThemes.moe - OP/ED合集視頻備份【☯】
- https://nyaa.si/?f=0&c=0_0&q=AnimeThemes
- 體積:
572.4 GiB
(2023.04.01)【⚫】
HDKirin的op/ed WebM 存檔
動漫音樂/OST【⚫】
- https://nyaa.si/view/1404832
animeaudioarchive.github.io
整理,但站點已關閉,此前在籌備V6.0版本,discord群內管理員也沒有任何後續消息。- 體積:
474.5 GiB
Flash
Flashpoint (網頁遊戲)
- https://flashpointarchive.org/downloads
- 體積:
1.9 - 3.5 GB
(部分)、1.68 TB
(完整)
教育
IB課程
- 文件下載地址:http://ibstrnghz37rkjis2tzzdqyxbytoxz4saqziswhe4dq5cjwb3666ceid.onion/files/ (
ibdocs_may23.torrent
是所有文件) - 官網:https://ibdocs.org/;社區:https://old.reddit.com/r/pirateIB/
- 體積:
168.46 GiB
novelaileak
- 磁力:
5bde442da86265b670a3e5ea3163afad2c6f8ecc
- 來源4chan,具體線程不定
- 體積:
52.06 GiB
Theoccult.click Content Leaked
- https://concen.org/torrents?title_op=contains&title=Theoccult.click+Content+Leaked&title_1_op=not&title_1=&seeds=All
- Theoccult.click是一個神秘學主題的PT站
粉絲向
呆伯特漫畫檔案【⚫】
海綿寶寶
戰錘宇宙
- https://old.reddit.com/r/DataHoarder/comments/zuo1gz/warhammer_universe_collection_updated_december/
寶可夢
/sug/(Steven Universe)
coomer 迷因
- http://coomer.org/
- mega雲盤
其他
信息圖表集合
osu!譜麵包【⚫】
Thingiverse 鏡像【⚪】
opensubtitles.org 字幕轉儲【⚫】
- https://old.reddit.com/r/DataHoarder/comments/12yxcoy/opensubtitlesorg_dump_1_million_subtitles_23_gb/
- 體積:
6.65 GiB
What.CD 鏡像【⚫】
- https://old.reddit.com/r/trackers/comments/11b7s2a/is_whatcd_archival_material_out_there/
- 非用戶數據(種子、標籤、簡介、合輯集等)的數據、
PlayStation 1 手冊掃描
舊時代電台
近 200 萬張公共領域圖像的集中化
Common Crawl
- https://commoncrawl.org/
- 網絡爬蟲數據開放存儲庫,做的就是搜尋引擎的活,掃描並存檔頁面的原始碼等信息,作為數據集被訓練模型或研究分析上有大用,但對於數據收藏癖而言沒太大用途,因為對爬取的站點沒有審查,而網際網路上的隨機頁面大都是垃圾信息。
GeoCities 鏡像/存檔
- Archive Team:https://wiki.archiveteam.org/index.php/GeoCities
- restorativland:https://restorativland.org/
- OoCities.org:https://www.oocities.org/
- GeoCities是提供免費博客服務的站點,類似於neocities.org。
博客/文章
- 數據囤積的基礎知識、一些資源的推薦(mega為主,部分死鏈):Data Hoarding in the Modern Age: A Guide
秘境
貓湯
※ 貓湯算是大冷門作品中的熱門作品,但也沒有到資源繁多的地步,來來回回就那麼些資源和彙編資源的人,dailynekojiru的about頁面列舉了一些資源、信息站點,除了一些特殊的(例如nyansitory提供了高質量掃圖)不再重複收錄。
資訊站點:
- Nekojiru英譯作品及相關信息匯總:https://dailynekojiru.com/(Discord群)
- 英文 Nekojiru 資源和翻譯集:https://read-nekojiru.neocities.org/
資源:
- OVA:
- 【DVD】.iso:待上傳
- 【DVDRip】
cat_soup[h264.ac3][niizk].mkv (508.3 MiB)
:archive.org、nyaa - 【WEB-DL】
[Amicus] Cat Soup [U-NEXT WEB-DL 1080p AVC].mkv (2.1 GiB)
:nyaa
- 漫畫:
- 【在線】Nekojiru的漫畫(翻譯):https://mangadex.org/author/32780b0a-45a5-490b-9cfd-c84e67012a0f/nekojiru
- 【檔案】Nekojiru的漫畫作品掃描(原始):https://nyansitory.neocities.org/nekojirucollection (Discord群)
出版作品:
- 所有出版作品列表:http://www.din.or.jp/~kaji/
- 僅Nekojiru(橋口千代美參與了的)作品列表:http://nekojiru.space/info.html
- 《ねこぢる大全》分為上下兩篇,是ねこぢる(橋口千代美)去世10周年發行的所有作品集(按發行時間排序),包含了:ねこぢる大全
參考信息:
- https://ja.wikipedia.org/wiki/ねこぢる
- https://translatingnekojiru.tumblr.com/ (翻譯使用的原始文件:mediafire;18年分享了個mega連結,說是其擁有的相關文件,連結有效但內容為空(推測是使用空間超限被mega刪了))
- https://enjoynekojiru.tumblr.com/
- http://nekojiru.fc2web.com/
資源匯總:
- 待創建
後末日生存
舊OICSp項目備份
- 雖然廢棄了,但主要內容都在這裡:舊OICSp項目備份:OICSp-後末日生存
維基百科 可視化閱讀版本
後記
Q:本項目與OSINT項目中的站點有什麼區別?
A:OSINT項目正在提純,目的是將所有項目類、文章類資源分離出去:如libgen、zlib側重點始終是站點本身,則歸屬OSINT項目,而Anna's Blog的側重點(至少在收錄時如此)是通過bt分發的鏡像的圖書集,總而言之,可以一次性獲得數據集,且此用途遠勝於其他用途的,歸屬於本項目(信息彙編章除外,此是對應話題的數據集,不受此限制)。