【福利，死程向】pixiv按人气排序：pixivAnalyzer测试版发布

charlygaol

本帖最后由 charlygaol 于 2010-4-21 14:21 编辑

pixiv一直没有按人气排序的功能，虽然初衷是为了公平，但一旦对某个角色突然大爱泛滥，一页页去翻是很浪费人参的事情。于是这两天闲的蛋疼，写了个JAVA爬虫，实现对pixiv的指定tag图片按人气排序的功能。最近主要工作是debug。第一次用JAVA写这种应用，错误难免。为了降低服务器负载，暂时不打算提供图片下载功能。


程序界面。TOP N是指最后输出多少个结果。全部都输出的话不用设。
连接pixiv速度过慢的童鞋，请勿尝试图片过多的TAG，请勿故意输入错误值测试俺程序的强健性…… 毕竟这只是个3天写出来的东西
欢迎反馈bug和改进建议。

下个版本将以html格式输出结果，并加入缩略图预览功能，敬请期待。感谢各位的bug回报和建议。

2010/4/21 14;20 发布ver 0.13 fix1     
修复0.13已知BUG：不能分析图片数超过26000的tag

基于JAVA，考虑到很多人没有运行库，所以打包了整个JRE
下载地址： http://u.115.com/file/f41ff2cc47
本程序开源。
源代码下载地址：http://u.115.com/file/f4c81f45f0

今天最后做了个压力测试：在网络高峰时段尝试分析“初音ミク”这个高人气tag。总计5380页，107540张。重点测试稳定性和错误恢复能力。分析时间近2小时。不得不说JAVA真是好使……要是做GUI再方便一点，巨硬好去死了。

以下福利。miku的人气果然可怕，第100位都有2254收藏数

附：pixiv 初音ミク 收藏数TOP100


クオミクメイキング
member_illust.php?mode=medium&illust_id=9139457
15739
『おはようございます』
member_illust.php?mode=medium&illust_id=9001123
15076
みくちゃん
member_illust.php?mode=medium&illust_id=8771197
14934
VOCALOIDS　RQ
member_illust.php?mode=medium&illust_id=7674976
12019
初音家の食卓
member_illust.php?mode=medium&illust_id=8621079
11793
初心者の為のお絵かき講座(全身編)
member_illust.php?mode=medium&illust_id=1964641
11600
歌で世界が救える訳ないでしょ？
member_illust.php?mode=medium&illust_id=9316819
10907
EAGER LOVE REVENGE
member_illust.php?mode=medium&illust_id=5435817
10004
桜ミク
member_illust.php?mode=medium&illust_id=9871091
9549
S?O?S
member_illust.php?mode=medium&illust_id=5826920
8112
VOCALOGENESIS
member_illust.php?mode=medium&illust_id=9250932
7878
拘束
member_illust.php?mode=medium&illust_id=6769668
7800
水鏡
member_illust.php?mode=medium&illust_id=6081163
7626
「かかってこいや、ごるぁ！」
member_illust.php?mode=medium&illust_id=9777849
7575
ロミオとシンデレラ
member_illust.php?mode=medium&illust_id=9171915
6255
ワールドイズマイン
member_illust.php?mode=medium&illust_id=898570
6250
supercell
member_illust.php?mode=medium&illust_id=3319422
6045
3?9
member_illust.php?mode=medium&illust_id=9248638
6036
初音ミク？
member_illust.php?mode=medium&illust_id=9638800
5965
parallel?unbalance
member_illust.php?mode=medium&illust_id=4228124
5828
春。
member_illust.php?mode=medium&illust_id=9622364
5672
ルカミク
member_illust.php?mode=medium&illust_id=9821432
5422
お互いすてきなマスターにもらわれると良いわね。
member_illust.php?mode=medium&illust_id=2502732
5182
ボカロ全員で『恋は戦争』
member_illust.php?mode=medium&illust_id=5840775
5144
洗濯機的な、
member_illust.php?mode=medium&illust_id=9679993
5030
スイートトランス
member_illust.php?mode=medium&illust_id=5826733
4971
転がる先には何がある？
member_illust.php?mode=medium&illust_id=9370141
4807
みく
member_illust.php?mode=medium&illust_id=8822502
4712
さよなら
member_illust.php?mode=medium&illust_id=374870
4595
わたしを誰だと思ってるの
member_illust.php?mode=medium&illust_id=1652297
4535
?～
member_illust.php?mode=medium&illust_id=9926920
4371
polkadot
member_illust.php?mode=medium&illust_id=5538436
4275
みずのなか
member_illust.php?mode=medium&illust_id=1514561
4203
異国の歌姫
member_illust.php?mode=medium&illust_id=9501451
4199
異国の歌姫
member_illust.php?mode=medium&illust_id=9501451
4199
Re:MIKUS
member_illust.php?mode=medium&illust_id=3377695
4139
恥ずかしながら初音ミク描いた
member_illust.php?mode=medium&illust_id=1457391
4091
遅寝ミク
member_illust.php?mode=medium&illust_id=3507224
3979
ネギじゃなかった。
member_illust.php?mode=medium&illust_id=1976646
3938
ミク。
member_illust.php?mode=medium&illust_id=5874886
3812
花と歌姫
member_illust.php?mode=medium&illust_id=5976706
3781
ペテン師が笑う頃に
member_illust.php?mode=medium&illust_id=9803754
3770
三姉妹
member_illust.php?mode=medium&illust_id=3142025
3638
死にたがり　死んでもいーよ
member_illust.php?mode=medium&illust_id=9895889
3566
landmark
member_illust.php?mode=medium&illust_id=4279463
3473
ボカロスタ
member_illust.php?mode=medium&illust_id=4250249
3361
Imitation
member_illust.php?mode=medium&illust_id=8129371
3338
チューリップのかわいい王女様のおっしゃること
member_illust.php?mode=medium&illust_id=2807134
3261
クオミクレンリン
member_illust.php?mode=medium&illust_id=9219623
3251
PARASOL
member_illust.php?mode=medium&illust_id=7804543
3210
ねぎねぎ
member_illust.php?mode=medium&illust_id=8862295
3169
もう一回、もう一回。
member_illust.php?mode=medium&illust_id=9386178
3164
みくみく
member_illust.php?mode=medium&illust_id=5054364
3154
ティッシュ
member_illust.php?mode=medium&illust_id=7239404
3131
メンテ中
member_illust.php?mode=medium&illust_id=6523874
3059
コイセン
member_illust.php?mode=medium&illust_id=9220705
2884
ミクとレン
member_illust.php?mode=medium&illust_id=8183372
2874
仲介
member_illust.php?mode=medium&illust_id=9728749
2842
VocaRock
member_illust.php?mode=medium&illust_id=2012833
2838
初恋終時
member_illust.php?mode=medium&illust_id=2583887
2828
白中
member_illust.php?mode=medium&illust_id=9072619
2787
OTO
member_illust.php?mode=medium&illust_id=4306353
2765
?
member_illust.php?mode=medium&illust_id=6007260
2753
深炒り 黒VOCALOID
member_illust.php?mode=medium&illust_id=1027208
2747
初音ミク 他２名
member_illust.php?mode=medium&illust_id=2746794
2739
Past of Abyss
member_illust.php?mode=medium&illust_id=8382195
2717
サイハテ
member_illust.php?mode=medium&illust_id=6003938
2708
白ミク
member_illust.php?mode=medium&illust_id=1088468
2678
3-9
member_illust.php?mode=medium&illust_id=9292617
2657
ネギと三つ編みと４の字固めと洗濯物と
member_illust.php?mode=medium&illust_id=7763835
2644
恋は戦争のミクさん
member_illust.php?mode=medium&illust_id=2265422
2630
白い風の贈り物
member_illust.php?mode=medium&illust_id=9220323
2622
Ｍ’ｓモノクローム
member_illust.php?mode=medium&illust_id=1684275
2584
私もプリキュアに入れてください！
member_illust.php?mode=medium&illust_id=9862158
2570
SAIだけでグロー効果？（追記）
member_illust.php?mode=medium&illust_id=7323416
2545
はなむけのうた
member_illust.php?mode=medium&illust_id=6951369
2502
嘘をつきすぎたシンデレラ
member_illust.php?mode=medium&illust_id=4793680
2482
初音ミク、40メートル。
member_illust.php?mode=medium&illust_id=4075926
2479
F_M_B_M
member_illust.php?mode=medium&illust_id=986462
2443
cubic mic
member_illust.php?mode=medium&illust_id=4320879
2428
【ボカロ】 あいたかったのキミに
member_illust.php?mode=medium&illust_id=9321868
2422
starduster
member_illust.php?mode=medium&illust_id=6774898
2403
スイカバー食べたい。
member_illust.php?mode=medium&illust_id=4939618
2398
ハートの気持ち
member_illust.php?mode=medium&illust_id=5935104
2396
ERROR!!
member_illust.php?mode=medium&illust_id=3685269
2379
カンタレラ
member_illust.php?mode=medium&illust_id=978458
2376
ミク　「手ごわいシミュレーション」
member_illust.php?mode=medium&illust_id=55418
2366
天使ちゃんと悪魔ちゃん
member_illust.php?mode=medium&illust_id=7565462
2365
わたしの世界
member_illust.php?mode=medium&illust_id=7012260
2365
Princess In Cage
member_illust.php?mode=medium&illust_id=8986165
2363
涼しいミクうた
member_illust.php?mode=medium&illust_id=4668898
2344
『Ｗｈｉｔｅ　Ｖｏｃａｌｏｉｄ』
member_illust.php?mode=medium&illust_id=6044477
2340
水槽
member_illust.php?mode=medium&illust_id=3227900
2332
ミク
member_illust.php?mode=medium&illust_id=4157014
2324
宣告。
member_illust.php?mode=medium&illust_id=679672
2317
みくーん
member_illust.php?mode=medium&illust_id=6931496
2290
はなゆりかご
member_illust.php?mode=medium&illust_id=9318541
2281
magnet
member_illust.php?mode=medium&illust_id=8528238
2267
Err*r*
member_illust.php?mode=medium&illust_id=8947721
2264
雪ミク
member_illust.php?mode=medium&illust_id=9754262
2254

Hanice

技术宅拯救世界！

越水

我第一件事就是去搜亲爱的MIKU

bibleman

pixiv按人气排序+1
虽然浪费人生翻页然后找到好图好作者很浪漫
但是还是快餐来得简单粗暴啊

就像之前坚持不RSS而是去blog看更新 现在也体验到RSS的强大然后就慢慢习惯了

九十九尾

LIN+

http://pixivrank.net/

其实呢...

Gewehr43

MARK过几天再看

flywupeng

这个可以有

homesickness

7楼的不错

KyoUK

bookmark数虽然已是最客观的指标了，但还是受作者知名度的影响很大。靠这个会错过很多好图

大众向的角色直接收藏热门作者就好，小众一点的最好还是爬页

LIN+

其实评分才是受名气影响最大的项目。

别人我不清楚，我自己是只会看到非常喜欢的图才bookmark的，作者有名气没名气的区别，顶多是我看到的机率高点，没爱的顺手给个分就过去了。

KyoUK

确实就是曝光率的问题。毕竟很多人都只看关注作者啊

voyager1969

马克谢福利

waster112

可以的话球开源～

九尾妖壶

这个可以MARK

终结之心

mark

barret

mark一下

barret

本帖最后由 barret 于 2010-4-20 15:36 编辑

楼主所说按照人气顺序排序指的是不是按照这个图被多少人收藏的多少来排序？
也就是bookmark下面的XXXXuser的数量来进行排序？

现在的tag搜索出来的结果都是根据时间顺序来排序的
楼主写的功能也就相当于把这些画按照收藏量从高往低排是吗

LIN+

其实pixiv之前对普通用户也开放了的那个建议功能非常好用，你mark一页大部分都是V家的图在bookmark页里，往下拉就自动给你刷出类似的图，mark的图质量高，出来的图质量一般也都很高。

barret

其实pixiv之前对普通用户也开放了的那个建议功能非常好用，你mark一页大部分都是V家的图在bookmark页里，往下拉就自动给你刷出类似的图，mark的图质量高，出来的图质量一般也都很高。 ...
LIN+ 发表于 2010-4-20 15:33

这个功能确实非常好用，它会根据你所收藏的tag的某一个，推荐给你一些图，而且这些图一般质量都比较高

oh_nogo

http://pixivrank.net/

其实呢...
LIN+ 发表于 2010-4-20 02:23

不能自己输入标签查找吗？

LIN+

不能自己输入标签查找吗？
oh_nogo 发表于 2010-4-20 15:47

不能，可以用Ctrl F找已有的

这种网站都是读出所有特定tag的图再排序，要耗费很长时间占用很多资源的，目前还不能做到即时搜索。
这个就是两个月更新一次。

射命丸文文

LZ和7L都是好人，我原来还打算用一个月时间把几千页MIKU标签都翻完呢……

能猫

前排mark，LZ是好人

hzqiji

求已经翻完miku标签的好人打包共享……

barret

我想问一下，pixiv的那个每日每周每月的排序是怎么算出来的？

leagueguard

好人啊！大大的，我已经被那种翻图郁闷死了

射命丸文文

求已经翻完miku标签的好人打包共享……
hzqiji 发表于 2010-4-20 17:03

给我一周时间。。。

isowowsl

MARK

等那啥。。。

ishtar

Mark
曾经很蛋痛地翻过数千页东方= =

大圣欢喜天

其实可以组团翻页

25876994

MARK 谢谢福利

ahkrhe

感谢，正好最近有点懒的去翻图了

onsaber

正好想问下怎么按照人气搜初音呢.谢福利啊

suija

mark 鸡叔宅针灸世界~

另7F LIN大感谢~

njjwl2005

福利帖mark

conroe6050

7楼大好啊