■スレッドリストへ戻る■ 全部 1- 101- 201- 301- 401- 501- 601- 701- 801- 901- 1001- 最新50

【2ちゃんねるビューア】 巡回機能の巻。Part2

601 :名無しさん@お腹いっぱい。 :02/03/23 22:00 ID:???
>かちゅで唯一問題視されているのは 巡回時に
>新着があろうと無かろうとdatにアクセスに行く
>という点。

0.99.0.93以降、If-Modified-Sinceが付くようになったことで
更新がなければ1バイトもDAT転送しなくなったのだよ。

それ以前は新着があろうとなかろうと、強制的に最後の1バイトを
転送させてた。これが「かちゅの巡回」問題の最初の一つであって既に対策済み。

現在のかちゅの問題は、ユーザが多いこと。つまり普通の使い方してるだけで
負荷になるということ。これもkage作者氏が強制インターバルやクラックパッチ
対策などを施して0.99.0.99で対策完了済み。

602 :名無しさん@お腹いっぱい。 :02/03/23 22:02 ID:???
>>601
いや、だから…古いかげ使ってる人もいる訳で。
だから今回のバージョンアップ以下は蹴るようにして統計を取りたいのでは…
全ての人が毎回必ずバージョンアップしているわけでもないので…

603 :名無しさん@お腹いっぱい。 :02/03/23 22:03 ID:???
巡回をどう弄っても
A Bone風の更新チェックの方が負荷少ないんと違うの?
単位時間あたりの。

604 :名無しさん@お腹いっぱい。 :02/03/23 22:03 ID:???
>>601
subject.txtを先に取得して云々 という方式がkageに採用されれば
そもそもdatにアクセスに行かなくできるから。

今はIf-Modified-Sinceをつけてアクセスに行ってるけど
それすらもしなくて済むようにできる。

605 :名無しさん@お腹いっぱい。 :02/03/23 22:03 ID:???
>>601
あら、そうなんですか。頻繁にバージョンアップしてるユーザーなんか
少数派だろうから旧バージョンを弾くようにして新バージョンへの移行を
うながせばだいぶ改善する可能性があるってことですかね?

606 :名無しさん@お腹いっぱい。 :02/03/23 22:06 ID:???
>>601 datにアクセスしに行くこと自体が問題じゃないのか?という話だね。

607 :名無しさん@お腹いっぱい。 :02/03/23 22:06 ID:???
subject.txt形式は巡回板が多くて
かつ、一つの板あたりのお気に入りがごく少数な場合は逆に負荷になる。

608 :名無しさん@お腹いっぱい。 :02/03/23 22:07 ID:???
>>606 は、>>604の間違い。

609 :名無しさん@お腹いっぱい。 :02/03/23 22:08 ID:???
かちゅに更新チェックはないが、そのチェックにsubject.txtを
使った場合、かならずファイルのオープンとデータ転送が
あるんだから、更新があったものを必ず読む、とすると
subject.txtを使ったものの方が鯖には厳しくないのかな?

610 :名無しさん@お腹いっぱい。 :02/03/23 22:09 ID:???
2度手間

611 :名無しさん@お腹いっぱい。 :02/03/23 22:09 ID:???
>>607 空振りでなくて、datを一々取得して来ても?

612 :名無しさん@お腹いっぱい。 :02/03/23 22:09 ID:???
>>607
それでも、ほとんどの場合は
ひとつの板に2つ以上巡回対象が入っていることのほうが多い。はず。

だから、そういうレアケースには目を瞑ってもいい。

613 :名無しさん@お腹いっぱい。 :02/03/23 22:10 ID:???
前スレの
>>868.夜勤 ◆D69Zsbfg
subject.txt は、直接引っ張ってくださいね、(cgi 通さずに)
更新チェックは、A Bone がやっているように subject.txt で行ってくださいね
スレッドも できれば dat を直接持っていってくださいね
(read.cgi 通さずに、転送量との兼ね合いもありますけど)



とりあえず夜勤さんはsubject式をお望みと。

614 :名無しさん@お腹いっぱい。 :02/03/23 22:10 ID:???
>>609 トータルの負荷でなくて単位時間当たりが問題なのでは・・・。

615 :名無しさん@お腹いっぱい。 :02/03/23 22:11 ID:???
>>613
つーか、その辺のこと詳しく分かってないっぽいぞ

616 :名無しさん@お腹いっぱい。 :02/03/23 22:12 ID:???
>>610 2度に分けてやればいいコトを、一度にまとめてやるから問題なのかもw

617 :名無しさん@お腹いっぱい。 :02/03/23 22:12 ID:???
subject.txt は想像以上にデカい

618 :名無しさん@お腹いっぱい。 :02/03/23 22:12 ID:???
で、11時頃って夜勤さん言ってたんですがまだこないですねぇ。

619 :名無しさん@お腹いっぱい。 :02/03/23 22:14 ID:???
>呼び出し回数では、ツール使用者が 50% をとうに越しています。
>ユニークな IP では ツール使用者は 18.6% です。

何の呼び出し回数なんだろう。

620 :名無しさん@お腹いっぱい。 :02/03/23 22:14 ID:???
>>613
それはスレッド一覧を取得するときは
read.cgiのrawモードじゃなくてsubject.txt直読みにしてくれという意味だと思うが…

621 :名無しさん@お腹いっぱい。 :02/03/23 22:16 ID:???
>>617
でもそれはそれで効果あるんじゃない?
subject.txtが大きい→スレの数が多い→無駄なアクセスがより減らせる

622 :名無しさん@お腹いっぱい。 :02/03/23 22:16 ID:???
今2chで使ってるのと同じので一度厳密に検証したらいいのに。。
実行機ではテスト無理でしょ?

623 :名無しさん@お腹いっぱい。 :02/03/23 22:17 ID:???
>>622
過去に何度もやってるっしょ。
その辺のアバウトさも売りのひとつ くらいに考えないと。

624 :名無しさん@お腹いっぱい。 :02/03/23 22:20 ID:???
更新チェックだけだったら
板毎のお気に入りの数を集計して、
n個以上だったらその板のsubject.txtを取りに行く
n個以下だったらdatのLast-Modifiedを取得
するのが効率がいいのかな、と

625 :名無しさん@お腹いっぱい。 :02/03/23 22:21 ID:???
>>620
> 更新チェックは、A Bone がやっているように subject.txt で行ってくださいね
スレ一覧でなくて更新チェックの話でないの?
オイラはA Bone使ってないのでそっちはよくわからんのですが。

626 :名無しさん@お腹いっぱい。 :02/03/23 22:22 ID:???
>>625
更新チェックと巡回は違う

627 :名無しさん@お腹いっぱい。 :02/03/23 22:24 ID:???
>>626
とりあえず同列で扱ってても問題ないだろ

628 :名無しさん@お腹いっぱい。 :02/03/23 22:26 ID:???
>>627
問題ある

629 :名無しさん@お腹いっぱい。 :02/03/23 22:26 ID:???
更新チェック → 新着レスがあるか確認すること
巡回 → 複数スレの取得
リロード → 指定スレの再取得

正直、かちゅの巡回も うまいこと 更新チェックに切り替えられたら
それに越したことは無いんだが・・・
こればかりはkageだけでは無理。かちゅの改造がいる。

630 :名無しさん@お腹いっぱい。 :02/03/23 22:26 ID:???
>>624 なるほど。

631 :名無しさん@お腹いっぱい。 :02/03/23 22:26 ID:???
subject.txt 方式が良いといわれているのは、subject.txtを取得して既得スレの
新着状況を確認させた上で、「ユーザが一つ一つ新着スレを開いて」いく場合。
理由は、総転送量は増えるが、短時間での連続リクエストが減るから。


subject.txt 取得→新着のあるスレを自動巡回 と機械的に連続させてしまっては
総転送量も増えるし、短時間での連続リクエストも無くならないよ。

632 :名無しさん@お腹いっぱい。 :02/03/23 22:27 ID:???
更新チェックした後は、まずそのスレを読んでるわけだから・・・

633 :名無しさん@お腹いっぱい。 :02/03/23 22:28 ID:???
>>631 まだ、そういう凶悪な機能は現実化してないでしょ。

 委員長の頭の中だけ。もうテストはしてるかもしらんけど。

634 :名無しさん@お腹いっぱい。 :02/03/23 22:30 ID:???
かちゅ〜しゃには お気に入りの更新チェックは無く 巡回する。
で、今のkageの対処は 巡回 の速度を落とすという処理。
今後、巡回処理を 更新チェック(+巡回) とすることで負荷が落とせる。

Aboneには巡回機能はなく更新チェックがある。
とりあえず巡回は実装しないつもりらしい。

635 :名無しさん@お腹いっぱい。 :02/03/23 22:30 ID:???
>>617 30KB 前後ですね。

>>621 1つの板のスレッドが 1つの subject.txt に載っているので、
多くの板にまたがって更新チェックしている人が多ければアクセスは減らないはず。

ところで、今は sage で書いても subject.txt は正確に更新されるんですか?

636 :名無しさん@お腹いっぱい。 :02/03/23 22:30 ID:???
>>632 短時間で連続してリクエストされるのが、今困ってるんでしょ。

637 :名無しさん@お腹いっぱい。 :02/03/23 22:32 ID:sGQQna+N
>>624 いいところどりですね。

638 :名無しさん@お腹いっぱい。 :02/03/23 22:34 ID:???
>>617
圧縮は効くはずだけどそれはそれで負荷が掛かるな

639 :名無しさん@お腹いっぱい。 :02/03/23 22:37 ID:???
>>624
>n個以上だったらその板のsubject.txtを取りに行く
>n個以下だったらdatのLast-Modifiedを取得
はたしてnの値は?30くらい?

640 :委員長 ◆ABoneCRY :02/03/23 22:38 ID:???
>607
それは言えてます。
A Boneを作る際に、かちゅ〜しゃの巡回機能や、ホットゾヌの更新チェックの
仕様を参考にして、「空振り覚悟の巡回」を排除すること、「新着レス数が分かる」
事を条件にして作った方式なんですが、そういう落とし穴も想定出来ます。
ただ、データ的には不足かもしれませんが、テスターさんから頂いたお気に入り
リストや、既得スレッドリストを拝見する限りでは、まず落とし穴にはまらないなと
感じました。

>617
想像以上にという表現が相応しいかどうか分かりませんが、小さいとは
言えないかもしれません。
ただ、subject.txtも圧縮データとして取得出来る事も付け加えておきます。

>624
効率面から考えると確かに良い提案だと思います。
ただ、これは私の個人的な感覚ですが、その二つは、方式ではなく
機能の違いになってしまうと思うのです。
つまり、subject.txt取得=新着レス数が分かる
datのLast-Modifiedを取得 =新着レスがある事だけが分かる。
状況によって切り替えてしまうと、ユーザーさんにとっては、
違和感を感じると思います。
だから、負荷がかかっても良いという理屈を言うわけではないですが。

641 :624 :02/03/23 22:38 ID:???
>639
5とか

642 :名無しさん@お腹いっぱい。 :02/03/23 22:38 ID:???
>638
読み出す度に圧縮してるわけじゃない。


643 :名無しさん@お腹いっぱい。 :02/03/23 22:39 ID:???
現状「巡回」に近い機能は以下の3つ


1) If-Modified-Since/Range 付き GET (kage 0.99.0.93以降の巡回など)

DATに対して更新があるかどうかリクエストを投げる。更新がなければデータ転送はなし。
更新があれば差分を転送してもらう(ただしgzip圧縮はかからない)


2) If-Modified-Since 付き HEAD (ホットゾヌ方式)

DATに対して更新があるかどうかリクエストを投げる。
レスポンスにより更新があったかどうかが確認できる。DATデータ転送は発生しない。


3) subject.txt 取得によるローカルレス数との比較方式 (A Bone方式)

板ごとに最新の subject.txt を取得し、subject.txt中に含まれる鯖上に存在する
レス数と、ローカルに取得してあるレス数を比較し、新着があるかどうか確認する。
subject.txt あたり数10KB程度のデータ転送が発生する。

644 :名無しさん@お腹いっぱい。 :02/03/23 22:40 ID:???
>>639
20くらいじゃない?
うちの場合お気に入りに8こ入ってて重複は2板。
板の数では6板。

645 :名無しさん@お腹いっぱい。 :02/03/23 22:41 ID:???
>>643
アクセス頻度に関して言えば1) と2) はほとんど変わらないと思われ
それからオフラインで新着が読めるのは「巡回」そうでないものは
「更新チェック」と使い分けるべきかと。

646 :名無しさん@お腹いっぱい。 :02/03/23 22:42 ID:???
>>642
mod_gzip が効いてるから、読み出す度に圧縮されてるよ>subject.txt

647 :名無しさん@お腹いっぱい。 :02/03/23 22:43 ID:???
>>643
1)と2)はレス数分だけアクセスが発生するね。
3)は板数分だけアクセスが発生する。

ま、冷静に考えて3)だな。

648 :名無しさん@お腹いっぱい。 :02/03/23 22:43 ID:???
レス数じゃないやスレ数だった

649 :名無しさん@お腹いっぱい。 :02/03/23 22:44 ID:???
>>645
そうだね。実際「巡回」と言えるのは 1) で、2) と 3) は「新着チェック」だね。
ただ、このスレ読んでると「新着チェック」にこの2通りがあることを意識してない
発言が多くて気になったもんで。

650 :名無しさん@お腹いっぱい。 :02/03/23 22:45 ID:???
subject.txtはたえずキャッシュ効いてないような状態?
板によって当然違うとは思うけど

651 :名無しさん@お腹いっぱい。 :02/03/23 22:47 ID:???
キャッシュする意味がないような。

652 :名無しさん@お腹いっぱい。 :02/03/23 22:48 ID:???
>>647
2) 3) の後には空振りする数は減るものの 1) 相当のことは行われるんだよね。
そういう意味で、2)のHEAD式はやっぱり無駄が一番多くなってしまうんだよなー

ゾヌ2に期待

653 :委員長 ◆ABoneCRY :02/03/23 22:48 ID:???
>633
テストどころか、コードも全然書いてません。(^-^;

>634
いや、実は巡回機能を実装したいと思ってはいます。
気持ち的には、巡回機能ではなく、オフライン読み支援機能ですが、
それは言葉のお遊びかもしれませんね。

>635
> >>617 30KB 前後ですね。
それは解凍後のサイズなので、転送量的には半分程度ではないかと。

> ところで、今は sage で書いても subject.txt は正確に更新されるんですか?
大丈夫です、よっぽどの事故がない限り更新されてます。

>638
負荷はあるでしょうね。

654 :名無しさん@お腹いっぱい。 :02/03/23 22:51 ID:???
削除依頼板にスクリプト荒らし?が出てるね。

655 :名無しさん@お腹いっぱい。 :02/03/23 22:51 ID:???
>>646
実際にはsubject.txt.gzを返してるだけでその場で圧縮はしていない

656 :名無しさん@お腹いっぱい。 :02/03/23 22:54 ID:???
http://kaba.2ch.net/test/read.cgi/accuse/1016873830/49
連続ツール負荷荒らしについて。

49 :トオル :02/03/23 22:08 ID:B2h8T5o7
攻撃されています。通常の180倍近い負荷です(汗)
kabaのクッキーを少し変更しました。
ーーーーーーーーーーーーーーーーー
スレ違いだが、現況報告。

657 :名無しさん@お腹いっぱい。 :02/03/23 22:54 ID:???
新着チェックのあとにdatを読みに行くことになるわけだけど、
巡回しちゃうと短時間に集中してしまうから
現(●なし)kageはウェイトを置いたわけだけど
これが鯖(及び回線)に対してはベターな選択でしょうか?


658 :名無しさん@お腹いっぱい。 :02/03/23 22:57 ID:???
>>657
Keep-Alive との兼ね合いもあるので一概には言えないのだけど、
おそらく今のところ最善かと。まあ今夜以降の実験で明らかになっていくか。

659 :名無しさん@お腹いっぱい。 :02/03/23 22:59 ID:???
kage の場合、その時点での巡回順序が読めないから無理だけど
他のまだ作者の生きている2chビューワの場合なら
同一サーバへのアクセスを回避するように
巡回リストを工夫すれば、ユーザからの見た目上(ここ重要)では
ノーウェイトな巡回が実現できると思う。

660 :名無しさん@お腹いっぱい。 :02/03/23 22:59 ID:???
>>658
Keep-Aliveでアイドルなコネクションを放置しておくのは
むしろ最悪だと思われ

661 :名無しさん@お腹いっぱい。 :02/03/23 22:59 ID:???
>>655
>実際にはsubject.txt.gzを返してるだけでその場で圧縮はしていない

あっ、そうなんだ。これは初耳。
無駄なことやってるよなーと今まで思ってたけど、さすがにそれは無かったのか

662 :名無しさん@お腹いっぱい。 :02/03/23 23:01 ID:???
>>660
ちょっと心配になったけど、kageの巡回インターバルってクローズ指定
入ってるよね... ちょっとソース見てこよう

663 :名無しさん@お腹いっぱい。 :02/03/23 23:02 ID:???
>まだ作者の生きている

ワロタ

664 :名無しさん@お腹いっぱい。 :02/03/23 23:05 ID:???
>>662
入ってるよ。ソースにはないけどかちゅが入れてる。
もっともHTTP/1.0だから明示的にクローズ入れる必要はない。

665 :名無しさん@お腹いっぱい。 :02/03/23 23:05 ID:???
kage 0.99.1.0 リリースされたみたい
ってガイシュツ?


666 :名無しさん@お腹いっぱい。 :02/03/23 23:07 ID:???
>>664
あ、なるほど了解です。フー

667 :名無しさん@お腹いっぱい。 :02/03/23 23:21 ID:???
http://qb.2ch.net/test/read.cgi/jikken/1016889080/

668 :名無しさん@お腹いっぱい。 :02/03/23 23:24 ID:???
なんかのテストやるっていってたけど、
それどころじゃないようだね

669 :夜勤 ★ :02/03/23 23:35 ID:???
ちょっと おくれたんだな、
これから choco で新しい read.cgi を作りますー

UpTime(choco) = 6:34am up 6 days, 22:59, 0 users, load average: 1.54, 1.65, 1.39
UpTime(vip) = 6:36am up 22 days, 8:42, 0 users, load average: 5.69, 4.85, 4.72

ん? 今日はすかすかなの?

670 : ◆JOKESIZE @JOKESIZE ★ :02/03/23 23:36 ID:???
>>669夜勤さん
アナウンスする必要有りですか?

671 :名無しさん@お腹いっぱい。 :02/03/23 23:38 ID:???
>>669
こ、こんなもんなん??

672 :Dream ★ :02/03/23 23:38 ID:???
>>669
こんばんわ。
今夜はkabaかも知れないです。

673 : ◆Mz2000PY :02/03/23 23:39 ID:???
きょうは祭りらしい祭りもなさそうだしね。
ex と kaba のほうがピンチ〜

674 :名無しさん@お腹いっぱい。 :02/03/23 23:43 ID:???
◆ kage 0.99.1.1 リリースされてます。

2ちゃん専用ブラウザ「かちゅ〜しゃ」Part55
 http://pc.2ch.net/test/read.cgi/win/1016813158/l50

562 名前:0.99.1.1 ◆DLL/lGHE sage 投稿日:02/03/23 23:29
・kage.dllをupxで圧縮(いたちごっこだけど)
http://kage.monazilla.org/

675 :夜勤 ★ :02/03/23 23:46 ID:???
なんか また kaba が 攻撃されているようで、
ちょっと トオルさんとお話中。

676 :  :02/03/23 23:48 ID:???
夜勤も参加しる!
http://qb.2ch.net/test/read.cgi/jikken/1016889080/l50

677 :名無しさん@お腹いっぱい。 :02/03/23 23:50 ID:???
>394
> たとえば、A Boneの場合、板を開くと同時に既得スレの新着レスの有無をチェックして
> くれますが、
> 私の場合、この機能のおかげでお気に入りに入れるスレの数が
> かちゅ時代;300超→現在;30以下に激減しました。

>394がいいこと言ったと思うんだけど、誰も反応してませんな。

678 :名無しさん@お腹いっぱい。 :02/03/23 23:50 ID:???
kage.exe version 0.99.1.2 になってたーよ。

679 :名無しさん@お腹いっぱい。 :02/03/23 23:51 ID:???
>394
> たとえば、A Boneの場合、板を開くと同時に既得スレの新着レスの有無をチェックして
> くれますが、
> 私の場合、この機能のおかげでお気に入りに入れるスレの数が
> かちゅ時代;300超→現在;30以下に激減しました。

>394がいいこと言ったと思うんだけど、誰も反応してませんな。


680 :名無しさん@お腹いっぱい。 :02/03/23 23:57 ID:???
>>676
練乳イチゴ?(´Д`;)ハァハァ

681 :名無しさん@お腹いっぱい。 :02/03/23 23:58 ID:???
>>667
>>613 から >>661 まで、ABone作者を交えてみっちりやってるジャン。

682 :名無しさん@お腹いっぱい。 :02/03/23 23:58 ID:???
>>679
かちゅでもそれににたことはできるしねぇ。

板を開く→お気に入りでソートする→レス数と既得数を見比べる
レス数>既得数 なら新着あり と判断可能。

683 :681 :02/03/23 23:59 ID:???
誤爆
>>667>>677

684 : ◆JOKESIZE @JOKESIZE ★ :02/03/24 00:06 ID:???
どうやら、夜勤さんはkaba鯖の対応で今日は実験延期になりそうだ。
すかすからしいし。。。

685 :名無しさん@お腹いっぱい。 :02/03/24 00:08 ID:???
>>679
俺もずっとそれやってる。
特定の板で大量のお気に入りがあるなら、巡回より快適だし。
でもダイヤルアップユーザーには厳しいんだろうな。

686 :名無しさん@お腹いっぱい。 :02/03/24 00:09 ID:???
>>685
>>679じゃなくて>>682だった。

687 :夜勤 ★ :02/03/24 00:17 ID:???
kaba 被弾の方は、マァブさんにふっちゃった。
で、choco の read.cgi 徐々に変えてます。

688 :名無しさん@お腹いっぱい。 :02/03/24 00:20 ID:???
乙です。夜勤殿
で、アナウンスは後回しでよいのでしょーか?

689 :名無しさん@お腹いっぱい。 :02/03/24 00:20 ID:???
A Boneでchocoの新規レスの取得ができまへん。

ぜんぶ「ここ壊れてます」。

690 :名無しさん@お腹いっぱい。 :02/03/24 00:21 ID:???
A Boneはrawモードを使ってるからですね

691 :名無しさん@お腹いっぱい。 :02/03/24 00:22 ID:???
>>682 一々数字と数字を見比べないといけないのが煩雑極まりなし。
    やっぱり新着アイコン付けてくれw

692 :夜勤 ★ :02/03/24 00:23 ID:???
ん?
kage さんは バージョンいくつが最新なんだ?

0.99.0.96 ?

正しい UserAgent わかる人いたら 教えて欲しいです。

693 :名無しさん@お腹いっぱい。 :02/03/24 00:24 ID:???
0.99.1.2 でしょうか?

694 :名無しさん@お腹いっぱい。 :02/03/24 00:26 ID:???
わたしゃ、1.2使ってますけど何か?

695 :名無しさん@お腹いっぱい。 :02/03/24 00:27 ID:???
>>692
0.96以降が対策済みらしいです

696 :名無しさん@お腹いっぱい。 :02/03/24 00:27 ID:???
せっしゃもたった今1.2にしてきた

697 :夜勤 ★ :02/03/24 00:27 ID:???
bbs.cgi で

if(!($ENV{'HTTP_USER_AGENT'} =~ /kage/)){return 0;}
if(!($ENV{'HTTP_USER_AGENT'} =~ /0.99.1.2/)){return 0;}
ERROR!いろいろ作業中。。。

698 :0.99.1.2 ◆DLL/lGHE :02/03/24 00:28 ID:???
>>692
名前欄のとおり、0.99.1.2が現時点の最新です。

699 :名無しさん@お腹いっぱい。 :02/03/24 00:28 ID:???
キタ━━━━━━(゚∀゚)━━━━━━ !!

700 :  :02/03/24 00:30 ID:???
夜勤さんは練乳お好きですか?
http://qb.2ch.net/test/read.cgi/jikken/1016895823/l50

284KB
新着レスの表示

スレッドリストへ戻る 全部 前100 次100 最新50

0ch BBS 2004-10-30