【２ちゃんねるビューア】　巡回機能の巻。Part3

■スレッドリストへ戻る■ 全部 1- 101- 201- 301- 401- 501- 601- 701- 801- 901- 1001- 最新50

1 ：JOKESIZE ★ ：02/03/24 02:37 ID:???: 各専用ツールの巡回・更新チェックによる鯖負荷軽減を目的とした２ｃｈの仕様変更
について議論するスレです。巡回等に関する批判要望だけでなく、解決策の提案も
承っています。

このスレでは主に技術的な話を中心に議論を進めてください。
　　　　　　　　　　　^^^^^^^^^^^^^^^^^^^
各ツールの問題についてはツールのスレでお願いします。

現在の状況：↓
-------------------------------------------------------------
現在choco鯖、vip鯖、love鯖で夜勤氏がスクリプトを変更中（済み）です。
その為かちゅーしゃをお使いの方はkageのバージョンを0.99.1.2に
アップデートして下さい。古いバージョンだと不具合（エラー）がでます。
詳しいことは↓
【２ちゃんねるビューア】　巡回機能の巻。Part1
http://pc.2ch.net/test/read.cgi/software/1016178419/l50
【２ちゃんねるビューア】　巡回機能の巻。Part2
http://pc.2ch.net/test/read.cgi/software/1016799543/l50
-------------------------------------------------------------

関連スレ >>2-3
914 ：名無しさん＠お腹いっぱい。 ：02/03/27 02:47 ID:???: ◆hAnYaNVA さんじゃないけど、インターバルの件でどうしても納得いかない。

「インターバルを設ける理由」から
「巡回を不便にして巡回自体(回数/スレ数)を減らす」目的を除き
純粋に「複数のリクエストを送る必要がある」場合。

Keep-Aliveしたまま接続断を待つ/サーバーを待たせるのは論外とし、
同じサーバーに対してのconnectionは
一つに限定する(タブブラウザなどは複数？)場合、

本当に、
　connect-request-response-close
　-interval-
　connect-request-response-close
　-interval-
　connect-request-response-close
　-interval-
が、
　connect-
　　request-response-request-response-request-response
　-close
よりサーバーに優しいか、結論は出ているのかな？

詳しい条件等は全然知らないので、2chには当てはまらないかもしれないけど
Apache自体はKeep-Aliveの実装によって50%近く負荷が下がったらしい。
game鯖等が軽くなったのは、インターバルを設けた効果ではなく、
単にread.cgiのrawモードを不可にした効果に思えるのだけれど。
915 ：名無しさん＠お腹いっぱい。 ：02/03/27 02:47 ID:???: リクエストの集中が問題というかもしれないが、
仮にKeep-Aliveにしも、サーバーが処理するリクエストは、
各接続に対して同時に１つだけなのだから
接続要求の度にacceptすることを考えれば
Keep-Aliveしたままの方がトータルの負荷は少ないと思う。
そもそも、同時接続数が256では足りないような状態のサーバーに対して
単独のクライアントからのリクエストが連続しない程度で
負荷分散になるとはとても思えない。

それでも、Keep-Aliveにしたら次のリクエストを待つ間の
idleなconnectionが負荷を高める原因だと言うのならば、
リクエストをパイプラインして送ればいい。
　connect-
　　request+request+request - response+response+response
　-close
これならidleなconnectionも発生しないし、無駄なconnect/closeもない。
HEAD等の軽いリクエストを数十件まとめて送り
レスポンスにかかる時間を比較しすれば
サーバーが短時間で処理を完了して解放されるのがわかる。

どこか間違ってる？あるいは何か見落としてる？
916 ：名無しさん＠お腹いっぱい。 ：02/03/27 03:18 ID:???: 話が追いきれてないけど、書いとく。
# 今は話がループしてるっぽいし。

●で認証を行うか、ツールで認証を行うかと聞かれれば、
私は●を進めますが。何故かというと
1.ツール認証はhttp内で行うには抜け道が多いから
2.●で認証は無料ユーザにも発行することができ、
　ココの負荷を把握することができるから。
の二点が理由なんですが。

●の発行で無料用の話って出てないよね？
917 ：Dream ★ ：02/03/27 03:28 ID:???: 【２ちゃんねるビューア】　巡回機能の巻。Part3
http://pc.2ch.net/test/read.cgi/software/1016905060/l50
でいま、２ちゃんの負荷低減とかを話してます。

ところで、２ちゃんねるはいま、htaccessを使ってRewriteCondをつかい、
各ツールなどにdatなどを供給している訳なのですが、
「httpd.conf」に一本化し、htaccessを一切使わないようにすれば、サーバの負荷低減がはかれる、
というお話をなさった方が居られました。
お聞きしたいのは、この方法をに変えると、どのくらい負荷が低減するのか？
といった、見積もり的な試算は可能なのか？ということと、
具体的に、これを裏付けるベンチマーク結果などは、存在するのか？
という２点です。
もし、おわかりの方、この問題に詳しい方が居られましたら、上記スレッドで
お話をいただければと思います。
よろしくお願いします。

マルチポストしてきました。うざくてすんません。
918 ：名無しさん＠お腹いっぱい。 ：02/03/27 03:40 ID:???: スレが立てられない。
だれか2ちゃん専用ブラウザ「かちゅ～しゃ」Part588を立ててくれ。
http://pc.2ch.net/test/read.cgi/win/1017034701/904
919 ：名無しさん＠お腹いっぱい。 ：02/03/27 03:47 ID:???: >>917
>>314
できもしないこと話してどうするんですか?
920 ：Dream ★ ：02/03/27 03:52 ID:???: >>919
はい。
劇的に効果があるんだったら、再度提案してみたいし、もし、
劇的に効果があるなんて言えない内容だったら、もう忘却してしまったらいいかと思っただけです。
921 ：名無しさん＠お腹いっぱい。 ：02/03/27 03:54 ID:???: >>917を夜勤に無理強いする。

負荷軽減を要望するが、変化を望まない夜勤がボトルネック。
922 ：名無しさん＠お腹いっぱい。 ：02/03/27 03:57 ID:???: >>920
今すぐ忘却してしまっていいと思います。
923 ：918 ：02/03/27 03:59 ID:???: Dream ★さんスレ立てありがとうございます。
でもソフトウェア板…
924 ：名無しさん＠お腹いっぱい。 ：02/03/27 03:59 ID:???: やっちゃったようですなぁ・・・
925 ：名無しさん＠お腹いっぱい。 ：02/03/27 04:00 ID:???: シロートの思いつきですが、datにgzipでアクセスする代わりに、
あらかじめbbs.cgiが圧縮データを生成して、それを普通にgetしたら
サーバ負荷と転送量の二律背反は緩和されません？
アクセス頻度は書き込み<<読み込みなハズだし、
bbs.cgiも一カキコだけ圧縮してアペンドすれば負荷は小さそうだし。
926 ：Dream ★ ：02/03/27 04:01 ID:???: httpd.confって、それ自体にスクリプト噛ませて、動的に認識させることが出来ましたよね？
特に、Perlディレクティヴかなんかを使えたと思うし、とにかく、夜勤さんに
負担や負荷かけない方法がとりえるんであれば、お願いしてみてもいいかと思いました。
夜勤さんが「出来ない」といっている事情と、こちらがデータそろえて、方法も添えて、
これでいかがでしょう？っていう提案をして、それを天秤に掛けて判断していただくしかないでしょう。

「その方法だと負荷が軽くなる」

という一言だけで、人を動かそうなんてしちゃだめです。
やっぱり、根拠と方法、目論見見積もりがなければ、人の心なんて動きません。
927 ：Dream ★ ：02/03/27 04:02 ID:???: >>923
あーおれってばかだ。ごめんなさい。いますぐいきます。
928 ：名無しさん＠お腹いっぱい。 ：02/03/27 04:02 ID:???: >>925
gzip圧縮したものに何か追加するには
全部解凍→追加→再圧縮しなくてはならないのです。
929 ：名無しさん＠お腹いっぱい。 ：02/03/27 04:08 ID:???: >>928
両方生成するとか．．．
930 ：名無しさん＠お腹いっぱい。 ：02/03/27 04:09 ID:???: >927
つーか本来はソフトウェア板にあって然るべきスレッドだったり。。。
931 ：名無しさん＠お腹いっぱい。 ：02/03/27 04:10 ID:???: >928
ええ。ですから一レスごとにgzipしたものをアペンドできないかなと。
クライアントも１レスずつ解凍する実装が必要だし、圧縮率はgzip本来の
レベルからは程遠い悲しい物になるかもしれませんけどね。

そうでなく書き込みごとにdatから丸ごと生成するとしても、bbs.cgiが実際に動作する
回数がread.cgiやdatがアクセスされる回数よりも少ないならメリットがあると思います。
932 ：名無しさん＠お腹いっぱい。 ：02/03/27 04:12 ID:???: ついにソフト板にもかちゅユーザー進出か。
WIN板とまたがって幾つスレ立てれば気が済むんだ。
933 ：名無しさん＠お腹いっぱい。 ：02/03/27 04:14 ID:???: >929
あ、補足どうもです。
サーバ自体の(html生成の)動作のためにも
今まで通りのdatの生成はしたほうがいいと思います。
934 ：名無しさん＠お腹いっぱい。 ：02/03/27 04:15 ID:???: >>931
read.cgiが表示するために必ず解凍しなくてはならないとなると
負荷の面で相当厳しいと思われます。
935 ：名無しさん＠お腹いっぱい。 ：02/03/27 04:16 ID:???: 夜勤氏にはあきらめて頑張ってもらう。

これが今夜の結論だな。
936 ：名無しさん＠お腹いっぱい。 ：02/03/27 07:46 ID:???: >>926
夜勤たんが「できない」って言ってるのは、割に合わないからだろ。
結局金だよ。この問題は。
937 ：名無しさん＠お腹いっぱい。 ：02/03/27 07:47 ID:???: だいたい全部読んだが、
とりあえず dream 氏はもう少し勉強してくださいという事でしょうか。
http と tcp について。

それと、技術的な方法でツール作者さん達にも手伝ってもらいたい
ならせめて2ch管理側は負荷についての具体的な数値
くらいまとめて出すべきだね。
938 ：名無しさん＠お腹いっぱい。 ：02/03/27 07:49 ID:???: >>937
つうか、誤爆すんなよ、ってのをまずいうべきなんじゃないの？(笑)
939 ：名無しさん＠お腹いっぱい。 ：02/03/27 07:50 ID:???: >>926
httpd.confはいじれないって、かなり前から夜勤さんが言ってなかった？
940 ：名無しさん＠お腹いっぱい。 ：02/03/27 07:55 ID:???: >>939
>>920
ってことなんじゃないの？
941 ：名無しさん＠お腹いっぱい。 ：02/03/27 07:59 ID:???: >937
他人に「もう少し勉強して下さい」て言っておいて、いいっぱなし？
具体的な数値出せ、っていって、なんの数値が具体的に欲しいのかはいわない？
それはいくらなんでも、かたておち？
942 ：名無しさん＠お腹いっぱい。 ：02/03/27 08:03 ID:???: >>940
なるほど・・・。
でもさぁ、結局は、夜勤さんの >>314発言を
完全に無視していると捕らえられてもおかしくない意見だよね。
943 ：名無しさん＠お腹いっぱい。 ：02/03/27 08:06 ID:???: >>942
>>926
素直に読めば理解できないか？話の流れが。
944 ：名無しさん＠お腹いっぱい。 ：02/03/27 08:07 ID:???: >ええ。ですから一レスごとにgzipしたものをアペンドできないかなと。
そんなことをしたら、圧縮の効果がほとんどなくなりますよ。
実験してみればすぐにでもわかることでしょうに。
945 ：名無しさん＠お腹いっぱい。 ：02/03/27 08:14 ID:???: >とりあえず dream 氏はもう少し勉強してくださいという事でしょうか。
>http と tcp について。

前も書かれてたと思うけど、彼は事実のとりまとめに徹して、自分の意見を
言う時は名無しになるべきだと思う。正直引き気味
946 ：名無しさん＠お腹いっぱい。 ：02/03/27 08:15 ID:???: >>943
>>926の話は理解してますってば。
私が言いたいのは、2chの負荷軽減に付いて議論しているこのスレ中で、
夜勤さんは >>314の発言をされているということです。
負荷軽減の効果うんぬんの事を話している場で、httpd.confをいじることを
したくないという意思表示をしていると思われますが？
947 ：名無しさん＠お腹いっぱい。 ：02/03/27 08:26 ID:???: >>946
>>926を見る限り、Dreamが夜勤さんにやってくれっていっているんじゃなくて、
httpd.confをいじればパフォーマンス良くなるからやれっていうんだったら
それなりの手順用意できるの？っていう話に見えるのは俺だけ？
948 ：名無しさん＠お腹いっぱい。 ：02/03/27 08:36 ID:???: >>947
ええ、そうなんですが、
最終的に夜勤さんにやってもらうしかない方法であり、かつ、
夜勤さん本人が拒絶している方法(httpd.confいじり)について、
検討していることには変わりないと思いますが？

夜勤さんの意思を尊重するのであれば・・・ね。
949 ：名無しさん＠お腹いっぱい。 ：02/03/27 08:39 ID:???: >941
申し訳ないですが、言いっぱなしです。
dailup user が云々とか本質的でないこと長々と言ってたり、
自分でツール作ればいくらでも回避できそうな案ばかりだったり、
もうこれはせめて >945 の通り名無しで発言くらいにとどめないと、
読んでるだけでおなかいっぱいですよ。
というわけで >945 氏の意見に ++;
950 ：一　五明 ◆DKXvv9Lw ：02/03/27 08:49 ID:qKwdsRqr: >>645
いや不揮発の馬鹿高いメモリじゃなくて、サーバー飛んだらログ全滅でも
いいからってこと。どうせ飛ぶこと覚悟の負荷隔離鯖だし。

そのそも2chは過去ログ残さなくてもいいような気もする。
現状でも住人が自主的に過去ログサイト立ち上げてる例がいくつかあるし、
2ch側が残さなければより一般的になると思う。
ただ.dat落ち寸前のを拾うためのアクセスが殺到する可能性を考えて
950-1000だけは一定期間読めるようにする等は要るかも。
…過去ログ有料検索とか言ってる現状では期待薄か。

>>944
その通りだけど考え方としては面白いかも、20レスごとくらいにして。
（最大19レスの未圧縮がくっついた圧縮ファイル…ちょっと読み方が
複雑になりそうだが）
どうせブラウザでは読まないし、専用ツール前提ならlzoみたいな軽い圧縮
アルゴリズムも使える。
951 ：名無しさん＠お腹いっぱい。 ：02/03/27 08:53 ID:???: >>950
それはあなただけの意見です。
952 ：ほげ：02/03/27 08:58 ID:DEONoPUS: <独り言>tcpわかってhttpわかって、ＣでツールかけてPerlかけて、この巨大な
案件すっきりまとめて人望もあって理にかなったことを常に冷静に言える奴って
こんなばかげた話なんかに参加しないよな。</独り言>
953 ：名無しさん＠お腹いっぱい。 ：02/03/27 09:03 ID:???: 念のため、貼っておきます。

【２ちゃんねるビューア】　巡回機能の巻。Part4
http://pc.2ch.net/test/read.cgi/software/1017161683/l50
954 ：名無しさん＠お腹いっぱい。 ：02/03/27 09:04 ID:???: >>952
ここに書き込んだあなたは・・・。そして私は・・・。
お互い精進しましょ。
955 ：ふ～ば～ ：02/03/27 09:05 ID:???: HTTP でデータ GET して多少解析して表示するなんてのは
ネットワークプログラミングしたことのある人なら１日も要りません.
技術の話なのに性善説でインターバルなんてのは臍で茶がわきます.
便利に使えるツールにするのは別の話.
956 ：名無しさん＠お腹いっぱい。 ：02/03/27 09:06 ID:???: >>944
んーそういうことなのか．．．
てっきり、bbs.cgiでdatを生成するときについでに圧縮かけたものも作ってしまえってこと
かと思ってた。
957 ：名無しさん＠お腹いっぱい。 ：02/03/27 09:07 ID:???: >>955
それJOKESIZE★の方じゃないのか？
958 ：名無しさん＠お腹いっぱい。 ：02/03/27 09:13 ID:???: >>950
誰が設備投資費をまかなうんでしょ？
959 ：名無しさん＠お腹いっぱい。 ：02/03/27 09:14 ID:???: >>955
「monazillaツールと課金及び転送量・鯖負荷問題を考えるスレ」
http://kaba.2ch.net/test/read.cgi/accuse/1016974669/l50
こっちで思う存分やってくれ。
960 ：名無しさん＠お腹いっぱい。 ：02/03/27 10:23 ID:???: >956
両睨みでいいと思います。
一括圧縮ファイルの同時生成なら現在の転送量で負荷削減。
差分圧縮ファイルへの追加なら転送量が増えるけどさらに負荷が下がる。

現実的なのはおそらく前者でしょうね。
961 ：名無しさん＠お腹いっぱい。 ：02/03/27 15:34 ID:???: >>945が良いことを言った。
正直、司会者としての根性は見上げたものがあるので、その役目に徹してほしい。
962 ：名無しさん＠お腹いっぱい。 ：02/03/27 20:59 ID:???: >>961
おお、やっぱ皆も思ってたのか。
あの意見のしかたはマジで勘弁して欲しいと思ったり。
頑張って反対してる人もいるけどさぁ…。
そもそもここは議論の場なんだから。
963 ：Dream ★ ：02/03/27 21:17 ID:???: >>961-962
(ﾟдﾟ)ｳﾏｰ

んじゃ、個人的な見解は一切言わないつー事でいきます。
もういいたいことはいったし。
どーせ仕切やなんて、うざがられてナンボですし。ただでさえ。
964 ：名無しさん＠お腹いっぱい。 ：02/03/27 21:22 ID:???: 仕切ってなくてもうざい奴だろうけどな
965 ：名無しさん＠お腹いっぱい。 ：02/03/27 21:54 ID:???: >>963
いや、そうじゃなく、まとめる場合にそのハンドルにしてほしいんです。
Dream ★ で絞りこめば流れが読めるようにしたいんです。
966 ：ひろゆ子 ◆HRUNYAXA ：02/03/27 22:37 ID:BbZZ0lbo: 過去ログを読んでませんが、、、
インターバルをツールに実装すると、patchが出まわるので、
正直者がバカを見ると、、、ソース公開してるツールもありますしね。
んで、サーバで実装するとサーバ負荷が増えるので、
そもそも意味がない。
ということで、IDがあったら巡回できて、
なければ出来ないというのが落としどころになるかと。
967 ：名無しさん＠お腹いっぱい。 ：02/03/27 22:39 ID:???: >>966
【２ちゃんねるビューア】　巡回機能の巻。Part4
http://pc.2ch.net/test/read.cgi/software/1017161683/
968 ：名無しさん＠お腹いっぱい。 ：02/03/27 22:40 ID:???: >>966
夜勤氏を説得しる。
サーバがわの対処で今の数倍のキャパ増大見込めるんだから
それやればいいだけだろーが
969 ：名無しさん＠お腹いっぱい。 ：02/03/27 23:01 ID:???: 早晩破綻しそうだがなｗ
970 ：名無しさん＠お腹いっぱい。 ：02/03/27 23:47 ID:???: >>968
んだんだ。
ありえねーけど（ｗ
971 ：一　五明 ◆DKXvv9Lw ：02/03/28 06:58 ID:PzIpcrZF: >>958
8月危機の際に既に各鯖１Ｇづつ積んでて大半がディスクキャッシュ
っての読んだ気がする。それをRAMディスクにすれば要らないかと。
ログ消滅の危険性は別の議論として。
972 ：名無しさん＠お腹いっぱい。 ：02/03/28 07:36 ID:???: >>971
あげんなや。

そういう話は、ソース付けなきゃただのガセ
それから、メモリは欠乏中。vip鯖は512MBでもう足りない。
よく考えてから言ってけれ。相手にされなくなるよ。
973 ：名無しさん＠お腹いっぱい。 ：02/03/28 08:12 ID:???: >>972
>>529-536 を見る限り、スワップ使ってないんだから、欠乏とはいえないんじゃない?
メモリは欠乏というか、あればあるだけキャッシュもしくはバッファとして
有効活用される。WindowsNT と違って、Unix はメモリをかなり効率よく使ってくれる。

さらにメモリを積めばパフォーマンス良くなるのは認めるけど、
それよりも CPU の負荷を何とかする方が先。
974 ：名無しさん＠お腹いっぱい。 ：02/03/28 11:05 ID:???: >vip鯖は512MBでもう足りない。
それはあれじゃないかな。apacheとかperlとかの
プロセスが乱立しているからでしょ？

じゃあ、プロセス低減策をとって(read/bbs.cgiが直接Listenして、
selectによる多重化をするとか)その上で、キャッシュデーモンで
オンメモリ処理への道を開くのが王道。
975 ：名無しさん＠お腹いっぱい。 ：02/03/28 19:00 ID:???: >>974
クズみたいなセキュリティの穴
自前主義は万能とか思ってない？
976 ：名無しさん＠お腹いっぱい。 ：02/03/28 20:17 ID:???: >>974
apacheより出来が悪いものが完成するに１００ペソ
977 ：次スレ ：02/03/28 20:51 ID:???: 【２ちゃんねるビューア】　巡回機能の巻。Part4
http://pc.2ch.net/test/read.cgi/software/1017161683/
978 ：埋め立て屋 ：02/03/29 17:12 ID:???: 【２ちゃんねるビューア】　巡回機能の巻。Part4
http://pc.2ch.net/test/read.cgi/software/1017161683/1-10
979 ：名無しさん＠お腹いっぱい。 ：02/03/29 17:59 ID:???: >>978
埋　め　立　て　屋　死　ん　で　く　だ　さ　い
http://pc.2ch.net/test/read.cgi/software/1016172411/
980 ：名無しさん＠お腹いっぱい。 ：02/03/29 18:15 ID:???: 埋め立てるなと警告しても止めない悪質な奴だからな。
981 ：名無しさん＠お腹いっぱい。 ：02/03/29 18:22 ID:???: >>979-980
おまえたちもなー
982 ：名無しさん＠お腹いっぱい。 ：02/03/29 20:10 ID:???: 埋め立て屋ってなに？
983 ：名無しさん＠お腹いっぱい。 ：02/03/29 20:15 ID:???: >>982
地上屋より（略
984 ：名無しさん＠お腹いっぱい。 ：02/03/29 20:21 ID:???: 香取先生見てる？
985 ：名無しさん＠お腹いっぱい。 ：02/03/29 20:27 ID:???: コイツは埋め立て屋ですか（ｗ
http://kaba.2ch.net/test/read.cgi/sakud/1001476296/984-1000
986 ：954 ：02/03/30 01:25 ID:???: 万能とまでは思っていないが、汎用よりも、
専用のほうがパフォーマンスを稼ぎ易いのは事実。
別にapacheよりも高機能にする必要はない。
987 ：名無しさん＠お腹いっぱい。 ：02/03/30 07:26 ID:???: >>979-986
埋め立てご苦労！
988 ：名無しさん＠お腹いっぱい。 ：02/03/30 07:34 ID:???: >>986
いうはやすし。
行うはきよし。
989 ：コナン ◆SEX69q3Q ：02/03/30 09:23 ID:???: [壁]_・)
990 ：名無しさん＠お腹いっぱい。 ：02/03/30 09:27 ID:???: >>989
http://www.yomiuri.co.jp/minijiten/23991218.htm
991 ：名無しさん＠お腹いっぱい。 ：02/03/30 09:33 ID:???: >>990
ワラタ
992 ：仕切屋☆ ：02/03/30 21:22 ID:???: あ、漏れ仕切り過ぎてたかも…
そうだね　ちょっと反省してる　言いたいこともまだあるけど
これ以上居座ると荒れるだろうから去ることにするよ　みんな
がんばってね　

かちんと来て俺も脊髄反射してたかもね
ゆるしてね
いい夢見ろよ　　　　　
！
993 ：名無しさん＠お腹いっぱい。 ：02/03/30 21:50 ID:???: かゆければ、かけ。
994 ：：02/03/31 00:08 ID:???
995 ：：02/03/31 00:09 ID:???
996 ：：02/03/31 00:09 ID:???
997 ：：02/03/31 00:09 ID:???
998 ：：02/03/31 00:09 ID:???
999 ：：02/03/31 00:09 ID:???
1000 ：次スレ ：02/03/31 00:10 ID:???: http://pc.2ch.net/test/read.cgi/software/1017161683/
1001 ：１００１ ：Over 1000 Thread: このスレッドは１０００を超えました。
もう書けないので、新しいスレッドを立ててくださいです。。。

283KB

新着レスの表示

スレッドリストへ戻る全部前100 次100 最新50

0ch BBS 2004-10-30