2ch閉鎖の危機なんだと（Part2.1）

■スレッドリストへ戻る■ 全部 1- 101- 201- 301- 401- 501- 601- 701- 801- 901- 最新50

271 ：... ：2001/08/26(日) 01:28: 【6:2】　★　　PC初心者板で2chのプログラムを開発中　　★
1 名前：投稿日：2001/08/26(日) 01:17
多段嵐王　あひゃ　ヒロヒトが送信データー圧縮して送るプログラムを
開発中だそうです。
荒らしてる人がいるので　やめてください。
272 ：226 ：2001/08/26(日) 01:28: >>248
gzip対応したら、結構マシンパワー食うよ。
負荷かかりすぎて鯖落ち経験してるから。
273 ：名無しさん＠お腹いっぱい。 ：2001/08/26(日) 01:28: >>264　ＡＬＬ
作業の合間に、応援ページもみてまったりしてください。

http://teri.2ch.net/test/read.cgi?bbs=accuse&key=998750638&ls=100
274 ：369 ◆3XTuRnAc ：2001/08/26(日) 01:28: 了解＞Perlerさん
275 ：名無しさん＠お腹いっぱい。 ：2001/08/26(日) 01:29: ここのスレ？　転送量を16分の一にして閉鎖を免れさせたっていうのは。
すごいな、さすがUNIX使いはレベルが高いのか。
276 ：名無しさん＠お腹いっぱい。 ：2001/08/26(日) 01:29: 1.mod_gzipは組み込めない
2.サーバ技術者さんに確認中だが、Apacheはいじれない

mod_gzipの組み込みをデフォルトにしてくれればＯＫなんですけどねぇ～
277 ：名無しさん＠お腹いっぱい。 ：2001/08/26(日) 01:29: >>267
gzipで逆に重くなるのは、圧縮の掛かりにくいモノを無理矢理圧縮しようとしたときぐらいかと。
鯖の負荷はあまり変わりません。うちは実際それで運用中です。
278 ：名無しさん＠お腹いっぱい。 ：2001/08/26(日) 01:29: 重箱の隅をつつく的な意見で申し訳ないんだけど
メールアドレスが「sage」の場合はいちいち「mailto:sage」
書き込むのは無駄じゃないのか？
書き込み側のスクリプトをチョチョイといじってやれば
１リロード辺り数百バイトぐらいは節約できると思うYO!
279 ：名無しさん＠お腹いっぱい。 ：2001/08/26(日) 01:29: >>238
datをアクセス不可にすれば、2ch閲覧ツールのユーザも
CGI経由での情報取得に移行して、転送量が少し下がる程度に終わると思う。
適切な実験か、という点では？だね。
280 ： ◆7sFB369A ：2001/08/26(日) 01:30: とりあえず、緊急対策で全部の画像を外しておくと良いと思う
今のうちに最新レス100も50あたりに減らす・・・かなり効果あると思う
とりあえず、Unixは使えない馬鹿だけど、使えるとおもう情報
281 ：名無しさん＠お腹いっぱい。 ：2001/08/26(日) 01:30: かっこ悪いけど<br>を<p>にすると1byte減るよ(^^;
282 ：名無しさん＠お腹いっぱい。 ：2001/08/26(日) 01:31: >>281
可愛いｗ
283 ：118 ：2001/08/26(日) 01:31: >>262 うーん、俺もできたと思ったとこなのに..
惜しい。
# つーか BSDのlibraryに依存してるんだよなあ。
284 ：名無しさん＠お腹いっぱい。 ：2001/08/26(日) 01:31: >>272
導入前にある程度心配されていたが
いまのところCPU不足の問題は起きていないみたいだね。
Pen3Dualの威力は尋常じゃないな。
285 ：名無しさん＠お腹いっぱい。 ：2001/08/26(日) 01:31: >>278
そういう視点で考えるのなら、「名前」とか「投稿日」の見出しも要らないと思う
286 ：名無しさん＠お腹いっぱい。 ：2001/08/26(日) 01:31: スペースとかコメントとかも全部削ればもう少し減るよ…
287 ：名無しさん＠お腹いっぱい。 ：2001/08/26(日) 01:31: >>272
すでに対応しています。
夜勤さんによれば負荷も問題ない程度だそうです。
まず過去ログ見ていただけませんか?
288 ：名無しさん＠お腹いっぱい。 ：2001/08/26(日) 01:32: ＞802　名前：ＤｏｌＢａｃｋｙ
＞
＞２時間後にMOD_GZIPが導入されるかも。
＞それを前提とするならREAD.CGIはLAST-MODIFIED対応が要点となります。。。

でま？
289 ：名無し娘。 ◆vP.bOZFQ ：2001/08/26(日) 01:32: なーんでHTTP/1.0クライアントでchunk問題が起きるのか理解できない。。。
ひぃ。
290 ：名無しさん ：2001/08/26(日) 01:32: 結局どうにかなりそうなの？
291 ：　：2001/08/26(日) 01:32: 細かいチューニングについてはプログラム板で検討されていますのでそちらでお願いします。
292 ：名無しさん＠お腹いっぱい。 ：2001/08/26(日) 01:32: >>279
mod_gzip入ればdatも圧縮掛かりますよね。
それ以上に、ツール側でRangeヘッダをうまく使えるようにならないかなぁ。

>>278
圧縮関連入れば、同じモノの繰り返しは符号化で殆ど小さくなります。
293 ：名無しさん＠お腹いっぱい。 ：2001/08/26(日) 01:32: ProxomitronのHTTP Message Logってので見られるのは違うのかな。
294 ：名無しさん＠お腹いっぱい。 ：2001/08/26(日) 01:32: htmlのどれそれ削ろうって話はとりあえず別スレで…。
がいしゅつだし、効果は微々たるものだし。
295 ：名無しさん＠お腹いっぱい。 ：2001/08/26(日) 01:33: >>282
imodeコンテンツでよくやる手だったりする。
toolでリターンコードも削除するといい感じ。
296 ：名無しさん＠お腹いっぱい。 ：2001/08/26(日) 01:33: 応援に来ました！
http://yasai.2ch.net/test/read.cgi?bbs=arc&key=998566942&ls=50
297 ：名無しさん＠お腹いっぱい。 ：2001/08/26(日) 01:33: gzipの圧縮は、そんなに重くないとおもわれ（オプションにもよるが）、
sshなども通信時に圧縮しているが、scpがrcpより速くなるし。
298 ：名無しさん＠お腹いっぱい。 ：2001/08/26(日) 01:33: このスレの話題はread.cgiの改良で
index2.htmlの軽量化ではないです、、、
299 ：名無しさん＠お腹いっぱい。 ：2001/08/26(日) 01:33: HTML最適化っていう技能は使えませんか？
300 ：名無しさん＠お腹いっぱい。 ：2001/08/26(日) 01:33: 実験したpiza2のスペックはこうだけど、
http://www.maido3.com/server/usagi/news.html

他のサーバのスペックがわからんと、CPU負荷がどれぐらいネックになるのかわからんなああ…。

# 寝る、っつうか仕事する。
301 ：名無しさん＠お腹いっぱい。 ：2001/08/26(日) 01:33: 279いやそれでは根本的な解決にはならないとおもうよ。やっぱりｃgi
の負荷自体を考えないと
302 ：名無しさん＠お腹いっぱい。 ：2001/08/26(日) 01:33: 投稿日は必要だろうけれど、「曜日」はいらないような
気がする。
303 ：２ちゃん ：2001/08/26(日) 01:33: 後藤真紀かわいいね～～
304 ：名無しさん＠お腹いっぱい。 ：2001/08/26(日) 01:33: >>292
だからRangeヘッダはすでに使ってるって。
誰が変なデマ流したのか知らないけど。
305 ：名無しさん＠お腹いっぱい。 ：2001/08/26(日) 01:34: dat直読みで
初回GZIP、以降レジュームにすれば一番減らせるんじゃないの？
306 ：Perler ◆GSi39OA6 ：2001/08/26(日) 01:34: アップロード完了しました。

動かないと思ったら、304を302と書いてた。。。
ftp://210.170.134.228/incoming/perler/read4.c.3
です。

ローカルでテストした限りでは動いてます。

ただし、nph-を使うため、ファイル名が変わります。read.cgiでは駄目で、
ファイル名の頭にnph-をつける必要があります。

あとはApacheのデフォルト設定を変えていないこと＆nph-を認めてることを祈るだけです。

cc -DLASTMOD -DGZIP read4.c -o nph-read.cgi

みたいな感じでコンパイルします。
307 ：名無しさん＠お腹いっぱい。 ：2001/08/26(日) 01:34: >>301
すみませんが何に対するレスなのか分かりません。
308 ：名無しさん＠お腹いっぱい。 ：2001/08/26(日) 01:34: >>277
gzipでもlzhでも圧縮率が高いほうが重いと思いますが…
309 ：名無しさん＠お腹いっぱい。 ：2001/08/26(日) 01:34: システムの改善手順
１．プロファイリング
　　改善すべき部分の発見
　　最も多く呼び出されているルーチンの中で
　　非効率的な部分を発見する
２．改善方法の検討
310 ：マァヴ＠削除管理委員長 ★ ：2001/08/26(日) 01:34: >>288
マジです。
Hurricaneの技術者が出社したら相談する予定。
311 ：名無しさん＠お腹いっぱい。 ：2001/08/26(日) 01:35: なるほど302ではスペクトル分析をしてみたらどう？
312 ：名無しさん＠お腹いっぱい。 ：2001/08/26(日) 01:35: >>306
なんでnph-が必要なのですか?
313 ：名無しさん＠お腹いっぱい。 ：2001/08/26(日) 01:35: http://jo.st45.arena.ne.jp/cgi-bin/bbs.cgi
ここが新しい2chだよ
314 ：名無しさん＠お腹いっぱい。 ：2001/08/26(日) 01:35: 無駄な情報送信していないか？
315 ：名無しさん＠お腹いっぱい。 ：2001/08/26(日) 01:35: 123です。
横取り丸の使い方がよくわかりませんが、>>151さんの解決策で解決するような問題であることは確かです。
316 ：名無しさん＠お腹いっぱい。 ：2001/08/26(日) 01:35: >>280
CGIの改良作業とは別に、HTMLや運用面で見直せる部分についても手を施したほうが
よいかもね。どっかにそういう話をしているスレってあるのかな？
317 ：名無しさん＠お腹いっぱい。 ：2001/08/26(日) 01:35: Apacheでの方式はやはり困難でした。
index.html.gzで転送してDechunkの対策をしてください。
もしくはLast-Modifiedにて。
BlackJumboDogのトレース表示しても余り意味ないよーな...。
mod_gzipではなくmod_negotiation が入っているのでは？
ホットゾヌは独自(Indy)でした。
Apache を変更されてはいかがでしょうか？
Last-Modify だけでも一応効果がありそうなので試みています。
318 ：　：2001/08/26(日) 01:35: イチロー凄いね
319 ：名無しさん＠お腹いっぱい。 ：2001/08/26(日) 01:35: 皮肉なことにこのスレがもっとも転送量の増加を招いている
320 ：　：2001/08/26(日) 01:35: また問題が拡散してきてるな。
>>309
とりあえずプログラム板行ってください。
321 ：名無しさん＠お腹いっぱい。 ：2001/08/26(日) 01:35: >>304
あぁ、そういうことではなくて(^^; 誤解させてすみません。
Rangeデータだけ別に吐けないかなぁ、と思いまして。
そうすれば実際のデータ取得は（途中削除されたりしても）まだサクッといけるのではないかなぁとか。
322 ：あぼーん ：あぼーん: あぼーん
323 ：名無しさん＠お腹いっぱい。 ：2001/08/26(日) 01:36: >>306
Apacheでは"Status: 304"のように出力すればステータスコードを
変えられるのでnphにする必要はないはずですが…。
324 ：名有りさん＠お腹へった ：2001/08/26(日) 01:36: サーバ負荷があまり問題でないんだったら　HTTP/1.1でのchunkedエンコードを
回避する手段として　出力をバッファリングしてサイズを調べてから
Content-Lengthヘッダを出力するという手もあると思われ
325 ：名無し娘。 ◆vP.bOZFQ ：2001/08/26(日) 01:36: >>310
それじゃ、chunk問題は結論が出るまで放っておいていいですね。
・ブラウザがHTTP/1.1だといっている
・串がHTTP/1.1だといってる
が原因になるのだと思いますが。
326 ：名無しさん＠お腹いっぱい。 ：2001/08/26(日) 01:36: >>316
HTML、運用関係はなかったはず。協力したいんですが、スレ建て出来ないんで…。
327 ：　：2001/08/26(日) 01:36: 早く難とかしろよな！
328 ：名無しさん＠お腹いっぱい。 ：2001/08/26(日) 01:37: 課題としては転送量をいかに減らすかでしょう
329 ：名無しさん＠お腹いっぱい。 ：2001/08/26(日) 01:37: 上のバナー、16色に減色したら16KBから８KBになりました。
こういうのだと焼け石に水なだけだな……。
330 ：MiM ：2001/08/26(日) 01:37: >>322
煽りはやめろ。
本当に辞めてくれ。
331 ：　：2001/08/26(日) 01:37: ところで皆さんはどのような方法で２ちゃんを再生させようとしているのですか？？
332 ：Perler ◆GSi39OA6 ：2001/08/26(日) 01:37: >>312
ステータスコードとして、304を返す必要があるからです。

詳しくは、RFC2068を参照してください。

あと、gzip圧縮とLast-Modified関連だけ別スレッドにしませんか?
「HTMLを最適化しよう」レスが多すぎて話が追えないです。
333 ：名無しさん＠お腹いっぱい。 ：2001/08/26(日) 01:37: つまんねー板はtcupに移動
鯖を分散させて転送量削減
334 ：名無しさん＠お腹いっぱい。 ：2001/08/26(日) 01:38: >>327
逝ってください。
335 ：名無しさん＠揚げ足 ：2001/08/26(日) 01:38: >>304
たぶん元ネタは私
だれか勘違いで話を膨らませちゃったようです。スマソ
336 ：名無しさん＠お腹いっぱい。 ：2001/08/26(日) 01:39: >>332
ですから"Status: 304"でいいはずですが。
ほかに理由がないならCGIの名前を変えなくて済むほうがいいはずです。
337 ：名無しさん＠お腹いっぱい。 ：2001/08/26(日) 01:39: 問題報告あり・・・
＞208 名前：名無しさん＠避難所投稿日：2001/08/26(日) 01:36
＞LYNX 読むのはいけました。
＞書くのは出来てないけど、ＥＮＶ変えたらいけるんですかね。
338 ：Perler ◆GSi39OA6 ：2001/08/26(日) 01:39: >>323
そうでしたか。。。
作り直してみましょうか?
339 ：名無し娘。 ◆vP.bOZFQ ：2001/08/26(日) 01:39: >>332
一応、既にそういうことになっているはずなんですがねぇ。

最適化の話はこちらへ。。。
http://piza2.2ch.net/test/read.cgi?bbs=tech&key=998736516
340 ：名無しさん＠お腹いっぱい。 ：2001/08/26(日) 01:39: >>323 そのとおりです。Status: ヘッダは吐けます。
というわけで、Perlerさん、nph使う必要はないですよ。
341 ：名無しさん＠お腹いっぱい。 ：2001/08/26(日) 01:40: >>329

焼け石に水、ではないと思う（散りも積もれば…）が、
Web制作板の人たちで出来ないか？これ。
作業的にもそんなに大変じゃないと思うんだが。
342 ：名無しさん＠お腹いっぱい。 ：2001/08/26(日) 01:40: ＞＞324　それだと鯖に負荷がかかりすぎるとおもうよ
343 ：　：2001/08/26(日) 01:40: 2chなんかより稲垣吾郎の方が気になる
344 ：名無しさん＠お腹いっぱい。 ：2001/08/26(日) 01:40: 荒らしと、あと悪いが最適化の話題と応援も放置と言うことで。
345 ：名無しさん＠お腹いっぱい。 ：2001/08/26(日) 01:40: >>338
お願いします。CGIの名前は変わらないほうが入れ替えしやすいでしょう。
346 ：名無しさん＠お腹いっぱい。 ：2001/08/26(日) 01:40: 「2ch閲覧ツール」への配慮など、微塵も要らないよ。

>>196で既出だが、「広告収入に結び付かない」の方が重大な問題か。
datの直接参照が可能な現状を「広告を見たくないユーザへの配慮」と
スポンサーに捉えられれば、収入源を無くすことに繋がりそう。
347 ：369 ◆3XTuRnAc ：2001/08/26(日) 01:41: >>Perlerさん
オッケーです。自宅でもbuildを確認しました。
正しくLast Modifiedヘッダが挿入されてるようです。

お疲れ様です。あとは夜勤さんまちですかね。
348 ：コピペ案 ：2001/08/26(日) 01:41: 応援・グチは↓こちらでどうぞ。
　UNIX板で2chのプログラムを開発中　＠批判要望板
　http://teri.2ch.net/test/read.cgi?bbs=accuse&key=998750638

read.cgi の最適化の話題は↓こちら。
　プログラマが2chを救う！？　＠プログラム板
　http://piza2.2ch.net/test/read.cgi?bbs=tech&key=998736516
349 ：名無しさん＠お腹いっぱい。 ：2001/08/26(日) 01:41: >>316
htmlレベルでは、table使ってるのでタグ量がかなり増えてると思う。
<dl>使った方がうんと軽くなると思う。
html部分のダイエットが必要なら、
Web制作板にスレあったので、そちらで検討しますが。
<dl>に変更くらいならプログラマさんたちでも出来ると思いますが。
350 ：名無し ：2001/08/26(日) 01:41: ＨＴＭＬ最適化はプログラム板でやってます。
それ関係は移動しましょう。

http://piza2.2ch.net/tech/index2.html
351 ：名無しさん＠お腹いっぱい。 ：2001/08/26(日) 01:41: 広告自体が鯖に負荷をかけるとおもわれ
352 ：名無しさん＠お腹いっぱい。 ：2001/08/26(日) 01:42: かちゅ～しゃのほうが転送量は減るんだけど…。
(gzip版が入ってどうなったのかは不明)
353 ：Zzz ：2001/08/26(日) 01:42: >>351
広告画像は他のサーバに置けばいいだけ。
354 ：名無しさん＠お腹いっぱい。 ：2001/08/26(日) 01:42: reloadする毎に既に読んだレスも読み込むのは読まない部分も転送されるわけで、コストが高いと思われ。
圧縮もいいけど、最終アクセス時間をクライアント側に記録して最新の記事表示のみにしたら？
スレごとにクッキー食わせるのはクッキー太ると思うが（笑
直接URLに乗っけるのもいいかもしれず。
355 ：名無しさん＠お腹いっぱい。 ：2001/08/26(日) 01:43: 　
356 ：118 ：2001/08/26(日) 01:43: ftp://210.170.134.228/incoming/118/read4-zip-ifmodified.c
意味ないですが、一応私家版も乗せておきます...
nphではありません。が、perlerさんのように #ifdefされてません。
後 strptime(3) つかってます。
#よく考えるとsscanfでもほとんどできそうだ..
357 ：Perler ◆GSi39OA6 ：2001/08/26(日) 01:43: というわけで、Apache用に書き直しました。
今度はファイル名は前のままで大丈夫です。

ftp://210.170.134.228/incoming/perler/read4.c.4
358 ：名無しさん＠お腹いっぱい。 ：2001/08/26(日) 01:44: >>354
そのためのLast-Modified対応です。更新されてたときに既読の部分も
一緒に転送されるのは確かに変わりませんが。
359 ：名無しさん＠お腹いっぱい。 ：2001/08/26(日) 01:44: read4.c.3みました。
printfで\nしてるの取ろうよ。
これでも結構減るよ。
360 ：名無しさん＠お腹いっぱい。 ：2001/08/26(日) 01:44: 夜勤さんまだ見てますか? >>357をどこかの鯖に上げてテストお願いします。
361 ：名無しさん＠お腹いっぱい。 ：2001/08/26(日) 01:45: >>359
htmlの最適化関係は別スレでお願いします。
362 ：MiM ：2001/08/26(日) 01:45: このスレは転送量を減らすのが議題。

・CGIそのものの改善で大幅に下がる。
・圧縮を使えばもっと下がる。
・出力されるHTML（画像含む）の形式を変えても、やや下がる。
・その他にもあるはず！！！

「焼け石に水」と流さずに、少しでも改善につながることは、
やるべきではないでしょうか？
チリも積もれば山となるんではないでしょうか？
少なくとも、2chを存続させたいと思う方々は、
自分に出来ることをしていきましょう。
363 ：名無しさん＠お腹いっぱい。 ：2001/08/26(日) 01:45: すごいねー、煽りと罵倒と晒しの存続のためにそんなにも頑張れる人たち。
尊敬するよ（笑
364 ：名無しさん＠お腹いっぱい。 ：2001/08/26(日) 01:46: あのー、かちゅ～しゃのメリットって

・未読分だけを読む

なんですけど。それが >>352が言いたい事であり、
>>354が提案している事でもあります

ですので、一概に >>196とは言えないのでは？
365 ：名無しさん＠お腹いっぱい。 ：2001/08/26(日) 01:46: ( ● ´ ー｀ ● )＜応援ありがとう
366 ：名無しさん＠お腹いっぱい。 ：2001/08/26(日) 01:46: >>362
もっとも効果的な部分を優先させましょう
367 ：名無しさん＠お腹いっぱい。 ：2001/08/26(日) 01:46: 社会の害悪だ、つぶした方がいい。
368 ：名無しさん＠お腹いっぱい。 ：2001/08/26(日) 01:46: リロードした時に更新されているのは上位の何スレかだけ。
369 ：　：2001/08/26(日) 01:47: >>362
だからそれも大事だけど別のスレで進行中なんだってば
370 ： ◆tBOHg0Po ：2001/08/26(日) 01:47: ハッカーはな、それがどんなに無益な用途に使われるプログラムでも
バグや非効率・無駄を見つけてほうっておくことなどできないのさ

205KB

新着レスの表示

スレッドリストへ戻る全部前100 次100 最新50

0ch BBS 2004-10-30