Kleine Statistikversion im Bau...

[schmidtedv]

Ich bastel gerade eine kleine Statistik-Übersicht ein....mich stören die Module im Großen MOD und der nötige Umbau für den XS MOD...daher hab ich mit ein bisschen Aufräumen angefangen, mir die für mich sinnvollen Module ab Version 1.x von Nivisec und Acid zusammenzubauen in eine Datei...die Tage würde ich hier das Ergebnis posten und mich freuen, wenn einer mal über die Abfragen schauen könnte zwecks optimierung...bzw. ob die Auth-Funktion so (ist ja älter) noch korrekt ist :-)

[oxpus]

Ist kein Thema.
Poste, was Du hast und wir schauen uns das an.
Ist immer interessant, wenn man von "servergroßlastigen" Scripten weg kommt, um schlanker, schneller und performanceschonender zum gleichen Ergebnis kommen kann...

[schmidtedv]

Also ansich ist's eigentlich erstmal fertig (optimiert, aber wie oben). 2 dinge (posts nach wochentag und tageszeit) würde ich allerdings noch gerne verbauen, nur da muss ich erstmal basteln bzw. mir überlegen, ob ich die sog. do_math-funktion nicht in includes/functions.php dafürverbauen sollte, damit sie nur einmal auftaucht....nun, ich schaue erstmal, wie weit ich komme...anbei aber schon mal das momentane resultat:

bis auf die folgenden hatte ich die lang_variablen bei mir drin:

$lang['Statistics'] = 'Statistiken';
$lang['Rank'] = 'Rang';
$lang['Percent'] = 'Prozent';
$lang['Top_Posting_Users'] = 'Benutzer mit den meisten Beiträgen';
$lang['Most_Active_Topics'] = 'Themen mit den meisten Beiträgen';
$lang['Most_Viewed_Topics'] = 'Themen mit den meisten Besuchern';
$lang['Most_Used_Words'] = 'Die am häufigsten genutzen Wörter in Beiträgen';
$lang['Word'] = 'Wort';

zudem hier nicht aufgeführt die änderungen für "Wer ist online" (benutzer besucht statistiken), page_header (für navigation "index->statistiken") und für page_footer (link)


EDIT: So, und schwupps, da brauch ich auch schon Hilfe...weil ich hier wohl n Denkfehler habe :-)

Code: Alles auswählen

$days = array(1 => 'Monday', 2 => 'Tuesday', 3 => 'Wednesday', 4 => 'Thursday', 5 => 'Friday', 6 => 'Saturday', 7 => 'Sunday');
$traffic = array(1 => 0, 2 => 0, 3 => 0, 4 => 0, 5 => 0, 6 => 0, 7 => 0);

$sql = 'SELECT COUNT(post_id) AS total_week_posts FROM ' . POSTS_TABLE;

if (!($result = $db->sql_query($sql))) %u7b
    message_die(GENERAL_ERROR, 'Could not optain posts_id data', '', __LINE__, __FILE__, $sql);
%u7d

$total_week_posts_data = $db->sql_fetchrowset($result);
$total_week_posts = $total_week_posts_data%u5b0%u5d%u5b'total_week_posts'%u5d;

$sql = 'SELECT DAYOFWEEK(FROM_UNIXTIME(post_time)), COUNT(*) AS day_of_week
    FROM ' . POSTS_TABLE . '
    GROUP BY DAYOFWEEK(FROM_UNIXTIME(post_time))
    ORDER BY DAYOFWEEK(FROM_UNIXTIME(post_time)) ASC';
	
if (!($result = $db->sql_query($sql))) %u7b
    message_die(GENERAL_ERROR, 'Could not optain posts_time data', '', __LINE__, __FILE__, $sql);
%u7d

$week_posts_data = $db->sql_fetchrowset($result);

for ($i = 0; $i < 7; $i++) %u7b
	$firstcount = max($firstcount, $week_posts_data%u5b$i%u5d%u5b'day_of_week'%u5d);
%u7d

for ($i = 1; $i < 8; $i++) %u7b
    if ($week_posts_data%u5b$i - 1%u5d%u5b'day_of_week'%u5d) %u7b
        $traffic%u5b$i%u5d = $week_posts_data%u5b$i - 1%u5d%u5b'day_of_week'%u5d;
    %u7d
    $cst = ($firstcount > 0) ? 90 / $firstcount %u3a 90;
    if ($week_posts_data%u5b$i - 1%u5d%u5b'day_of_week'%u5d != 0) %u7b
        $percentage = ($total_week_posts) ? round( min(100, ($week_posts_data%u5b$i - 1%u5d%u5b'day_of_week'%u5d / $total_week_posts) * 100), 2) %u3a 0;
    %u7d else %u7b
        $percentage = 0;
    %u7d
    $bar_percent = round($week_posts_data%u5b$i - 1%u5d%u5b'day_of_week'%u5d * $cst);

	$template->assign_block_vars('posts_day_week', array(
		'DAY_OF_WEEK' => $lang%u5b'datetime'%u5d%u5b$days%u5b$i%u5d%u5d,			
		'POSTS' => $traffic%u5b$i%u5d,
		'PERCENTAGE' => $percentage,
		'BAR' => $bar_percent)
	);
%u7d

Ergibt zwar eine Liste mit Prozent und Balken aber die Wochentage, also die "Rechnung" stimmt nicht...anbei mal der Original-Code (Modul und Funktion):

Code: Alles auswählen

// setup
$days = array(1 => 'Sunday', 2 => 'Monday', 3 => 'Tuesday', 4 => 'Wednesday', 5 => 'Thursday', 6 => 'Friday', 7 => 'Saturday');

$traffic = array(1 => 0, 2 => 0, 3 => 0, 4 => 0, 5 => 0, 6 => 0, 7 => 0); 

// start template
$template->assign_vars(array(
	'L_TITLE' => $lang%u5b'Traffic_posts'%u5d,
	'L_POSTS' => $lang%u5b'Posts'%u5d,
	'L_PERCENTAGE' => $lang%u5b'Percent'%u5d,
	'L_DOW' => $lang%u5b'Dow'%u5d,
	'L_GRAPH' => $lang%u5b'Graph'%u5d)
);

// define graph bars
$statistics->init_bars();

// get total posts
$sql = "SELECT COUNT(post_id) as total_posts FROM " . POSTS_TABLE;

if ( !($result = $stat_db->sql_query($sql)) )
%u7b
	message_die(GENERAL_ERROR, 'Unable to retrieve posts data', '', __LINE__, __FILE__, $sql);
%u7d

$row = $stat_db->sql_fetchrow($result);
$total_posts = $row%u5b'total_posts'%u5d;

// return statistics
$sql = 'SELECT DAYOFWEEK(FROM_UNIXTIME(post_time)) as dow, COUNT(*) AS ct
FROM ' . POSTS_TABLE . ' 
GROUP BY DAYOFWEEK(FROM_UNIXTIME(post_time))
ORDER BY DAYOFWEEK(FROM_UNIXTIME(post_time)) ASC';
	
if ( !($result = $stat_db->sql_query($sql)) )
%u7b
	message_die(GENERAL_ERROR, 'Unable to retrieve posts data', '', __LINE__, __FILE__, $sql);
%u7d

$posts_data = $stat_db->sql_fetchrowset($result);

// get highest post count
$max_post_ct = '0';

for ($i = 0; $i < 7; $i++)
%u7b
	$max_post_ct = max($max_post_ct, $posts_data%u5b$i%u5d%u5b'ct'%u5d);
%u7d

// build rows
for ($i = 1; $i < 8; $i++)
%u7b
	$class = ( !($i+1 % 2) ) ? $theme%u5b'td_class2'%u5d %u3a $theme%u5b'td_class1'%u5d;
	
	if ( $posts_data%u5b$i - 1%u5d%u5b'ct'%u5d )
	%u7b
		$traffic%u5b$i%u5d = $posts_data%u5b$i - 1%u5d%u5b'ct'%u5d;
	%u7d

	$statistics->do_math($max_post_ct, $posts_data%u5b$i - 1%u5d%u5b'ct'%u5d, $total_posts);

	$template->assign_block_vars('traffic', array(
		'CLASS' => $class,
		'DOW' => $lang%u5b'datetime'%u5d%u5b$days%u5b$i%u5d%u5d,			
		'POSTS' => $traffic%u5b$i%u5d,
		'PERCENTAGE' => $statistics->percentage,
		'BAR' => $statistics->bar_percent)
	);
%u7d

Code: Alles auswählen

	function do_math($firstval, $value, $total)
	%u7b
		$cst = ($firstval > 0) ? 90 / $firstval %u3a 90;

		if ($value != 0)
		%u7b
			$this->percentage = ( $total ) ? round( min(100, ($value / $total) * 100)) %u3a 0;
		%u7d
		else
		%u7b
			$percentage = 0;
		%u7d

		$this->bar_percent = round($value * $cst);
	%u7d

Man sieht, ich hab mein möglichstes getan, die Funktion zu integrieren, aber die Berechnung macht murks...anbei ein Bild, Montag müßte z.B. Dienstag mit 41 Beiträgen sein und dann gibt's noch Mittwoch und Freitag mit 2 Beiträgen...hmhmhm

....wenn ich mal

Code: Alles auswählen

SELECT dayofweek( from_unixtime(post_time)), count(*) FROM `phpbb_posts` 
group by 
dayofweek( from_unixtime(post_time))

ausführe kommts richtig:

3 41
4 2
6 2

...mal als Hilfe :-)

[oxpus]

Hängt das vielleicht damit zusammen, daß UNIX in der Regel eine Woche mit Sonntag = 0 anfängt?

Und warum fackelst Du das gleich in der SQL-Anweisung ab?
Warum nicht alles abfragen und dann in einer Schleife die jeweiligen Wochentagen mit create_date(); feststellen und dann in Arrays mit dem Wochentag als 1. Key einsortieren?

[schmidtedv]

...weil ich so schlau nicht bin :-) zumindestncht in php/sql-programmierung....ich kann nur kopieren und basteln, aber nicht völlig neues erschaffen...

kannst du mir das umbauen, Oxpus??

[oxpus]

Umpf, ich habe selber zu wenig Zeit. Ich ärgere mich gerade mit einer Oracle-Anwendung rum...

[schmidtedv]

Naja, ich werd' mich nochmal reinknien und sehen was ich schaffe...."top topic posters" sind jetzt erstmal auch drin und die abfrage etwas vereinfacht...kann es sein, das ajax die code-zeilen "zerfrisst" oder ist das bei dir generell ein problem? also "hier bearbeiten" weglassen, wenn ich code eingebe?

[oxpus]

Die Codezeilen sollten eigentlich korrekt dargestellt werden.
Aber immer besser bei mehrfachem Edit die Original-Funktion verwenden.

[schmidtedv]

Also, wäre sehr nett, wenn Du für die jetzige Version kurz Zeit hast...da hab' ich einfach die "do_math" Funktion eingebaut und auch die "top_words" drauf angepasst. Es scheint so zunächst einmal zu funktionieren und wenn ich da keinen "schlimmen" code/denk-fehler drin habe, würde ich darauf aufbauen und mittels der do_math mich noch einmal an die wochentage und zeiten wagen...

...bin mir nicht ganz sicher, ob ich die Änderungen an der "Top Wörter Liste" so hab machen dürfen, denn er sortiert diese nun anders (siehe Bild hier im Vergleich zum ersten Post)

EDIT: siehe statistics_final.zip ...oder ich lasse die einfach so, ohne Wort-Statistik und Tages-, bzw. Uhrzeit-Statistik...sind jetzt 20 SQL-Abfragen, schaut nett aus und ist fix...und hat keine unvorhersehbaren Probleme/Risiken, wie ich denke...also anbei die Finale Version...TPL ist allerdings auf Aphrodite-Style ausgelegt!

PS: unter http://ultimate.mu.org/forum/viewtopic.php?p=3044#3044 gab's ganz nette Info's für mich...aber meine Resultate waren immer unsortiert, also die Werte stimmten, waren aber nicht einsortiert, sondern immer mit höchstem Wert von oben nach unten und das hab' ich nicht wegbekommen...seufz

[oxpus]

Die Tage schau ich mir das mal an...

[schmidtedv]

Ich habnoch was vergessen...damit die blöde alte abfrage mit den voting-images wegfallen kann, hab ich einfach die css geändert und folgendes eingefügt:

// votes
$images['vote_left'] = $current_template_images . '/vote_lcap.gif';
$images['vote_right'] = $current_template_images . '/vote_rcap.gif';
$images['vote_bar'] = $current_template_images . '/voting_bar.gif';

alsonicht wundern wenn bisher keine balken aufgetaucht sind :-)

EDIT: und zu guter Letzt noch ne einfache Rangliste eingebaut,siehe Bild

[oxpus]

Also insgesamt bin ich schonmal angetan von dieser Statistikseite.
Schlank, das wichtigste drauf und sicher auch schnell.
Mal schauen, wann ich zum testen komme. Bin schon gespannt.
Zwar würde mir eine Admin-Statistik fehlen, aber die habe ich ja auch im ACP...

[schmidtedv]

das mit der admin-statistik dachte ich mir auch...dererlei info's sind bei mir im admin-index ja eh drin...ebenfalls mit einigen extras...

[oxpus]

Eben.
Daher werde ich gleich mal Deine Statistik-Steite ausprobieren und wenn die fix ist, fliegt das Statistics MOD ohne zu zögern raus.

[schmidtedv]

was nun noch fehlt ist die $return_limit = 10 anpassbar im ACP aber das hat ja erstmal zeit...mit der rangliste bin ich noch nicht so sicher, ob das langt...hatte aus dem original die speziellere sortierung nach "range" rausgenommen und auch die unterscheidung zwischen special-rank und normalen user-ranks...ist also nur noch eine einfache liste...ich hoffe das langt so, bzw. man sollte nicht zu viele ränge im board haben, hehe...oder das ganze dann mit javascript eventuell aufklappbar oder halt mit pagination versehen....oder, oder...da bin ich mir auch noch nicht sicher...jedenfalls wollte ich ne rang-übersicht drin haben und die so simpel wie möglich (mehr als 5-10 ränge sind bei mir zumindest eh erstmal nicht geplant)

...und falls du's wirklich fürdich willst, muss ich wohl die row-class-optionen wieder einbauen für's subSilver? :-) wie Du in der TPL siehst ist's recht simpel bei mir, da ich mit Aphrodite keine Row-Unterscheidungen drin habe...

EDIT: Mal was anderes...wäre es vermessen/überhaupt von dir erlaubt, mein aktuelles Foren-Projekt einfach als "Projekt" und zu Testzwecken für jeden der will hier zur Verfügung zu stellen, nun, da es eigentlich fertig ist?

[oxpus]

EDIT: Mal was anderes...wäre es vermessen/überhaupt von dir erlaubt, mein aktuelles Foren-Projekt einfach als "Projekt" und zu Testzwecken für jeden der will hier zur Verfügung zu stellen, nun, da es eigentlich fertig ist?

Dafür ist dieses Forum da

EDIT
Die Seite schaut zunächst mal gut aus, bis auf fehlende Images für die Balken.
Dazu kommt noch eine hohe Ladephase und zu viele Queries.
Ich schau mir diese morgen noch genauer an, heute war ich doch nicht so recht dazu gekommen.
Aber dennoch: Bislang saubere Arbeit!

Eins noch zum Schluss:
Du bist ausschliesslich von Deinem Forum ausgegangen, so also auch das Template, die Images und die Sprachvariablen verwendet.
Erstmal nicht verkehrt, aber für eine Seite, die auch andere nutzen können, musst Du entweder die fehlenden Einträge, die in einem Vanilla phpBB nicht vorzufinden sind, als MOD-Anleitung angeben, damit die andere User bei sich einbauen können, oder eben die Daten aus dem Original phpBB verwenden.
Da solltest Du nochmal ein Auge drauf werfen, aber ansonsten funktionierts wie gesagt schon einmal.
Wenn mich auch die zu vielen Abfragen weiterhin stören, aber da will ich gerne versuchen zu optimieren...

[schmidtedv]

Ja, ich dachte auch schon oben eine Abfrage unter die usercount, etc. Geschichte zu stellen, die alle weiteren Abfragen kombiniert. Nur war ich zu sehr Laie, mir das durchzudenken...ich kann ja auch nochmal gleich guggen. War das erstmal so korrekt, jeder Abfrage einen eigenen Variablen-Namen hintenanzustellen? Ging zwar auch immer z.B. mit user_count / user_count / user_count...aber ich dachte user_posts_count / user_topics_count, etc. sei sicherer....wenn das z.B. egal ist, wüßte ich schon, wie es sich verkleinern ließe...wäre ja im Prinzip nur mehr eine Abfrage nötig...Die Balken-Bilder sind ja die bei Dir vorhandenen, nur Variablen in der css-Datei gibt's da beim Vanilla komischerweise nicht (was die Sache, wie bei mir, aber sehr vereinfacht, wenn man die hinzufügt). Es kann allerdings sein, das das Vanilla hier anders den Pfad setzt...das müßteman sich aus der css dann natürlich ableiten...

Edit: Das mit der Abfrage ist ja eine Sache, aber dann die Sortierungs-Varianten (oder) da mit reinzubauen für die Unterschiedlichen Ergebnisse...das übersteigt dann wieder mal meine Fähigkeiten, seufz...

Nunja, und die Sache mit dem MOD ansich, ich gebe zu, ich bin da letztlich nicht unbedingt zu faul aber zeitlich immer etwas knapp,da es schon solange dauert, bis ich es fehlerfrei bei mir habe...dann wieder anzupassen auf's Vanilla und sozur Verfügung zu stellen ist wieder ein Denkvorgang mit Zeit, seufz...so sind manche dinge von mir halt mehr Ideen als direkte MOD's, da ich gern zugebe, das es noch eigener Bastelarbeit bedarf...daher wollte ich ja zumindest mal mein gesamtes Projekt hier zur Verfügung stelen...subSilver ist da nicht mehr drin...alles auf ein Template, also Aphrodite (meine Variante) angepasst, Standardsprache ist deutsch bzw. german und german_sie (englisch ist auch rausgeflogen) etc., etc. Alles in allem schnell und schlank trotz aller erweiterungen, da ich alles auch aus dem Code entfernt habe, was auf die weggefallenen Funktionen verweist (z.B. auch die Smilies) Dafür ist es halt wiederum doppelte Denkarbeit hier eine subSilver-Variante anzubieten.... :-)

[oxpus]

Die Images links und rechts der Balken werden in der viewtopic_poll_result.tpl direkt verlinkt und nicht per $images aufgebaut. Der Balken ist dagegen $images['voting_bar'][n], wobei "n" 0 bis 8 ist und immer den selben Balken enthält. Zumindest im Original.
Auch musst Du bei den Sprachvariablen einfach nur die lang_main.php vom Vanilla phpBB mal "neben den Editor legen" und schauen, was dort fehlt. Der Rest ist eben in einer Anleitung aufzuführen.
Und wegen der Abfragen mach Dir jetzt mal keinen Kopf. Ich versuche da ja noch zu optimieren, damit möglichst wenige Abfragen über bleiben...

[schmidtedv]

...daher dachte ich ja, es sei einfacher die Bilder direkt ins css zu integrieren...die Prozentfunktion des originalen statistics-mod setzt die ja eh auf eigene weise zusammen und daher wollte ich es auch hier wieder vereinfachen OHNE die Abfrage nach dem verwendeten Template etc.. Sind die Bilder so in der css aufgeführt (siehe Beitrag weiter oben), kann man sich die Abfrage schenken....oder liege ich falsch?

[oxpus]

oder liege ich falsch?

Ja, komplett daneben:

Der Balken besteht doch aus 3 Images:
Links, Balken, rechts.
Link und rechts wird jeweils durch ein festes Image erzeugt, bei Dir sind diese eben bereits im Style definiert, das Original subSilver verwendet hier die direkten Links, da sich das ja ind er Regel auch nicht ändert.
Der Balken wird aber wie auch bei Dir als Hintergrund gemäß der "Breite" gestreckt, bzw. wiederholt. Und daher sollte dieser auch ein $images sein, allerdings heisst der in einem vanilla phpBB eben nur anders.
Die Abfrage ist daher dennoch nötig, um eben die Breite des Balkens zu bestimmen. Ist ja auch im phpBB selber nicht anders.
Nur muss man sehen, welche Abfragen insgesamt (und ich meine damit all die Topic, Post, User-Abfragen) nicht auf wenige reduzieren kann, um diese dann per Schleife mit PHP selber auszuwerten, was deutlich schneller geht, als die Daten alle mühsam aus der Datenbank zu lesen.
Da ist auch der Statistics MOD ein Tick weiter: Er cached die Daten

[schmidtedv]

ja, das cachen ist drin im neuen, aber dann wäre es wieder ne db-änderung und die wollte ich erstmal vermeiden...rufen ja nicht täglich 100erte die statistiken auf....oder?

[oxpus]

[quote="schmidtedv";p="65209"]ja, das cachen ist drin im neuen, aber dann wäre es wieder ne db-änderung und die wollte ich erstmal vermeiden...rufen ja nicht täglich 100erte die statistiken auf....oder?[/quote]
Bots schon
Aber hast recht: Kann man erstmal vernachlässigen. Wäre das Tüpfelchen auf dem i, wenn der Rest steht.

[schmidtedv]

bots kommen nicht auf die seite :-) zumindest hab' ich die statistiken nur für reg-user offen

[oxpus]

Du, aber andere auch?
Egal.
Um den Cache kümmern wir uns zuletzt.
Zunächst muss das Script allgemeintauglich sein und optimiert werden.
Dann sehen wir weiter...

[schmidtedv]

Code: Alles auswählen

if (!$userdata['session_logged_in']) {
    redirect(append_sid("login.$phpEx?redirect=statistics.$phpEx", true));
}

reicht nicht aus? oder ist nicht ohne weitere kompatibel?