Nederlands
Evidencio validation in European Urology Oncology Journal
Evidencio's validation tools have been used to externally validate models predicting lymph node involvement in prostate cancer patients. The results have been published in the European Urology Oncology Journal.
The validation showed that the Briganti Nomogram and the MSKCC Nomogram performed best at predicting lymph node involvement in Dutch prostate cancer patients.
Please read the full publication here.
New model validation feature: Probability distribution histogram
We've further extended our automated Validation module with a third graphical output, a histogram depicting the distribution of probabilities in the validation cohort.
This histogram enables you to quickly evaluate the probability range in which the validated model accurately predicts. In an ideal setting, ie. a near perfect performance for a validation cohort, you'd see a histogram like the one shown below.
Together with the ROC-curve and the calibration plot, a model's predictive power and usable interval can now be assessed even more intuitively.
Evidencio's model validation tools can be used with almost any predictor/outcome data set. The Evidencio platform provides very intuitive data mapping tools.
Model validation on Evidencio can be done without the need to store your cohort-data online.
Some examples of insightful validations on Evidencio:
Evidencio at #ESMDM18: Focus on Personalized and Value-Based Health Care
Evidencio's co-founder and chief medical officer Rick Pleijhuis was invited to present at #ESMDM18 conference in Leiden, hosted by the society for medical decision making.
His contribution illustrated how the Evidencio platform supports researchers, clinicians and 3rd party solution providers in achieving the goal of making (transparent & trustworthy) medical prediction models available and usable in clinical practice.
We've had interesting discussions, made valuable new connections and initiated new collaborations. Our thanks go out to Anne Stiggelbout and Ewout Steyerberg for the opportunity to connect with the SMDM-community.
Showcasing Evidencio at EPIC Crossing Borders User Group Meeting 2018
Today we presented a poster at the EPIC Crossing Borders User Group Meeting 2018, showing the integration and use of clinical prediction models from Evidencio in Epic at University Medical Center Groningen (UMCG) in Groningen.
It was a great venue to talk to and learn from Epic-users.
We presented how medical prediction models can be defined and validated on Evidencio to be integrated with the Epic EHR. Also, we showcased our dynamic protocols and their merits in the context of patient specific decision support in Epic.
Introducing sequentials: patient specific protocols
Evidencio’s new sequential models organize multiple prediction models in a decision tree or protocol. As such, prediction models can be neatly integrated into patient specific decision support tools.
This arrangement of prediction models and ‘process logic’ ensures that clinicians get patient specific decision support while retaining maximal flexibility and minimizing data entry, aided by automated report generation.
With the addition of sequential models, Evidencio is further expanding the relevance and value proposition of medical prediction models as easily consumable and integrable resources for clinicians, 3rd party decision support tools, EHR’s, patient portals, etc.
Example: Guideline: diagnosis and treatment of patients with impaired kidney function
The definition of tailored sequential models is available as a service offered by Evidencio and selected partners. Please contact us with any questions regarding availability and pricing.
Unlocking the power of Artificial Neural Networks on Evidencio
The first practical applications of the new machine learning features on Evidencio have yielded some very impressive results.
As an example, we were able to use an existing data-set to generate an Artificial Neural Network (ANN) within a few hours that seemed to perform admirably in predicting lymph node involvement in prostate cancer. Of course we immediately performed a validation of the ANN on the Evidencio platform using a different data-set and we cross-referenced the results with the 'best in class' of the available prediction models in literature.
We were excited to find that the generated Artificial Neural Network outperformed all of the models available in literature, with a respectable C-index of 0.79 and a near perfect calibration (slope 0.96, intercept -0.01).
Results like this encourage us to move forward with the development of this technology, resulting in faster prediction model development, greater transparency and added value to clinical applications.
New services: Model discovery & development
Evidencio now offers data analysis, model discovery, -development & -validation services with the use of advanced big data, machine learning and artificial intelligence tools. Additionally Evidencio offers help with data preparation, model conversion and publication on the Evidencio platform.
Model Discovery
Not every research minded medical professional has the time and means to sift through their data looking for meaningful correlations. Consequently, relevant research questions potentially remain unasked, and more likely unanswered.
Through the use of the latest tools and insights regarding machine learning, deep learning and AI we can now offer efficient support in discovering, developing and validating predictive models. Based on completely anonymized data we're able to extract any existing correlations between (even obfuscated) medical predictors. These correlations can be expressed in artificial neural networks, multi-variate mathematical equations, or more traditional regression models. Subsequently, models can be validated, published and shared.
In support of these new services Evidencio has developed a toolset which will become available on the Evidencio platform for its subscribers as part of upcomming releases.
Nieuw model vereenvoudigt dosering protrombinecomplex (MST)
Medisch Spectrum Twente ontwikkelt beslismodel in Evidencio
Om op eenvoudige wijze de juiste dosering protrombinecomplex te kunnen bepalen, heeft het Medisch Spectrum Twente een model ontwikkeld in Evidencio. Via dit online platform voor het delen van predictie- en beslismodellen kunnen voorschrijvers nu snel en eenvoudig een evidence-based doseringsadvies vinden.
Het complete artikel is te lezen in het Pharmaceutisch Weekblad nr.38, of op de website van het Pharmaceutisch Weekblad.
Evidencio App now available in App Store & Google Play
We've released the first version of the Evidencio App for iOS and Android devices. The Evidencio App is intended as a quick and easy tool to find and use your favorite prediction models on your mobile devices. The app let's you store your frequently used models in your personal favorites list. You can also use your own private models, or private models that your colleagues or organization have shared with you in the app. Just like in the web interface, you can of course navigate and find models by title, author, specialty, MeSH-term or keywords.
Whereas the Evidencio website supports the broader scope of model definition, model validation and model use, the app has been conceived primarily as a tool to 'consume' prediction models. In it's first version it is geared towards the medical professional, however patient specific interfaces are also in the works.
Get the Evidencio App
Platform Evidencio heeft grote praktische waarde voor artsen (Dutch)
Platform Evidencio heeft grote praktische waarde voor artsen
Evidencio is een onlineplatform dat fungeert als bibliotheek van medische voorspellende modellen ter ondersteuning van de klinische besluitvorming. Dr. Rick Pleijhuis, nu arts-assistent Interne Geneeskunde in Medisch Spectrum Twente te Enschede, kwam met het idee naar aanleiding van de bevinding tijdens zijn promotieonderzoek dat veel predictiemodellen geen klinische toepassing vinden. De mooiste ontwikkelingen kunnen min of meer toevallig tot stand komen. Evidencio is daarvan een voorbeeld. Rick Pleijhuis vertelt: ?Mijn promotieonderzoek aan het UMC Groningen was gericht op toepassing van een nieuwe technologie om borstkanker tijdens chirurgische interventie beter zichtbaar te maken en dus te voorkomen dat tumorweefsel achterbleef. We bouwden een predictiemodel om een selectie te kunnen maken van de [...]Evidencio en IKNL werken aan predictiemodellen in Oncoguide (Dutch)
Om behandelingen af te stemmen op de individuele patient kunnen artsen gebruik maken van richtlijnen en predictiemodellen. Met het tekenen van een samenwerkingsovereenkomst tussen Evidencio en IKNL gaan de twee partijen deze modellen beschikbaar maken in Oncoguide. Hiermee krijgen arts en patient betere ondersteuning bij besluitvorming over de behandeling.
Oncoguide toont beslisbomen voor diagnostiek en behandeling op basis van patient- en ziektegegevens. De beslisbomen, ontwikkeld in samenwerking met zorgprofessionals en gebaseerd op richtlijnen en expertprotocollen, zijn te zien en gebruiken via een app op tablet en via oncoguide.nl.
Met predictiemodellen is het mogelijk om op basis van patient- en tumorkenmerken uitkomsten te voorspellen, bijvoorbeeld bij een behandeling. Deze modellen worden ontwikkeld en gevalideerd op basis van een grote hoeveelheid patientengegevens, zoals data uit de Nederlandse Kankerregistratie (NKR). Door het koppelen van Oncoguide en het Evidencio Platform komen predictiemodellen samen met richtlijnaanbevelingen op basis van algoritmes beschikbaar bij beslismomenten in het zorgpad.
Het Evidencio Platform biedt een open bibliotheek met meer dan 400 online-predictiemodellen en medische calculatoren. Het platform fungeert als een brug tussen de medisch onderzoeker en de kliniek. Artsen en onderzoekers voegen dagelijks nieuwe modellen toe die steeds vaker in de praktijk worden gebruikt. De bijdrage van Evidencio aan effectieve patientspecifieke medische beslissingsondersteuning is inmiddels bewezen. Evidencio ondersteunt externe validatie van modellen en calculatoren met gebruikersvriendelijke middelen.
Data driven healthcare
De samenwerking tussen Evidencio en IKNL maakt deel uit van het innovatieprogramma OncolinQ. Daarin werken verschillende partijen aan een informatiestandaard voor de oncologie.
Deze standaard is de basis voor elektronische gegevensuitwisseling en meervoudig gebruik van patientgegevens voor verschillende toepassingen. Daarmee worden Oncoguide en Evidencio een integraal onderdeel van een digitaal ecosysteem voor data driven healthcare en beslissingsondersteuning.
Met OncolinQ sluit IKNL aan bij het project Registratie aan de bron , Health RI (de nationale infrastructuur voor personalized medicine & health research) en de Health Deal (ontwikkeling van een ecosysteem voor Decision Support Systemen in de oncologie).
Meer bronnen beschikbaar in Oncoguide
In de toekomst komen naast richtlijnen en gevalideerde predictiemodellen nog meer bronnen in Oncoguide beschikbaar, gebaseerd op de Nederlandse Kankerregistratie (NKR), zoals gegevens over bijwerkingen van medicijnen en trial-alerts.
Meer informatie
Download Oncoguide voor tablet of IPad via de Apple App Store of Google Play of ga naar oncoguide.nl.
Op iknl.nl vindt u meer informatie over Oncoguide. Bekijk ook de demovideo en reacties van zorgprofessionals.
Voor informatie over Evidencio en het Evidencio Platform ga naar www.evidencio.com.
Evidencio now supports R-script based models and calculators
As part of our efforts to broaden the range of models and calculators that Evidencio supports, we've added new support for R-script models.
In support of the large number of researchers that are using the R as their statistical tool of choice, Evidencio now allows the direct copy-paste use of R-script calculation logic into the Evidencio modelling framework. As such, there is far less effort required in 'translating' prediction models developed in R into the Evidencio user interface and modelling environment. Furthermore, these models now directly benefit from additional Evidencio features regarding e.g. validation, findability, ease of use, and ease of integration in EHR's and 3rd party apps.
We're working hard to roll out a number of innovations to further improve Evidencio's value as part of the international Healthcare Research Infrastructure. So please stay tuned!
Introducing Composite Prediction Models
With the latest Evidencio platform upgrade we've introduced Composite Models as a new feature. Composite Models allow you to collect different prediction models in a single 'super model'. This enables you to calculate a wide range of predictions with a single set of patient parameters, and get the results reported back on a single result form.
In a clinical setting composite models allow you to calculate all relevant clinical score's and risk assessments in one go, without having to access and fill out multiple models and calculators. Also, you'll receive a single patient scorecard that's easily transferred into the patient-EHR.
An example of a composite model can be explored in the Multi-year survival: Colorectal Peritoneal Metastases Prognostic Surgical Score (COMPASS) model. In this case one set of patient parameters allows three different survival models to be executed side by side, with the results neatly presented on a single page.
Evidencio partners with DTL - supports FAIR Data initiative
Evidencio has partnered with the Dutch Techcentre for Life sciences (DTL).
DTL aims to create a cohesive research infrastructure in the broad field of life sciences. As a national platform for expert groups with advanced facilities and data expertise, DTLs activities focus especially on combining multiple techniques, FAIR data stewardship, and training in this field.
Evidencio aims to bridge the gap between medical research and medical practice through the effective use of online prediction tools, which aligns perfectly with DTLs activities. Particularly the concept of FAIR Data is something we view as being essential for any sustainable development in e-health initiatives.
We look forward to an inspiring and rewarding partnership.
NEW: Embed medical prediction models directly in your own website
We've made it very easy for you to embed your medical prediction model or calculator on your own website. Once you've published your model on Evidencio it can be embedded into your own webpage without the need for coding and scripting.
By embedding an Evidencio model you can quickly present your research results to the world, from your own (institution's) website.
You can find out more about our new 'embedding service' on this page.
If you're looking for a deeper, or sleeker integration of prediction models in your website, app, or software, please check out our information on 'API-use' here.
Evidencio op 'ZGT Smartup Innovation 2016' (Dutch)
ZGT (ZiekenhuisGroep Twente) wil inspirerende ideeën in de zorg samen met u mogelijk maken! Daarom ontmoeten zorg, wetenschap, bedrijven en investeerders elkaar tijdens ZGT Smartup Innovation 2016.
Evidencio zal tijdens deze innovatiedag op 10 november in Almelo haar predictieplatform presenteren. Middels een presentatie en interactieve demo's zullen we de praktische meerwaarde van het Evidencio platform laten zien voor zorgprofessionals en onderzoekers. Inmiddels bevat het Evidencio platform reeds meer dan 300 predictiemodellen.
Lees meer over ZGT Smartup Innovation 2016 & Programma.
Positioning Evidencio
Clinicians and researchers can add prediction models to Evidencio based their own data (left top panel) or previously published studies (PubMed).
Once a new prediction model has been published as a public model on Evidencio it can be directly used by medical professionals around the world (right top panel).
Evidencio facilitates external validation of prediction models on independent data sets of clinicians and researchers from around the world (left bottom panel).
Both proprietary (private) and public models can be accessed using the Evidencio API for use in for example digital guide lines, decision support apps or EHR's (right bottom panel).
Highlighted use cases:
- Including online prediction models in the scientific publishing process. Provide (only) your peer reviewers with an interactive model, allowing them to quickly evaluate and validate your model. Link to the prediction model from your paper, so that your research results gain impact
- Using your own private, or any public prediction model in a 3rd party decision support app or EHR application. Use transparent, up-to-date, verified logic in your app, or reference models directly in your EHR software.
First public model validations published
The first public prediction model validations are now available on the Evidencio platform.
These first two examples nicely show how the applicability of frequently used prediction models can be made visible for specific validation cohorts.
First public model validations:
Evidencio 2.3: Online model validation now available
We've updated the Evidencio platform to version 2.3, and introduced some exciting new features. Our online model validation features are now available to all Evidencio subscribers.
Step-by-step: Model Validation on Evidencio
If you want to checkout our new validation features for yourself, please login or create and Evidencio account here.
First Evidencio Scientific Advisory Board members announced
We are very pleased to announce the first members of our scientific advisory board, Prof. Dr. Job van der Palen, Prof. Dr. Sabine Siesling, Dr. Ir. Xander Verbeek and Dr. Erik Koffijberg. The ideas and guidance provided by these independent professionals are invaluable in the further development and adoption of the Evidencio Platform.
Our first Advisory Board Members:
Our growing community of contributors, partners and friends can be viewed here.
Wildgroei van risicomodellen voor hart- en vaatziekten (bron: NTvG) (Dutch)
Wildgroei van risicomodellen voor hart- en vaatziekten
Interessant artikel in Het Nederlands Tijdschrijft voor geneeskunde (NTvG) waarin een van de redenen voor de ontwikkeling van het Evidencio platform nog maar eens wordt onderstreept.
Example: Nature.com publication with linked model on Evidencio
A nice example of how a prediction model on Evidencio can increase the impact of a publication can be found on www.nature.com in combination with this model.
The article in question, 'A nomogram to predict the probability of axillary lymph node metastasis in early breast cancer patients with positive axillary ultrasound' contains a direct link to the nomogram as published on Evidencio. Thus any reader, either online or in a printed journal, can directly review, use and validate the research results.
We believe that this type of linked publication of research and prediction models will become an indispensible tool for researcher and reviewers to aid in the rapid dissemination of new research results.
Deventer Hospital science day: Evidencio showcase
The Deventer Hospital held its annual science day on March 25. This year Evidencio was invited by the Health Innovation Park (HIP) to showcase the Evidencio platform to the attending healthcare professionals and researchers.
The event was highlighted by several speakers who emphasized the impact that clever use of prediction models can have on the quality of patient care, cost reduction and efficiency. Regarding patient tailored medicine, researchers focused on the use of prediction models to e.g. patient specific medicine dosage and diagnosis to avoid over-treatment. These initiatives, as well as the futuristic 'healthcare 2030' outlook that was presented and discussed, were all really well aligned with what we're trying to achieve at Evidencio.
We would like to thank both HIP and the Deventer Hospital for inviting us, and for providing us with an opportunity to showcase the Evidencio platform.
More than 60 public prediction models available on Evidencio 2.1
With over 60 publicly accessible and transparent medical prediction models available on Evidencio, we're pleased to see a steady growth in model contributions as well as prediction model use.
In the meantime we're hard at work developing new features, model-types and improving transparency of our models and calculations. We've put up a calculations page explaining the math behind our stand model-types.
Update to v2.1
Just prior to the release of this news item we've updated the Evidencio platform to version 2.1
Evidencio launches platform version 2.0
We're very pleased to announce that the Evidencio Platform was recently updated to version 2.0. The new version now integrates all publicly accessible models with the community models in one seamless environment. Furthermore, numerous functional enhancements have been released to guide the use in the model creation process, enrich model classification, support conditional modelling, and deliver enhanced options for confidence intervals. With this release our development team is now focusing on getting our automated/guided model validation features ready for the general public. To stay up-to-date on the latest developments from Evidencio, we encourage you to subscribe to our newsletter and to watch this space.
University of Twente and Evidencio to develop tools and methodologies for model validation and impact analysis
The University of Twente and Evidencio have the intention to jointly develop tools and methodologies for prediction model validation and impact analysis in the context of the Evidencio Platform.
Evidencio Platform reaches milestone with the creation of the 100th prediction model
Today the 100th prediction model was created on the Evidencio Platform, marking a milestone in the growth of the open library for online medical predictions models. Around 40 users currently involved in the Evidencio beta-program and pilot-projects have so far created the first 100 models. Once the Evidencio platform is opened to the general medical community we hope to see both the number of active users as well as the number and variety in models increase much further. For now we are proud to have reached this modest milestone as a testament to the platform's usability and features. There's more to come!
De Week van de Ondernemer 2015: Evidencio profiel (Dutch)
Evidencio wordt belicht als succesvolle investment-case in het kader van 'de week van de ondernemer 2015'. De beknopte case-beschijving is opgenomen in het e-magazine: Financieren door de ogen van de ondernemer. Bekijk het e-magazine?hier.
1Vandaag onderzoek bevestigt relevantie Evidencio platform (Dutch)
Uit recent onderzoek van 1Vandaag blijkt dat artsen duidelijk behoefte hebben aan meer en beter bruikbaar onderzoek ter ondersteuning van dagelijkse medische beslissingen.
"Het klinkt misschien raar, maar een arts weet vaak niet wat het beste is voor zijn patiënt. Bij veel aandoeningen kan hij namelijk kiezen uit verschillende behandelingen" (citaat 1Vandaag)
- Welke van de beschikbare behandelingen geeft voor deze patiënt het beste resultaat?
- Wat is voor deze patient het te verwachten verschil in resultaat tussen de beschikbare behandelmethoden?
- Zijn er nieuwe behandelingen beschikbaar die voor deze patient beter geschikt?
Dit blijken voor artsen veel voorkomende vragen te zijn in de dagelijkse praktijk.
Evidencio biedt juist voor deze thematiek een gebruiksvriendelijke online oplossing. Op het Evidencio platform worden onderzoekzoeksresultaten beschikbaar gemaakt waarmee snel en eenvoudig patientspecifieke beslissingsondersteuning gerealiseerd kan worden. Daarnaast zijn nieuwe onderzoeksresultaten snel verifieerbaar in de praktijk en neemt de algehele kwaliteit van informatievoorziening voor zowel arts als patiënt enorm toe.
In de huidige zorgrealiteit is het Evidencio platform eveneens een waardevol gereedschap om efficiëntie en kosten/baten afwegingen te onderbouwen.
De achtergronden, het rapport en de reportage van het 1Vandaag onderzoek zijn hier te bekijken.
Evidencio gaat big data gebruiken om arts te ondersteunen (Dutch)
ENSCHEDE - De Enschedese start-up Evidencio gaat big data gebruiken om artsen sneller en beter te kunnen laten diagnosticeren. Big data staat voor de immense hoeveelheid gegevens en kennis over zaken én over personen die wereldwijd aanwezig is in databanken, maar die zo omvangrijk is dat er (nog) niets of weinig mee wordt gedaan.
Die data kan volgens Rick Pleijhuis (27) uit Enschede, internist in opleiding in MST worden gebruikt om artsen te ondersteunen bij het stellen van de juiste diagnose en het voorspellen van het verloop van ziekteprocessen.
Voorspellen met software
Pleijhuis: "We willen de arts een instrument geven waarmee hij op basis van patiëntkarakteristieken iets kan op het niveau van de individuele patient. Want aan gemiddelden heb je in de gezondheidszorg niet zo veel, elke patient is uniek. Simpel gezegd moet een arts een aantal kenmerken van de patient inbrengen in ons systeem. Door die karakteristieken te vergelijken met soortelijke cases in de databank moet onze software kunnen voorspellen hoe groot bijvoorbeeld de kans op een nabloeding bij een operatie is, op bijwerkingen bij gebruik van bepaalde medicijnen, of hoe groot het risico is op het ontwikkelen van een bepaalde aandoening."
Abonneren
Pleijhuis heeft in zijn collega-artsen Tjitte Verbeek (26) en Kasper Veldhuis (27) compagnons gevonden. ICT-ondernemer Rob Mentink (39) uit Haaksbergen is toegetreden als investeerder en fungeert ook als ceo. Evidencio bouwt reeds aan een platform waar beschikbare data kan worden ingeladen. Het gebruik van de basale functies van Evidencio zal gratis zijn, zo is het plan. "Er zijn verschillende verdienmodellen uitgewerkt", zegt Rick Pleijhuis. "Zoals we het nu zien moet de omzet voornamelijk komen uit extra diensten die Evidencio biedt. Daarop kunnen klanten zich dan abonneren."
Het volledige artikel staat in de TC Tubantia van zaterdag 22 november.
Foto: Rick Pleijhuis en Kasper Veldhuis - door: Reinier van Willigen